ГОСТ Р ИСО/МЭК 19795-1-2007 Автоматическая идентификация. Идентификация биометрическая. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 1. Принципы и структура (с Изменением N 1)

     6.7 Многократные испытания

6.7.1 Если процедура сбора данных не может быть использована из-за ее стоимости, то допускается провести несколько испытаний с одним набором данных. Данный метод используют при проведении технологического испытания. Для биометрических систем, работающих с биометрическими характеристиками, требования к которым установлены в [18]-[21] (отпечаток пальца, лицо, радужная оболочка глаза и голос), может быть собрана одна база данных для испытания алгоритмов сравнения образца от множества изготовителей в режиме отложенного задания. Таким образом, обеспечивается разделение подсистемы сбора данных и обработки данных. Поскольку данные подсистемы обычно не являются абсолютно независимыми, то могут возникнуть проблемы. Например, модуль проверки качества, требующий от подсистемы сбора данных повторного получения изображения, является частью подсистемы обработки сигнала. Кроме того, даже если стандарты на биометрические характеристики существуют, на качество изображения влияют различные виды пользовательских интерфейсов, которые управляют процессом сбора данных. Следовательно, при использовании стандартизированной базы данных технологическое испытание алгоритмов в режиме отложенного задания может дать недостоверные показатели общих эксплуатационных характеристик биометрической системы или сместить результаты в пользу одних систем по отношению к другим.

6.7.2 Сценарные испытания нескольких биометрических систем могут проводиться одновременно при наличии испытуемой группы с использованием нескольких различных устройств или методов на каждом этапе. Данный подход требует осторожности. Одна из возможных проблем заключается в том, что испытуемые субъекты адаптируются, перемещаясь от системы к системе. Чтобы уравнять данный эффект по всем устройствам, порядок их предъявления каждому испытуемому субъекту должен быть случайным. Другая проблема заключается в том, что определение идеального поведения одного устройства находится в противоречии с поведением для другого. Например, некоторые устройства работают лучше с изображением в движении, в то время как для других необходимо неподвижное изображение. Такие конфликты могут привести к более низкокачественным изображениям одного или более испытуемых устройств.