ГОСТ Р ИСО/МЭК 19795-2-2008 Автоматическая идентификация. Идентификация биометрическая. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 2. Методология проведения технологического и сценарного испытаний

     5 Обзор технологических и сценарных испытаний

Настоящий стандарт устанавливает методы проведения двух видов испытаний - технологического и сценарного. Протокол испытания должен включать в себя информацию о виде проводимого испытания - технологического, сценарного или смешанного, которое совмещает элементы технологического и сценарного испытаний.

Технологическое испытание - это испытание одного или нескольких алгоритмов для одной биометрической модальности, проводимое в режиме отложенного задания и использующее ранее существовавшую либо специально собранную базу данных образцов. Преимущество технологического испытания заключается в его отделении от процесса взаимодействия человека с датчиком при сборе данных и процесса распознавания, что обеспечивает следующие возможности:

- возможность проведения испытания путем использования полного перекрестного сравнения. Технологическое испытание позволяет использовать всю испытуемую выборку в качестве претендентов на идентичность всем остальным субъектам (то есть самозванцам), что позволяет оценить вероятность ложного совпадения при сравнении "одного к ", а не "одного к ";

- возможность проведения пробных испытаний. Технологическое испытание может быть проведено без вывода результатов в режиме реального времени, что позволяет использовать его в рамках научно-исследовательской работы. Например, проведение замкнутых циклов испытаний позволяет определить влияние модификаций алгоритмов обработки, изменений динамических параметров (таких, как уровень и структура затрачиваемых усилий) и использования различных баз данных изображений;

- возможность проведения испытаний на нескольких экземплярах биометрической характеристики с применением нескольких алгоритмов. Использование типовых процедур испытаний, стандартных интерфейсов и одинаковых метрик предоставляет возможность проведения серии испытаний биометрических систем с использованием нескольких экземпляров биометрической характеристики (например, три изображения лица) с применением нескольких алгоритмов (например, алгоритм А и алгоритм Б) или их комбинации;

- при условии, что база данных содержит подходящие образцы, технологическое испытание позволяет провести испытания всех модулей после интерфейса получения биометрических данных с помощью датчика, в том числе модуль (модули) проверки качества и обратной связи, модуль (модули) обработки сигнала, модуль (модули) обобщения изображений (в случае работы с мультимодальными биометрическими системами или системами, использующими несколько экземпляров биометрической характеристики), модуль (модули) извлечения и нормализации признаков, модуль (модули) обобщения признаков, модуль (модули) вычисления и обобщения степеней схожести и модуль (модули) нормализации показателей;

- какие-либо непредвиденные события, возникающие в процессе взаимодействия человека с датчиком, препятствуют воспроизводимости результатов, что усложняет проведение сравнительных испытаний биометрических систем. Устранение данного взаимодействия как фактора, влияющего на эксплуатационные характеристики, позволяет обеспечить воспроизводимость результатов испытаний. В режиме отложенного задания данное испытание можно повторять множество раз при незначительных затратах;

- если доступны данные образцов, то эксплуатационные характеристики могут быть определены по очень большим целевым выборкам с использованием образцов, собранных за длительный промежуток времени (в течение нескольких лет).

Примечание 1 - Составление базы данных образцов для проведения регистрации и вычисления степеней схожести в режиме отложенного задания позволяет точнее определять те образцы и попытки регистрации, которые будут использоваться в транзакциях.

Примечание 2 - Технологическое испытание всегда предполагает наличие хранилища данных для их последующей обработки в режиме отложенного задания. При сценарном испытании использование транзакций в режиме реального времени может быть проще для экспериментатора, поскольку система работает в обычном режиме и сохранение образцов не требуется, хотя и рекомендуется.

Сценарное испытание - это определение эксплуатационных характеристик биометрической системы с помощью прототипа или имитирующего приложения, осуществляемое в режиме реального времени. Преимущество проведения сценарного испытания заключается в учете процесса взаимодействия человека с датчиком при регистрации и распознавании, что обеспечивает следующие возможности:

- возможность определения влияния дополнительных попыток или транзакций на способность биометрической системы регистрировать или распознавать испытуемых субъектов;

- возможность определения пропускной способности биометрической системы при регистрации и распознавании с учетом продолжительности процессов представления и сбора образцов.

Примечание 3 - При испытаниях в режиме реального времени экспериментатор может принять решение не сохранять биометрические образцы, что снижает требования к подсистеме хранения данных и в некоторых случаях, обеспечивает реальные условия работы системы. Однако при испытаниях в режиме реального времени образцы рекомендуется сохранять, что впоследствии позволяет проводить испытания и дальнейший анализ в режиме отложенного задания.

Примечание 4 - Испытание биометрической системы включает в себя сбор изображений или сигналов, используемых для формирования биометрических шаблонов при регистрации и расчета степеней схожести при последующих попытках. Собранные изображения и/или сигналы могут использоваться либо сразу для регистрации, верификации или идентификации в режиме реального времени попытки, либо сохраняться для последующего проведения указанных процедур в режиме отложенного задания.

Различия между технологическим и сценарным испытаниями приведены в таблице 2.     

Таблица 2 - Различия между технологическим и сценарным испытанием

Примечание 5 - В таблице 2 приведены основные отличительные особенности испытаний биометрических систем; в некоторых случаях возможны исключения.