Статус документа
Статус документа

ГОСТ Р 58292-2018 (ИСО/ МЭК 19795-2:2007) Информационные технологии (ИТ). Биометрия. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 2. Методы проведения технологического и сценарного испытаний (с Изменением N 1)

     5 Обзор технологических и сценарных испытаний

Настоящий стандарт устанавливает методы проведения двух видов испытаний - технологического и сценарного. Протокол испытания должен включать в себя информацию о виде проводимого испытания - технологического, сценарного или смешанного, которое совмещает элементы технологического и сценарного испытаний.

Технологическое испытание - это испытание одного или нескольких алгоритмов для одной биометрической модальности, проводимое в режиме отложенного задания и использующее ранее существовавшую либо специально собранную базу данных биометрических образцов. Преимущество технологического испытания заключается в его отделении от процесса взаимодействия человека сдатчиком при получении биометрических данных и процесса биометрического распознавания, что обеспечивает следующие возможности:

- возможность проведения испытания путем использования полного перекрестного сравнения. Технологическое испытание позволяет использовать всю испытуемую выборку в качестве претендентов на идентичность всем остальным субъектам (то есть "самозванцам"), что позволяет оценить вероятность ложного совпадения (ВЛС) при сравнении "один к ", а не "один к N";

- возможность проведения пробных испытаний. Технологическое испытание может быть проведено без вывода результатов в режиме реального времени, что позволяет использовать его в рамках научно-исследовательской работы. Например, проведение замкнутых циклов испытаний позволяет определить влияние модификаций алгоритмов обработки, изменений динамических параметров (таких как уровень и структура затрачиваемых усилий) и использования различных баз данных изображений;

- возможность проведения испытаний на нескольких экземплярах биометрической характеристики с применением нескольких алгоритмов. Использование типовых процедур испытаний, стандартных интерфейсов и метрик предоставляет возможность проведения серии испытаний биометрических систем с использованием нескольких экземпляров биометрической характеристики (например, три изображения лица) с применением нескольких алгоритмов (например, алгоритм А и алгоритм В) или их комбинации;

- при условии что база данных содержит подходящие биометрические образцы, технологическое испытание позволяет провести испытания всех модулей после интерфейса получения биометрических данных с помощью датчика, в том числе модуль(и) проверки качества и обратной связи, модуль(и) обработки сигнала, модуль(и) обобщения изображений (в случае работы с мультимодальными биометрическими системами или системами, использующими несколько экземпляров биометрической характеристики), модуль(и) извлечения и нормализации биометрических признаков, модуль(и) обобщения биометрических признаков, модуль(и) вычисления и обобщения результатов сравнения и модуль(и) нормализации показателей;

- какие-либо непредвиденные события, возникающие в процессе взаимодействия человека с датчиком, препятствуют воспроизводимости результатов, что усложняет проведение сравнительных испытаний биометрических систем. Устранение данного взаимодействия как фактора, влияющего на эксплуатационные характеристики, позволяет обеспечить воспроизводимость результатов испытаний. В режиме отложенного задания данное испытание можно повторять множество раз при незначительных затратах;

- если доступны данные биометрических образцов, то эксплуатационные характеристики могут быть определены по очень большим целевым выборкам с использованием биометрических образцов, собранных за длительный промежуток времени (в течение нескольких лет).

Примечания

1 Составление базы данных биометрических образцов для проведения биометрической регистрации и вычисления результатов сравнения в режиме отложенного задания позволяет точнее определять те биометрические образцы и попытки биометрической регистрации, которые будут использованы в транзакциях.

2 Технологическое испытание всегда предполагает наличие хранилища данных для их последующей обработки в режиме отложенного задания. При сценарном испытании использование транзакций в режиме реального времени может быть проще для экспериментатора, поскольку биометрическая система работает в обычном режиме и сохранение биометрических образцов не требуется, хотя и рекомендуется.

Сценарное испытание - это определение эксплуатационных характеристик биометрической системы с помощью прототипа или имитирующего приложения, осуществляемое в режиме реального времени. Преимущество проведения сценарного испытания заключается в учете процесса взаимодействия человека с датчиком при биометрической регистрации и биометрическом распознавании, что обеспечивает следующие возможности:

- возможность определения влияния дополнительных попыток или транзакций на способность биометрической системы регистрировать или распознавать испытуемых субъектов;