ГОСТ Р ИСО/МЭК 19795-1-2007 Автоматическая идентификация. Идентификация биометрическая. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 1. Принципы и структура (с Изменением N 1)

     5.5 Эксплуатационные характеристики

5.5.1 Вероятности появления ошибок

Ошибки результатов верификации и идентификации возникают вследствие ошибок соответствия (т.е. ошибок ложного соответствия и ложного несоответствия) или ошибок получения образцов (т.е. отказов регистрации и отказов сбора данных). Влияние сочетания данных базовых ошибок на появление ошибок принятия решения зависит от числа требуемых сравнений, от того, является ли истинным или ложным запрос идентичности, а также от политики принятия решения, т.е. допускает ли биометрическая система проведение нескольких попыток.

Примечание - Несмотря на то что описание эксплуатационных характеристик в биометрии традиционно проводилось в терминах вероятностей допуска, т.е. вероятностей ложного допуска и ложного недопуска, в литературе неявно возникают определения, противоречащие друг другу: в описании идентификационных биометрических систем встречается понятие "ложное отклонение", возникающее вследствие неправильного соответствия представленного образца шаблону, зарегистрированному другим пользователем. В литературе по управлению доступом встречается понятие "ложное принятие", возникающее вследствие неправильного соответствия представленного образца шаблону, зарегистрированному другим пользователем. ВЛС и ВЛНС в общем случае не являются синонимами ВЛД и ВЛНД. ВЛС и ВЛНС вычисляют относительно сравнений, а ВЛД и ВЛНД - относительно транзакций и относят к принятию или отклонению утверждаемых гипотез, положительных или отрицательных. ВЛД и ВЛНД также включают в себя отказы сбора данных.

5.5.2 Показатели пропускной способности

Показатели пропускной способности устанавливают число пользователей, подвергаемых анализу в единицу времени, зависящее от скорости вычислений и взаимодействия человека с биометрической системой. В общем случае данные показатели применяются во всех биометрических системах и устройствах. Достижение достаточного значения пропускной способности является важным показателем работы биометрической системы. Показатели пропускной способности для системы верификации, например для системы управления доступом, обычно связаны со скоростью взаимодействия пользователя с системой в процессе получения высококачественного биометрического образца. Показатели пропускной способности для системы идентификации, например для системы регистрации в программе социального обеспечения, могут быть сильно занижены из-за потерь во времени, необходимых для сравнения зарегистрированного образца с образцами базы данных. Таким образом, в зависимости от типа системы целесообразно определить время взаимодействия пользователя с системой, а также время режима работы вычислительных аппаратных и программных средств. Фактические экспериментальные измерения быстродействия вычислительной системы приведены в таких руководствах, как [12], и не рассматриваются в настоящем стандарте. Для определения скорости взаимодействия человека с системой необходимо точно установить признаки начала и окончания этого взаимодействия, которое следует провести перед началом испытаний и указать его в протоколе испытаний. В протокол испытаний следует также включить краткий список действий, выполненный пользователем в процессе работы с биометрической системой.

5.5.3 Виды эксплуатационных испытаний

Испытание биометрической системы предусматривает сбор входных данных, таких как изображения и сигналы, которые используются для создания шаблонов при регистрации и для вычисления степеней схожести при попытках верификации и идентификации. Собранные изображения и сигналы можно использовать в режиме реального времени или в режиме отложенного задания при регистрации, верификации или идентификации.

a) В процессе технологического испытания проводят испытание всех алгоритмов с использованием стандартизированной базы данных, собранной "универсальным" датчиком сбора данных (т.е. датчиком, собирающим образцы, подходящие для всех испытуемых алгоритмов). Тем не менее, эксплуатационные характеристики по отношению к этой базе данных будут зависеть как от внешних условий, так и от выборки. Несмотря на то, что для разработки и настройки биометрической системы перед испытанием могут использоваться экспериментальные данные, необходимо, чтобы фактическое испытание проводилось на данных, заведомо неизвестных разработчикам алгоритмов. Испытание проводят путем обработки данных в режиме отложенного задания. Вследствие неизменяемости базы данных результаты технологических испытаний являются воспроизводимыми.

b) В процессе сценарного испытания проводят испытание всей биометрической системы в условиях, моделирующих определенную ситуацию, максимально приближенную к действительности. Каждая испытуемая биометрическая система имеет свой собственный датчик сбора данных, в результате чего могут быть небольшие различия в получаемых начальных данных. Поэтому при сравнении многоэлементных биометрических систем необходимо уделить внимание тому, чтобы сбор данных для всех испытуемых систем проходил в одних и тех же условиях окружающей среды и с использованием одной и той же выборки. В зависимости от объема памяти каждого устройства, в процессе испытания допускается сочетание сравнения в режимах реального времени и отложенного задания. Воспроизводимость результатов испытания обеспечивается тщательным контролем выполнения сценария.

с) В процессе оперативного испытания, которое зависит от объема памяти рабочей системы, использование режима отложенного задания иногда бывает невозможным. В общем случае, из-за недокументированных различий в условиях эксплуатации добиться воспроизводимости результатов эксплуатационных испытаний невозможно. Более того, трудно установить "истинную информацию" (т.е. найти истинный источник "достоверных" биометрических параметров), особенно в условиях проведения оперативного испытания при отсутствии администратора, оператора или наблюдателя.

Эксплуатационные характеристики для различных видов испытаний приведены в приложении А.