ГОСТ Р ИСО/МЭК 19795-2-2008

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Автоматическая идентификация

ИДЕНТИФИКАЦИЯ БИОМЕТРИЧЕСКАЯ

Эксплуатационные испытания и протоколы испытаний в биометрии

Часть 2

Методология проведения технологического и сценарного испытаний

Automatic identification. Biometrics. Biometric performance testing and reporting. Part 2. Testing methodologies for technology and scenario evaluation

ОКС 35.040

Дата введения 2009-01-01

Предисловие

1 ПОДГОТОВЛЕН Научно-исследовательским и испытательным центром биометрической техники Московского государственного технического университета имени Н.Э.Баумана (НИИЦ БТ МГТУ им.Н.Э.Баумана) на основе собственного перевода на русский язык англоязычной версии стандарта, указанного в пункте 4, при консультативной поддержке Ассоциации автоматической идентификации "ЮНИСКАН/ГС1 РУС"

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 355 "Автоматическая идентификация"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 18 декабря 2008 г. N 448-ст

4 Настоящий стандарт идентичен международному стандарту ИСО/МЭК19795-2:2007* "Информационные технологии. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 2. Методология проведения технологического и сценарного испытаний" (ISO/IEC 19795-2:2007 "Information Technology - Biometric performance testing and reporting - Part 2: Testing methodologies for technology and scenario evaluation", IDT). Наименование настоящего стандарта изменено относительно наименования указанного международного стандарта для приведения в соответствие с ГОСТ Р 1.5-2012 (пункт 3.5).

________________

* Доступ к международным и зарубежным документам, упомянутым в тексте, можно получить, обратившись в Службу поддержки пользователей. - Примечание изготовителя базы данных.

При применении настоящего стандарта рекомендуется использовать вместо ссылочных международных стандартов соответствующие им национальные стандарты, сведения о которых приведены в дополнительном приложении ДА

5 ВВЕДЕН ВПЕРВЫЕ

6 ПЕРЕИЗДАНИЕ. Январь 2019 г.

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.gost.ru)

Введение

Настоящий стандарт входит в комплекс стандартов и технических отчетов, которые были разработаны подкомитетом ИСО/МЭК СТК1/ПК37 с целью установления требований к автоматической идентификации на основе биометрических характеристик.

Стандарт устанавливает общие требования к разработке, проведению и представлению результатов двух основных видов эксплуатационных испытаний биометрических систем - технологического и сценарного.

Настоящий стандарт рекомендуется использовать совместно с другими стандартами комплекса "Идентификация биометрическая".

Сноски в тексте стандарта приведены для пояснения текста стандарта и выделены курсивом.

     1 Область применения

Настоящий стандарт устанавливает требования к сбору, анализу данных и протоколированию результатов двух основных видов испытаний - технологического и сценарного.

Требования настоящего стандарта распространяются на:

- разработку и полноценное описание протоколов для технологического и сценарного испытаний;

- методы проведения испытаний биометрических систем и протоколирование их результатов, отражающих параметры, присущие определенным видам биометрических испытаний.

     2 Соответствие

Методы проведения технологического и сценарного испытаний должны соответствовать требованиям настоящего стандарта.

Требования настоящего стандарта к методам проведения сценарного испытания отличаются от требований, установленных для технологического испытания. Требования настоящего стандарта к методам проведения испытания систем идентификации отличаются от требований, установленных для испытания систем верификации. Соответствие систем автоматической идентификации требованиям настоящего стандарта может быть обеспечено только в случае соответствия методов испытаний требованиям, изложенным в следующих разделах настоящего стандарта (см. таблицу 1).

Таблица 1 - Требования соответствия методов испытаний типам сравнения

     3 Нормативные ссылки

В настоящем стандарте использована нормативная ссылка на следующий стандарт. Для датированных ссылок необходимо пользоваться только указанной редакцией. Для недатированных - последней редакцией ссылочных стандартов, включая любые поправки и изменения к ним:

ISO/IEC 19795-1, Information technology - Biometric performance testing and reporting - Part 1: Principles and framework (Информационные технологии. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 1. Принципы и структура)

     4 Термины и определения

В настоящем стандарте применены термины и определения, установленные в ИСО/МЭК 19795-1, а также следующие термины с соответствующими определениями:

     4.1 Биометрические данные

4.1.1 биометрический шаблон/эталон/модель (biometric reference/template/model): Хранимое контрольное измерение пользователя, основанное на признаках, извлеченных из зарегистрированных образцов.

     4.2 Компоненты биометрической системы

4.2.1 блок извлечения признаков (feature extractor): Устройство, предназначенное для извлечения признаков из образца.

4.2.2 блок создания биометрического шаблона (biometric reference generator): Устройство, предназначенное для преобразования образца в биометрический шаблон.

     4.3 Взаимодействие пользователя с биометрической системой

4.3.1 акклиматизация (acclimatization): Временное ухудшение биометрических характеристик в процессе испытания, которое может влиять на способность датчика обрабатывать образец.

4.3.2 уровень затрачиваемых усилий (effort level): Число представлений, попыток или транзакций, необходимых для успешной регистрации или успешного сравнения в биометрической системе.

4.3.3 попытка регистрации (enrollment attempt): Предоставление испытуемым субъектом одного или нескольких биометрических образцов для регистрации в биометрической системе.

Примечание 1 - Для совершения транзакции регистрации может разрешаться или требоваться одна или несколько попыток регистрации. Попытка регистрации может состоять из одного или нескольких представлений данных для регистрации.

Примечание 2 - Взаимосвязь между представлениями, попытками и транзакциями указана в приложении В.

4.3.4 предельное число попыток регистрации (enrollment attempt limit): Максимальное число попыток (или максимальная продолжительность попытки регистрации), которое может осуществить испытуемый субъект, прежде чем транзакция регистрации будет прекращена.

4.3.5 представление для регистрации (enrolment presentation): Предоставление экземпляра биометрической характеристики испытуемого субъекта для регистрации.

Примечание - Для совершения попытки регистрации может разрешаться или требоваться одно или несколько представлений для регистрации. Представление для регистрации может приводить или не приводить к формированию попытки регистрации.

4.3.6 предельное число представлений для регистрации (enrolment presentation limit): Максимальное число представлений (или максимальная продолжительность представления), которое может осуществить испытуемый субъект до того, как попытка регистрации будет прекращена.

4.3.7 инструкция (guidance): Указания, предоставляемые администратором биометрической системы испытуемому субъекту в процессе регистрации или распознавания.

Примечание - Инструкция не является частью звуковой или графической обратной связи, обеспечиваемой биометрической системой в процессе регистрации или распознавания.

4.3.8 навыки (habituation): Уровень знаний испытуемого субъекта об устройстве.

Примечание - Испытуемый субъект, обладающий знаниями об использовании биометрического устройства, рассматривается как испытуемый субъект, обладающий навыками.

4.3.9 попытка сравнения (comparison attempt): Предоставление одного или нескольких биометрических образцов испытуемого субъекта с целью их дальнейшего сравнения в биометрической системе.

4.3.10 предельное число попыток сравнения (comparison attempt limit): Максимальное число попыток (или максимальная продолжительность попытки), которое может осуществить испытуемый субъект до того, как транзакция сравнения будет прекращена.

4.3.11 представление для сравнения (comparison presentation): Предоставление экземпляра биометрической характеристики испытуемого субъекта для сравнения с шаблоном.

Примечание - Для совершения попытки сравнения может разрешаться или требоваться одно или несколько представлений для сравнения. Представление для сравнения может в результате приводить или не приводить к формированию попытки сравнения.

4.3.12 предельное число представлений для сравнения (comparison presentation limit): Максимальное число представлений (или максимальная продолжительность представления для сравнения), которое может осуществить испытуемый субъект до того, как попытка сравнения будет прекращена.

     4.4 Эксплуатационные характеристики

4.4.1 вероятность отказа обработки исходных данных (failure at source rate): Доля образцов, удаленных из базы данных (либо вручную, либо автоматически) до начала ее использования в технологическом испытании.

Пример - Доля изображений, собранных в процессе сбора данных лица, которые могут быть удалены в случае, если изображения лица являются дефектными.

     5 Обзор технологических и сценарных испытаний

Настоящий стандарт устанавливает методы проведения двух видов испытаний - технологического и сценарного. Протокол испытания должен включать в себя информацию о виде проводимого испытания - технологического, сценарного или смешанного, которое совмещает элементы технологического и сценарного испытаний.

Технологическое испытание - это испытание одного или нескольких алгоритмов для одной биометрической модальности, проводимое в режиме отложенного задания и использующее ранее существовавшую либо специально собранную базу данных образцов. Преимущество технологического испытания заключается в его отделении от процесса взаимодействия человека с датчиком при сборе данных и процесса распознавания, что обеспечивает следующие возможности:

- возможность проведения испытания путем использования полного перекрестного сравнения. Технологическое испытание позволяет использовать всю испытуемую выборку в качестве претендентов на идентичность всем остальным субъектам (то есть самозванцам), что позволяет оценить вероятность ложного совпадения при сравнении "одного к ", а не "одного к ";

- возможность проведения пробных испытаний. Технологическое испытание может быть проведено без вывода результатов в режиме реального времени, что позволяет использовать его в рамках научно-исследовательской работы. Например, проведение замкнутых циклов испытаний позволяет определить влияние модификаций алгоритмов обработки, изменений динамических параметров (таких, как уровень и структура затрачиваемых усилий) и использования различных баз данных изображений;

- возможность проведения испытаний на нескольких экземплярах биометрической характеристики с применением нескольких алгоритмов. Использование типовых процедур испытаний, стандартных интерфейсов и одинаковых метрик предоставляет возможность проведения серии испытаний биометрических систем с использованием нескольких экземпляров биометрической характеристики (например, три изображения лица) с применением нескольких алгоритмов (например, алгоритм А и алгоритм Б) или их комбинации;

- при условии, что база данных содержит подходящие образцы, технологическое испытание позволяет провести испытания всех модулей после интерфейса получения биометрических данных с помощью датчика, в том числе модуль (модули) проверки качества и обратной связи, модуль (модули) обработки сигнала, модуль (модули) обобщения изображений (в случае работы с мультимодальными биометрическими системами или системами, использующими несколько экземпляров биометрической характеристики), модуль (модули) извлечения и нормализации признаков, модуль (модули) обобщения признаков, модуль (модули) вычисления и обобщения степеней схожести и модуль (модули) нормализации показателей;

- какие-либо непредвиденные события, возникающие в процессе взаимодействия человека с датчиком, препятствуют воспроизводимости результатов, что усложняет проведение сравнительных испытаний биометрических систем. Устранение данного взаимодействия как фактора, влияющего на эксплуатационные характеристики, позволяет обеспечить воспроизводимость результатов испытаний. В режиме отложенного задания данное испытание можно повторять множество раз при незначительных затратах;