ГОСТ Р ИСО/МЭК 19795-1-2007 Автоматическая идентификация. Идентификация биометрическая. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 1. Принципы и структура (с Изменением N 1)

     6.4 Контроль факторов, влияющих на эксплуатационные характеристики

6.4.1 Показатели эксплуатационных характеристик биометрической системы могут значительно зависеть от способов ее применения, условий окружающей среды и выборки. Список особенностей пользователя, факторов применения, внешних и системных факторов, которые влияют на эксплуатационные характеристики биометрической системы, приведен в приложении В. До начала сбора данных должно быть определено, каким образом будет осуществляться контроль данных факторов.

6.4.2 Факторы, влияющие на измеряемые эксплуатационные характеристики, должны быть явно или неявно отнесены к одному из следующих четырех классов:

a) контролируемые управляемые факторы, включенные в методику испытания (как независимые переменные);

b) контролируемые неуправляемые факторы (постоянные в течение испытаний), являющиеся частью условий испытания;

c) неконтролируемые факторы - случайные и независимые от испытания факторы;

d) незначительные факторы, эффект от которых не будет учитываться. Без данной категории факторов испытание будет очень сложным.

Для определения того, какие факторы наиболее существенны, а какие могут быть отнесены к незначительным, может понадобиться провести предварительное испытание биометрических систем. При определении контролируемых факторов может возникнуть противоречие между необходимостью внутренней достоверности (то есть различия в эксплуатационных характеристиках вызваны только независимыми переменными, зарегистрированными при испытании) и внешней достоверности (то есть результаты действительно представляют эксплуатационные характеристики при целевом применении).

Пример - При сравнении эксплуатационных характеристик двух биометрических систем необходимо определить, влияет ли квалификация или личность оператора регистрации на эксплуатационные характеристики. Контролировать этот фактор можно следующим образом:

а) спланировать эксперимент так, чтобы измерять эксплуатационные характеристики между наблюдателями дифференциально, как и между системами;

b) использовать только одного оператора или регламентировать взаимодействие оператора или субъекта для соблюдения единообразия в течение испытания;
     

    с) случайно распределить попытки регистрации между всеми операторами, тем самым исключая любую систематическую ошибку;

d) если есть данные о том, что различия между операторами регистрации являются небольшими по сравнению с различиями между системами, то данный фактор можно не учитывать.

6.4.3 При технологическом испытании могут быть учтены особенности применения и выборки, гарантирующие, что испытания будут не слишком трудными и не слишком простыми для испытуемых систем.

6.4.4 Для того чтобы биометрическая система могла быть испытана на репрезентативной выборке в реальных условиях, при сценарном испытании должны быть определены и смоделированы условия реального применения и выборка.

6.4.5 При оперативном испытании условия окружающей среды и выборка определяются в реальных условиях под контролем экспериментатора.

6.4.6 Очень важным условием при планировании испытания является определение временного интервала между регистрацией и сбором данных верификации или идентификации. Продолжительные временные интервалы, как правило, затрудняют сравнение образцов и шаблонов из-за явления, известного как "старение шаблона". Это сопряжено с увеличением вероятностей ошибок, вызванных изменениями датчика и биометрических характеристик субъекта, связанными со временем представления образца. Поэтому сбор данных транзакции подлинного лица должен быть отделен во времени от регистрации интервалом, соразмерным с целевым применением. Если данный интервал неизвестен, то разделение во времени должно быть настолько продолжительным, насколько это возможно. Эмпирическое правило заключается в отделении образцов по времени, по крайней мере, обычным временем восстановления структуры (заживления) испытуемой части тела.

Пример - Для заживления раны на пальце должно быть достаточно двух-трех недель. Структуры радужной оболочки глаза могут восстанавливаться быстрее, что позволяет отделять изображения по времени только несколькими днями. Стрижку можно рассматривать как изменение структуры лица, поэтому изображения лица могут быть отделены по времени одним или двумя месяцами.

Примечание - Специальное испытание, разработанное для исследования адаптации пользователя (улучшающаяся степень схожести) или старения шаблона (ухудшающаяся степень схожести), требует получения множества образцов в течение длительного времени. Невозможно разделить эффекты старения шаблона и адаптации пользователя.