ГОСТ Р ИСО/МЭК 19795-1-2007 Автоматическая идентификация. Идентификация биометрическая. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 1. Принципы и структура (с Изменением N 1)

     6.6 Объем испытания

6.6.1 Общие положения

Объем числа испытуемых субъектов и числа попыток (а также количества биометрических характеристик, используемых для каждого человека) влияет на точность измерения вероятностей ошибок. Чем больше проводят попыток, тем выше точность результатов. Для уменьшения числа попыток, необходимых для конкретного уровня точности, применяют правило трех и правило тридцати (см. приложение В, раздел В.1). Данные правила являются очень оптимистичными, поскольку предполагают, что вероятности ошибок является следствием единственного источника вариации, что неверно в отношении биометрических систем. Десять испытуемых зарегистрированных пар образцов от каждого из 100 человек статистически не эквивалентны одной испытуемой зарегистрированной паре образцов от каждого из 1000 человек и не обеспечивают ту же доверительную вероятность результатов.

Примечание - По мере увеличения объема испытания дисперсия оценки уменьшается, но масштабный коэффициент зависит от источника дисперсии. Например, пользователи могут иметь отличающиеся вероятности ошибки [16], дающие компоненту дисперсии, которую вычисляют как единицу, разделенную на число испытуемых субъектов, вместо единицы, разделенной на число попыток. Подробное описание данного эффекта приведено в приложении В.

6.6.2 Сбор нескольких транзакций пользователя

6.6.2.1 В процессе испытания может использоваться несколько транзакций от каждого испытуемого субъекта. Испытания, при которых от каждого пользователя необходимо получить несколько транзакций, включают в себя:

a) испытание эффектов старения, адаптации и других систематических изменений;

b) испытание биометрических систем, использующих обновление шаблона;

c) определение диапазонов вероятностей ошибок, индивидуальных для каждого пользователя;

d) испытание, при котором транзакция не полностью определена до испытания, например при определении влияния числа попыток в транзакции на эксплуатационные характеристики.

Примечание - Если стоимость и усилия по организации и регистрации группы субъектов не являются важным условием, то для обеспечения независимости транзакций используют большое число испытуемых субъектов, каждый из которых создает отдельную транзакцию. Значительно легче использовать ранее зарегистрированных субъектов, чем найти и зарегистрировать новых. Кроме того, каждый раз при совершении попытки в это же время могут быть проведены несколько дополнительных попыток. Между несколькими транзакциями существует некоторая корреляция; но часто при использовании нескольких транзакций от меньшего числа испытуемых субъектов возникает меньшая неопределенность результатов испытания, чем при испытании аналогичной стоимости, использующем одну транзакцию от большего числа испытуемых субъектов.

6.6.2.2 Число и частота применения испытательных транзакций, полученных от каждого испытуемого субъекта, должны соответствовать их целевому применению. Транзакции могут быть изменены в плане испытания при условии, что измененная структура транзакции незначительно влияет на вероятности ошибок.

Примечание - Поведение пользователя может изменяться при проведении каждой следующей попытки из-за увеличения его осведомленности об устройстве или обратной связи, то есть о результате идентификации. Например, первая попытка, которую совершает пользователь, будет иметь более высокую вероятность отказа, чем следующие попытки. В результате наблюдаемая ВЛНС будет зависеть от структуры попыток пользователя, как определено в соответствии с протоколом испытания. Вероятности ошибок оценивают в среднем не только по целевой выборке, но также по попыткам, которые пользователь может выполнить корректно. В этом случае применяют усреднение по нескольким попыткам. Изменение числа и структуры попыток пользователя может повлиять на поведение пользователя и на значение вероятности ошибок.

Пример - Использование нескольких транзакций непригодно для испытаний, в которых пользователь должен быть незнаком с устройством или биометрическим приложением.

6.6.3 Рекомендации по объему испытания

При определении точности результатов испытания число испытуемых субъектов имеет большее значение, чем число проводимых попыток.

a) Группа должна быть настолько большой, насколько это практически осуществимо. Мерой целесообразности могут быть затраты на набор и испытание группы.

b) От каждого испытуемого субъекта должно быть получено достаточное число образцов, чтобы общее число попыток превысило значение, требуемое по правилу 3 или правилу 30 соответственно. Если есть возможность собрать несколько образцов в разные дни или разных пальцев, глаз или рук (при условии сохранения репрезентативности*), то можно уменьшить зависимости между образцами одного и того же человека.

________________

* Например, использование мизинца может быть нерепрезентативным для нормального использования биометрической системы отпечатка пальца, и значения вероятности ошибок будут различными [17]. Точно так же использование перевернутой левой руки не будет репрезентативным в биометрической системе, предназначенной для регистрации правой руки.

c) После того как данные будут собраны и проанализированы, должна быть проведена оценка неопределенности измерений рабочих характеристик, а также было ли проведено испытание в достаточном объеме.

Примечание - В этом случае применяют закон убывающей отдачи, т.е. цель достигнута, если число ошибок, возникающих из-за изменений условий использования или выборки испытуемых субъектов, превышает число ошибок, возникающих вследствие объема группы и числа опытов.