ГОСТ Р ИСО/МЭК 19795-4-2011 Информационные технологии (ИТ). Биометрия. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 4. Испытания на совместимость

     7.2 Показатели качества

7.2.1 Показатели качества распознавания

Значения эксплуатационных характеристик для определения совместимости и достаточности должны быть определены с точки зрения одного или более основных показателей качества. Данные показатели должны быть выбраны таким образом, чтобы они были значимыми для эксплуатации системы и адекватно представляли ее эксплуатационные характеристики.

Примерами показателей качества являются:

- для верификации - ОВЛНД при установленной ОВЛД - обязательные показатели, см. ниже;

- для верификации: ВЛНД при установленной ВЛД;

- для верификации: ВЛД при установленной ВЛНД;

- для верификации: ОВЛД при установленной ОВЛНД;

- для верификации: вероятность равных ошибок;

- для верификации: ВЛД и ВЛНД для установленного порога принятия решения подсистемы сравнения ББД;

- для идентификации: ВЛОИ при установленной ВЛПИ;

- для идентификации: ВЛПИ при установленной ВЛОИ.

При испытаниях на совместимость систем верификации ОВЛНД при установленной ОВЛД является одним из обязательных показателей качества вследствие того, что продукты разных поставщиков могут выдать ошибку на различных стадиях обработки, и в целях сравнения необходимо включить все источники ошибок обработки в показатели эксплуатационных характеристик.

Пример 1 - Удовлетворяющим требованиям показателем качества для системы распознавания по лицу является ВЛНД при ВЛД=0,01.

Примечание 1 - Число подсистем, соответствующих конкретному критерию совместимости, может измениться в зависимости от настроек порога принятия решения. Этого можно избежать путем проведения испытаний с учетом требований к эксплуатационным характеристикам, как, например, ВЛД=0,01, что будет иметь эффект фиксирования порога принятия решения. В случае отсутствия подобных данных в протоколе испытаний должны быть указаны показатели совместимости для нескольких эксплуатационных режимов (рабочих точек).

Пример 2 - В протоколе испытаний указывают ВЛНД при ВЛН=0,0001, 0,001 и 0,01.

Примечание 2 - Результаты испытаний на совместимость (с получением либо абсолютных, либо относительных значений эксплуатационных характеристик) необязательно отражают степень совместимости для других приложений или при других условиях эксплуатации.

Примечание 3 - Показатели, указанные выше, соответствуют одиночным точкам на кривой компромиссного определения ошибки (КОО) и могут быть использованы на практике в том случае, если в подсистеме сравнения ББД можно предварительно настроить соответствующий порог принятия решения. Более общие статистические характеристики, такие как площадь области под кривой рабочей характеристики (РХ) (один минус площадь области под кривой КОО) и статистика d', не могут быть использованы на практике, так как вычисляются независимо от используемого порога принятия решения. Такие характеристики могут быть использованы в двух случаях: в первом случае в качестве показателя потенциальных возможностей биометрической характеристики, связанного с биометрическими признаками, соответствующими образцами и алгоритмом, применяемым для их обработки; во втором случае - когда степень, до которой система способна к совместимости (см. подраздел 7.3), считается зависимой от порога принятия решения, а ее итоговое значение может быть использовано в качестве характерного (т.е. не зависящего от приложения) статистического показателя эксплуатационных характеристик.

Примечание 4 - Для испытаний на совместимость массовых коммерческих биометрических продуктов, которые не предоставляют степеней схожести и не имеют возможности настройки порога принятия решения, может потребоваться показатель качества, который принимает во внимание и ОВЛНД, и то, находится ли ОВЛД в рамках диапазона приемлемых значений; например, показатель качества :

Примечание 5 - При испытаниях систем идентификации может оказаться целесообразным исследование и построение кривой КОО в координатах (время обработки, размер ББД).

Примечание 6 - Показатели систем идентификации, такие как доля совпадений подлинных лиц с рангом ниже или равном (в соответствии с кривой характеристики совокупной схожести), также удовлетворяют требованиям и могут быть включены в качестве дополнения в перечень показателей качества, приведенный выше.

Примечание 7 - Дополнительные вероятности ошибок (например, вероятность истинного допуска ВИД=1-ВЛНД) не включены в перечень показателей качества по той причине, что описание в разделах, в которых используются термины, обозначающие неравенство (например, "менее чем"), необходимо будет исправить на противоположное (например, на "более чем") и данная операция является тривиальной.

Методы интерпретации и анализа подобных показателей качества (например, количественно выражающих степень совместимости) определены в разделе 9 настоящего стандарта.

7.2.2 Оценка ошибок на уровне компонент

В общем случае любой компонент биометрической системы может выдать ошибку в процессе выполнения своей функции. Такие вероятности ошибок на уровне компонента должны быть оценены и указаны в протоколе испытаний в дополнение к обобщенным вероятностям ошибок при выполнении транзакций. Ошибка на уровне компонента может произойти на многих стадиях обработки, например, в процессе:

- получения изображения или сигнала,

- его обработки,