ГОСТ Р 53452-2009/ISO/TR 19358:2002 Эргономика. Проектирование и применение испытаний речевых технологий

Приложение В
(справочное)

Критерии качества работы

Система распознавания выражений включает в себя системы, разработанные для слов, устных команд, текстовых строк, пользователей и языков. Техническая оценка (т.е. лабораторная оценка) систем распознавания речи обычно использует интенсивность распознавания как показатель качества работы. В связи с этим используют интенсивность ошибок. Под точностью понимают количество ошибок каждого типа (отклонения, ложный ввод, ложная тревога). Вместо общего показателя качества работы системы распознавания может быть использовано (для системы распознавания речи) отклонение несловарных слов. Несловарное слово (OOV) - это слово, сказанное пользователем, но не включенное в словарь системы. Следовательно, OOV не может быть распознано правильно.

При проблемно-ориентированной оценке готовой системы потенциальными пользователями критерии качества работы системы обычно связаны с заданием, т.е. количеством успешных соединений, временем соединения и исправления ошибок. Системы с древовидной структурой ввода могут вызвать дезориентацию пользователя относительно прогноза о завершении задания. Пользователь должен быть осведомлен о состоянии системы. Ситуационная осведомленность играет важную роль для успешного завершения задания или, в случае ошибок, для исправления ошибок.

Интенсивность ошибок распознавания слов находят по формуле

,                                                            (B.1)

где - интенсивность ошибок распознавания слов;

- количество введенных символов (слов);

- количество удалений;

- количество замен;

- количество слов.

Интенсивность ошибок распознавания слов может быть выражена также в процентах. Стандартное отклонение рассчитывают по формуле

.                                                         (B.2)