ГОСТ Р 59879-2021 Эргономика. Проектирование и применение испытаний речевых технологий. Методика определения показателей качества распознавания голосовых команд управления

     5.4 Методика оценки показателя ошибки распознавания голосовых команд управления

Выбор показателя, используемого для оценки ошибки распознавания голосовых команд управления, определен типом системы распознавания. При испытании системы распознавания голосовых команд управления на основе распознавания слитной речи следует применять показатель спутывания, а для системы распознавания с заданным словарем - показатель целевой функции по формуле (2) в 5.4.2. Когда результат распознавания не содержит значение достоверности, следует полагать его равным 1.

5.4.1 Методика оценки показателя ошибки распознавания голосовых команд управления для систем распознавания слитной речи

5.4.1.1 Для измерения ошибки распознавания голосовых команд используют объединенные тестовые данные 1-3.

5.4.1.2 Для получения показателя спутывания следует вычислить редакционное расстояние - метрику, определяющую разность между двумя последовательностями элементов (в данном случае - слов). Такая метрика выражается в минимальном количестве удалений, вставок и замен, необходимых для того, чтобы две последовательности элементов стали равными. В качестве последовательностей элементов используют текстовый результат распознавания, сохраненный в соответствии с 5.1.6, и текст произнесенной голосовой команды, который содержится в тестовых данных. Веса для удалений, вставок и замен принимаются равными 1, для корректных подстановок принимается вес, равный 0.

5.4.1.3 Для оценки ошибки распознавания голосовых команд управления используют показатель спутывания WER, вычисляемый по формуле

,                                                            (1)

где i - количество файлов в тестовых данных;

- количество удалений;

- количество вставок;

- количество замен;

- общее количество слов в текстах голосовых команд.

5.4.1.4 Полученное значение показателя спутывания заносят в строку "Ошибка распознавания голосовых команд" таблицы Е.1 (приложение Е).

5.4.2 Методика оценки показателя ошибки распознавания голосовых команд управления для систем с заданным словарем

5.4.2.1 Для вычисления целевой функции используют тестовые данные 1-3.