ГОСТ Р 59880-2021 Эргономика. Проектирование и применение испытаний речевых технологий. Методика определения показателей качества синтеза речи по тексту
6 Измерение смысловой разборчивости синтезированной речи аудитивным методом
6.1 Измерения проводит бригада аудиторов в количестве не менее 15 человек. Состав бригады - произвольный.
6.2 Бригада аудиторов работает в два этапа.
6.3 На первом этапе проводят обучение аудиторов на подготовленном речевом тесте. Речевой тест должен содержать мужской и женский голоса, естественную речь, синтезированную речь со всеми категориями ошибок. Аудиторы тренируются определять категорию ошибки синтезированной речи по образцам.
6.4 На втором этапе выполняют измерения испытуемого синтезатора. Синтезатор генерирует речь для таблицы А.1 (приложение А) и примеров, приведенных в А.2 (приложение А), с постоянным уровнем громкости в нормальном темпе речи.
6.5 Пауза между фразами при прослушивании должна составлять (3±2) с. Длительность паузы в заданном интервале определяется аудитором. Уровень громкости устанавливается аудитором на испытательном предложении "Не видали мы такого невода".
6.6 Аудитор прослушивает синтезированное предложение и ставит оценку разборчивости в диапазоне от 1 до 5. Оценку 1 ставят при фиксировании ошибок категории 4. Описание категорий ошибок указано в таблице 1. Оценку 2 ставят, когда наблюдаются ошибки категории 3. Оценку 3 - ошибки категории 2. Оценку 4 - ошибки категории 1. Оценку 5 ставят, когда в синтезированной речи отсутствуют ошибки. При наблюдении ошибок из разных категорий выбирают ошибку с наибольшей категорией.
При измерении смысловой разборчивости следует помнить, что при этом не учитывается точность реализации интонационного оформления фразы. Необходимо принимать во внимание только возможные ошибки, перечисленные в таблице 1.
Таблица 1 - Категории ошибок в оценке смысловой разборчивости синтезированной речи
Категория | Описание |
4 | Пропадание и полное искажение слов |
3 | Частичное искажение слов |
2 | Неправильные ударения в словах |
1 | Неправильное положение пауз |
1 | Неправильная длительность пауз |
1 | Неестественность звучания речи |
1 | Вставка шума в речевых паузах |
6.7 Измерение разборчивости включает в себя прослушивание всеми аудиторами всех фраз таблиц, подготовленных отдельно для мужского и женского голосов. Для каждого измерения выбирают разные таблицы. Протокол измерения смысловой разборчивости речи должен содержать дату измерения, идентификатора аудитора, идентификатор голоса синтезатора, идентификатор фразы и оценку разборчивости.
6.8 Проводят единичные измерения как средние значения разборчивости по оценкам аудитора для каждой пары таблица - голос. Для каждого измерения вычисляют среднее значение разборчивости согласно [1] по формуле
, (1)
где - число единичных измерений (таблиц);