ГОСТ Р 59880-2021 Эргономика. Проектирование и применение испытаний речевых технологий. Методика определения показателей качества синтеза речи по тексту

     8 Измерение интонационной разборчивости синтезированной речи аудитивным методом

8.1 Измерения проводит бригада аудиторов в количестве не менее 15 человек. Состав бригады произвольный.

8.2 Бригада аудиторов работает в два этапа.

8.3 На первом этапе проводят обучение аудиторов на подготовленном речевом тесте. Речевой тест должен содержать мужской и женский голоса, естественную речь, синтезированную речь со всеми категориями ошибок. Аудиторы тренируются определять категорию ошибки синтезированной речи по образцам.

8.4 На втором этапе выполняют измерения испытуемого синтезатора. Синтезатор генерирует речь для таблицы Б.1 (приложение Б) с постоянным уровнем громкости в нормальном темпе речи.

8.5 Пауза между фразами при прослушивании должна составлять (3±2) с. Длительность паузы в заданном интервале определяется аудитором. Уровень громкости устанавливается аудитором на испытательном предложении "Не видали мы такого невода".

8.6 Аудитор прослушивает синтезированное предложение и ставит оценку разборчивости интонации - 0 или 1. Оценка 1 означает, что интонация точно соответствует знакам препинания; оценка 0 - интонация не соответствует. Монотонность интонации не должна влиять на оценку разборчивости.

8.7 Измерение интонационной разборчивости включает в себя прослушивание всеми аудиторами всех фраз подготовленной таблицы. Протокол измерения интонационной разборчивости речи должен содержать дату измерения, идентификатор аудитора, идентификатор голоса синтезатора, идентификатор фразы и оценку разборчивости.

8.8 Оценку интонационной разборчивости речи , %, вычисляют по формуле

,                                                           (5)

где - число фраз в подготовленной таблице;

- значение оценки интонации отдельной фразы.