ГОСТ Р 59880-2021 Эргономика. Проектирование и применение испытаний речевых технологий. Методика определения показателей качества синтеза речи по тексту
10 Измерение естественности синтезированной речи аудитивным методом
10.1 Измерения проводит бригада аудиторов в количестве не менее 20 человек. Отклонение доли мужчин от доли женщин не должно превышать 20%. Размер бригады определен для уровня значимости 0,05 с доверительным интервалом оценки среднего значения естественности, равным 0,03 балла по [1].
10.2 Бригада аудиторов работает в два этапа.
10.3 На первом этапе проводят обучение аудиторов на подготовленном речевом тесте. Речевой тест должен содержать мужской и женский голоса, естественную речь, синтезированную речь со всеми уровнями естественности. Аудиторы тренируются оценивать естественность синтезированной речи в баллах по образцам.
10.4 На втором этапе выполняют измерения испытуемого синтезатора. Синтезатор генерирует речь в нормальном темпе речи для таблиц, составленных в соответствии с правилами приложения В. Формируется тест для аудиторов как случайная последовательность различных аудиозаписей, содержащих либо естественную речь, либо синтезированную. Расстояние между аудиозаписями с естественной речью в последовательности аудиозаписей должно быть не более 5.
10.5 Пауза между фразами при прослушивании должна составлять (3±2) с. Длительность паузы в заданном интервале определяется аудитором. Уровень громкости устанавливается аудитором на испытательном предложении "Не видали мы такого невода".
10.6 Аудитор прослушивает аудиозаписи, ставит оценку естественности звучания речи по степени искажений речи. Субъективную оценку проводят в абсолютных категориях по 5-балльной шкале в соответствии с таблицей 4. Прилагательное "абсолютный" в наименовании шкалы указывает на то, что аудиторам необходимо оценить каждую аудиозапись безотносительно к другим аудиозаписям.
Таблица 4 - Шкала оценок естественности речи
Оценка естественности звучания речи | Значение, балл | Степень искажений речи |
Отлично | 5 | Искажения отсутствуют. Синтезированная речь не отличается от естественной |
Хорошо | 4 | Искажения присутствуют только в отдельных словах. Каждое слово разборчиво. Возможна монотонная интонация |
Удовлетворительно | 3 | Искажения присутствуют постоянно |
Плохо | 2 | Искажения присутствуют постоянно. Некоторые слова неразборчивы |
Неприемлемо | 1 | Пропадание и полное искажение слов |
10.7 Измерение естественности включает в себя прослушивание аудиторами всех аудиозаписей не менее пяти таблиц, подготовленных отдельно для мужского и женского голосов. Для каждого измерения выбирают разные таблицы. Протокол измерения естественности речи должен содержать дату измерения, идентификатор аудитора, идентификатор голоса синтезатора или диктора, ширину спектра аудиосигнала, идентификатор фразы и оценку естественности.
10.8 Вычисляют единичные измерения как средние значения естественности по оценкам аудитора для каждой пары таблицы и голоса. Для каждого измерения вычисляют среднее значение естественности по формуле
, (7)
где - число единичных измерений;
- единичное измерение.