Испытания на субъективную оценку разборчивости речи
B.1 Основные условия испытаний
Речевые возможности говорящих и слуховые возможности слушателей должны быть достаточными для обеспечения результативной прямой речевой связи, связи с помощью систем звукового оповещения или персональных устройств связи (см. рисунок D.1).
Говорящие и слушатели должны быть знакомы с используемым языком на уровне произношения и понимания речевого сообщения. Лучше, если говорящими людьми являются носители языка.
Слушатели должны быть защищены от опасности нанесения вреда здоровью и безопасности. Это означает, что безопасные уровни звукового давления речи не должны быть превышены. Рекомендуемый максимальный уровень корректированного по A звукового давления речи составляет 80 дБ для продолжительности воздействия 8 ч (рабочий день).
B.2 Текст для испытаний
B.2.1 Общие положения
Испытания разборчивости речи должны предоставлять достоверные, надежные результаты, позволяющие провести анализ ошибок в оценках слушателей. Текст для испытаний должен включать в себя слова, которые типичны для испытуемой системы и репрезентативны для сообщений, передаваемых с помощью системы. Следует рассмотреть возможность минимизации затрат на испытания, например, возможность автоматизации для упрощения управления испытаниями.
Существует несколько методов измерения разборчивости речи (см. F.4). В настоящем стандарте приведены три типа испытаний разборчивости речи:
- испытания с использованием открытого набора слов;
- испытания с использованием открытого набора ФС-слов;
- испытания с использованием предложений.
________________
- равно-сбалансированные слова с чередованием "согласная-гласная-согласная".
ФС-слова - фонетически сбалансированные слова.
B.2.2 Открытые наборы слов
Открытые наборы слов составляют на основе полных наборов контрольных слов. В случае испытаний с использованием открытого набора СГС-слов, контрольное слово создается случайным образом из набора начальных согласных, гласных и конечных согласных. Бессмысленные -слова сбалансированы для представления всех фонем языка в равной степени. При создании СГС-слов могут применяться зависящие от языка ограничения на сочетание некоторых фонем.
Испытания с использованием смысловых ФС-слов выполняют на основе набора односложных слов. Различные фонемы в таких испытаниях используют в соотношении, типичном для конкретного языка.
Для обоих типов испытаний обычно используют набор из 50 слов. Общее количество контрольных слов не должно быть менее 1000 слов, чтобы избежать адаптации слушателей к часто используемым перечням слов. Чтобы получить схожие в процентном отношении результаты испытаний разборчивости речи с использованием открытого набора -слов, необходимо повысить отношение сигнал-шум примерно на 6 дБ по сравнению с испытаниями с использованием смысловых ФС-слов (см. рисунок F.1).
Говорящий зачитывает перечень слов группе слушателей. Слушатели обычно записывают слова в листе ответов (или на компьютере, используя бесшумную клавиатуру). Оценкой разборчивости является процент правильно идентифицированных слов. В случае испытаний с использованием бессмысленных СГС-слов может быть отдельно определена разборчивость для начальной согласной, гласной и конечной согласной, что позволяет создать матрицу неточностей. Более подробная информация приведена в приложении F и см. [13].
B.2.3 Испытания с использованием предложений
Обычно испытания с использованием предложений не рекомендуют для оценки систем передачи речи, потому что знание слушателем грамматики, смысла и синтаксиса предложений оказывает влияние на результат. Другой сложностью является создание большого количества фонетически репрезентативных предложений определенной сложности. Однако в некоторых случаях может быть использован метод ПВР, с помощью которого определяют уровень шума для уровня разборчивости предложения 50%. В зависимости от текстового материала это соответствует отношению сигнал-шум от минус 4 дБ до минус 6 дБ (см. рисунок F.1). Следовательно, в разных условиях значение может быть различным.
________________
ПВР - порог восприятия речи.
B.3 Говорящие и слушатели
Выбранные говорящие и слушатели должны представлять репрезентативную часть совокупности пользователей испытуемой системы. При выборе людей следует учитывать их возраст, пол, образование, опыт и языковую подготовку. Выбор репрезентативной группы, определение ее объема и уровня подготовки следует выполнять в соответствии с регламентированными методами.
В настоящем стандарте приведены следующие рекомендации:
- необходимо включать в группу в качестве говорящих хотя бы одного мужчину и одну женщину установленной национальности, владеющих установленным языком;
- необходимо привлекать пять слушателей, заинтересованных в испытаниях с небольшим закрытым набором слов, и десять слушателей для испытаний с большим открытым набором слов;