ГОСТ Р ИСО 9241-11-2010 Эргономические требования к проведению офисных работ с использованием видеодисплейных терминалов (VDT). Часть 11. Руководство по обеспечению пригодности использования
Приложение В
(справочное)
Примеры измерения показателей пригодности использования
В.1 Полная пригодность использования
При оценке пригодности использования измерения результативности, эффективности и удовлетворенности пользователя могут быть установлены для общих целей (например, печать письма) или более узких целей (например, выполнение поиска и замены буквы при печати). Выбор измеряемой характеристики показателей пригодности использования только для самых важных пользовательских целей может привести к игнорированию рассмотрения многих рабочих функций, но такой подход является самым практичным. Примеры соответствующих характеристик приведены в таблице В.1.
Таблица В.1 - Примеры измеряемых характеристик показателей пригодности использования
Цели пригодности использования | Измеряемая характеристика результативности | Измеряемая характеристика эффективности | Измеряемая характеристика удовлетворенности |
Полная пригодность использования | Процент достигнутых целей | Время выполнения задачи. | Рейтинговая шкала для оценки удовлетворенности |
Процент пользователей, успешно выполнивших задачу | Денежное выражение затрат на выполнение задачи | Частота использования продукции по собственному усмотрению | |
Точность, с которой были выполнены задачи | Частота обращений с жалобами |
В.2 Измерение требуемых свойств продукции
Для отдельных свойств продукции, оказывающих влияние на пригодность использования, могут потребоваться дополнительные измерения. Примеры некоторых из этих свойств и дополнительных измерений приведены в таблице В.2. Кроме того, соответствующие измеряемые характеристики показателей пригодности использования, приведенные в таблице В.1, могут также быть использованы для целей в области пригодности использования, установленных в таблице В.2.
Таблица В.2 - Примеры измерений свойств продукции
Цели в области | Измеряемая характеристика результативности | Измеряемая характеристика эффективности | Измеряемая характеристика удовлетворенности |
1 Удовлетворенность пользователей обучением | Количество выполненных задач с повышенными требованиями к производительности компьютера. | Эффективность по сравнению с высококвалифицированным пользователем | Рейтинговая шкала удовлетворенности возможностями компьютера пользователей |
2 Удовлетворенность при первом использовании | Процент задач, выполненных с первой попытки | Время выполнения первой попытки | Норма произвольного (по собственному усмотрению) использования |
3 Удовлетворенность при нечастом использования | Процент задач, успешно выполненных после длительного перерыва в работе | Время, потраченное на переобучение | Частота повторного использования |
4 Минимизация требований о помощи | Количество ссылок на документацию. | Продуктивно затраченное время | Рейтинговая шкала удовлетворенности пользователя средствами поддержки |
5 Обучаемость | Количество изучаемых функций. | Время обучения. | Рейтинговая шкала легкости обучения |
6 Устойчивость к ошибкам | Процент ошибок, скорректированных или выявленных системой. | Время, затраченное на исправление ошибок | Рейтинговая шкала обработки ошибок |
7 Удобочитаемость | Количество слов, правильно прочитанных с нормального расстояния | Время правильного прочтения определенного количества знаков | Рейтинговая шкала зрительного дискомфорта |
| |||
В.3 Выбор критериев пригодности использования
Выбор значений критериев для показателей пригодности использования при их измерениях зависит от требований к продукции и потребностей организации, устанавливающей критерии. Цели в области пригодности использования могут соответствовать главной цели системы (например, напечатать письмо), или ее подцелям (например, поиск и замена символов) или вторичным целям (например, требованиям обучаемости или адаптируемости). Ориентация целей в области пригодности использования на наиболее важные цели пользователя может привести к игнорированию многих функций системы, но является наиболее распространенным подходом. Однако установка подцелей пригодности использования позволяет провести оценку пригодности использования на более ранних этапах процесса разработки.
Возможны такие ситуации, когда необходимо определить критерии как для минимально допустимого уровня, так и для общего уровня пригодности использования.
Значения критериев могут быть установлены как для всей группы пользователей, и в этом случае значения критериев определяют как средние некоторой характеристики (например, среднее время завершения рабочего задания должно быть не более 10 мин), так и для каждого пользователя (например, все пользователи должны завершить рабочее задание в течение 10 мин) или для определенного процента пользователей (например, 90% пользователей должны завершить рабочее задание в течение 10 мин).
При установке критериев необходимо назначить каждой измеряемой величине определенный вес. Например, при установке критерия, связанного с ошибками, необходимо назначить веса разным типам ошибок, отражающие их относительную значимость.
В.4 Виды измерений
Измерения пригодности использования должны быть основаны на данных, отражающих результаты взаимодействия пользователя с продукцией или рабочей системой. Можно собрать данные объективными средствами, например с помощью измерений выходных показателей работы системы, скорости ее работы или происходящих с системой событий. Данные могут быть также собраны с помощью экспертного опроса пользователей, выражающих чувства, мнения, отношения или предпочтения. Объективные измерения обеспечивают прямую фиксацию достигнутого уровня результативности и эффективности, тогда как субъективные измерения могут быть напрямую связаны с удовлетворенностью пользователя.
Необходимо отметить, что с помощью объективных или субъективных измерений можно получить данные, касающиеся каждого компонента пригодности использования. Например, удовлетворенность пользователя может быть оценена объективными измерениями поведения пользователей, а оценки результативности и эффективности могут быть получены на основе субъективных мнений пользователей о своей работе и ее результатах.
Обоснованность данных, собранных для оценки уровня достигнутой пригодности использования продукции, зависит от репрезентативности групп пользователей, задач и условий использования, используемых для оценки. В некоторых случаях можно выполнять измерения в условиях эксплуатации, используя реальную рабочую ситуацию как основу для оценки пригодности использования продукции. В других ситуациях можно оценить особенности продукции в лабораторных условиях, устанавливая соответствующие аспекты условий использования репрезентативным и контролируемым способом. Преимущество использования лаборатории в том, что в этом случае открывается возможность осуществить больший контроль над переменными, имеющими критическое воздействие на уровень достигнутой пригодности использования. Кроме того, в лаборатории могут быть выполнены более точные измерения. Недостаток этого подхода состоит в том, что искусственная природа лабораторной среды может привести к ошибочным результатам.
Оценки могут быть проведены на различных стадиях создания системы (в промежуточных состояниях системы) от эксплуатации до лабораторных установок в зависимости от проблем, которые должны быть исследованы, и готовности продукции к испытаниям. Выбор среды тестирования и метода измерений зависит от целей измерений и их взаимосвязи с этапом проектирования.
В.5 Измерения результативности и эффективности
В.5.1 Измерения результативности
Результативность определяют как степень реализации запланированной деятельности и достижения запланированных результатов.
Для того чтобы определить с заданной точностью степень завершенности планового задания путем измерений, необходимо установить критерии, которые можно применять в реальной работе для фиксации успешного достижения заданных целей. Критерии могут быть определены на основе качества и количества полученных результатов, например это может быть заданный формат для выходных документов вместе с количеством и объемом обработанных документов на выходе рабочей системы.
Точность может быть оценена степенью соответствия уровня качества на выходе заданным критериям, а завершенность может быть оценена отношением достигнутого количественного результата к запланированному.