Подход к планированию и проведению тестов зависит от поставленных целей анализа, выбранного метода тестирования и естественных ограничений, влияющих на работу людей. В частности, является важным установление систематических погрешностей, которые характерны для выбранного теста, и проведение теста таким образом, чтобы влияние любых систематических погрешностей было сведено к минимуму. Причиной потенциальных систематических погрешностей могут быть психологические либо физиологические факторы.
Наиболее значимая систематическая погрешность обусловлена тем, что испытатели в процессе общения оказывают влияние на суждения друг друга. Ее необходимо минимизировать, проводя тест в индивидуальных кабинах или в условиях, когда испытатели в достаточной степени изолированы друг от друга. Также необходим строгий контроль за деятельностью испытателей.
Способ и порядок представления проб являются важными аспектами тестирования, которые могут вносить систематическую погрешность, вызванную психологическими факторами. Например, пробам следует присвоить произвольный код из трех цифр, и при проведении каждого нового теста эти коды необходимо менять. Порядок, в котором проводят оценку, также может являться причиной систематической погрешности и должен быть, как правило, строго определен. Если количество проб и испытателей мало, порядок должен быть выбран таким, чтобы каждый возможный порядок выполнялся равное количество раз. При проведении более масштабных экспериментов порядок следует сбалансировать или сделать его произвольным.
Систематическая погрешность, обусловленная физиологическими причинами, связана с природой оцениваемых проб. В частности, органолептическая адаптация к стимулу определенного запаха или вкуса может наблюдаться при повторном воздействии данного стимула, а при пережевывании твердых пищевых продуктов может наблюдаться органолептическая усталость. Оба фактора могут устанавливать верхний предел количества проб, оцениваемых за один период теста. При работе комиссий обученных испытателей рекомендуется сплевывание проб, однако при этом возможно получение неполной информации, касающейся конкретных органолептических характеристик.
Ощущение голода или сытости может влиять на эффективность работы испытателя, и когда комиссии испытателей работают слишком часто, их эффективность может быть снижена. По возможности испытателей просят воздержаться от курения и от употребления определенных продуктов, таких как кофе, в течение 1 ч перед проведением теста. Испытатели не должны привносить в зону проведения теста в течение испытания посторонние запахи, например запахи табака или косметических средств, так как это может повлиять на суждения других испытателей.
Существенным моментом является выбор времени дня для проведения теста. Расписание тестирования должно учитывать местное традиционное время приема пищи, поскольку оптимальное время для проведения теста, как правило, середина утра или середина дня. Испытатели, страдающие эмоциональными расстройствами, простудой или иными заболеваниями, должны быть исключены из числа участников проведения теста до тех пор, пока они не восстановят свое здоровье.
Сравнение полученных результатов включает три аспекта:
- проверку того, что все данные были зафиксированы достоверно, вручную или с помощью компьютера;
- проверку того, что любая дополнительная информация, которая может способствовать повышению или понижению достоверности интерпретации результатов, была учтена;
- проверку того, что испытатели имеют мотивацию продолжать участвовать в тестах, которые запланированы на будущее.