ГОСТ Р 50779.60-2017 (ИСО 13528:2015) Статистические методы. Применение при проверке квалификации посредством межлабораторных испытаний (с Поправкой)

     11 Планирование эксперимента и анализ программ проверки квалификации для качественных показателей (включая номинальные и порядковые свойства)

11.1 Вид качественных данных

Довольно часто при проверке квалификации используют свойства, которые идентифицируют по качественной шкале. Среди видов качественных данных различают программы проверки квалификации, в которых:

- результаты фиксируют по категориальной шкале (иногда называемой "номинальной шкалой"), где характеристика свойства не имеет числового значения (например, тип вещества или организма);

- фиксируют наличие или отсутствие свойства, определяемого по субъективным критериям или значению сигнала при выполнении процедуры измерений. Эту ситуацию можно рассматривать как частный случай категориальной или порядковой шкалы с двумя значениями (также называемой "дихотомической" или "бинарной");

- результаты фиксируют по порядковой шкале, эти результаты могут быть упорядочены, но для них арифметические соотношения неприменимы. Например, порядковая шкала может иметь значения "высокий", "средний", "низкий".

Такие программы проверки квалификации требуют особого внимания на этапах планирования эксперимента, выбора приписанного значения и оценки показателей функционирования (индексов), так как:

- приписанные значения очень часто основаны на мнении экспертов;

- статистическая обработка, предназначенная для непрерывных значений и количественных данных, не применима к качественным данным. Например, при определении результатов по порядковой шкале не имеет смысла применять средние и стандартные отклонения, даже если результаты могут быть ранжированы.

В следующих подразделах приведены рекомендации по планированию, выбору приписанного значения и оценке функционирования для схем проверки квалификации с использованием качественных характеристик.

Примечание - Рекомендации для порядковых данных не применяют к результатам измерений, которые основаны на количественной шкале с дискретными показателями (см. 5.2.2).

11.2 Статистическое планирование эксперимента

11.2.1 Для программ проверки квалификации, в которых мнение экспертов используют при определении приписанного значения или оценке отчетов участников, необходимо собрать комиссию из квалифицированных экспертов и дать ей время для обсуждения и выработки согласованного мнения. Там, где есть необходимость полагаться на мнение отдельных экспертов при выборе индексов или назначении величин, провайдер проверки квалификации должен дополнительно обеспечить оценку и проверку согласованности мнений различных экспертов.

Пример - В программе проверки квалификации в клинике, где для диагностики используют микроскоп, для оценки предметных стекол, предоставляемых участникам, используют экспертное заключение, которое обеспечивает соответствующий клинический диагноз для образцов проверки квалификации. Провайдер проверки квалификации может выбрать и раздать членам экспертной комиссии образцы вслепую (без указания участника) для обеспечения согласованности диагноза или проводить периодические совещания для получения согласованной оценки всех членов экспертной комиссии.

11.2.2 Для программ проверки квалификации, в которых участники фиксируют простые, однозначные, категоризированные или порядковые результаты, провайдеру проверки квалификации следует рассмотреть возможность:

- обеспечения двух или более образцов проверки квалификации в раунде;

- запроса результатов репликаций измерений для каждого образца проверки квалификации в соответствии с количеством установленных заранее репликаций измерений.

Любая из этих стратегий позволяет подсчитывать результат для каждого участника, который может быть использован либо в анализе данных, либо для расчета индексов. Использование двух или более образцов обеспечивает дополнительную информацию об особенностях ошибок, а также позволяет определить более сложные индексы при оценке квалификации.

Пример 1 - В программе проверки квалификации фиксируют наличие или отсутствие загрязняющего вещества, предоставленные образцы содержат некоторый диапазон уровней загрязняющего вещества на каждом уровне его содержания как функцию уровня содержания загрязняющего вещества. Это может быть использовано, например, для предоставления информации участникам о возможности обнаружения выбранным методом испытаний загрязняющего вещества или для получения средней вероятности обнаружения и последующего определения индексов функционирования, которые в свою очередь могут быть распределены среди участников на основе оценок вероятностей конкретных моделей отклика.
     
     Пример 2 - Проверка квалификации для судебно-медицинских исследований часто требует сопоставления образцов на предмет того, получены они из одного и того же источника или из различных источников (например, отпечатки пальцев, ДНК, гильзы от пули, следы и т.д.). В большинстве случаев возможен ответ "не определено". Программа проверки квалификации может включать в себя несколько образцов из различных источников, и участников просят для каждой пары образцов установить, принадлежат ли они одному и тому же источнику, различным источникам или их источник не может быть определен. Это позволяет дать объективные оценки в виде числа (или %) правильных или неправильных заключений или количества правильных решений о соответствии или отклонении. Затем могут быть установлены критерии их функционирования по степени пригодности использования или сложности задачи.

11.2.3 Однородность должна быть подтверждена анализом соответствующей выборки из образцов, каждый из которых должен продемонстрировать ожидаемое свойство. Для некоторых качественных показателей, например наличие или отсутствие чего-либо, может быть возможна проверка однородности с помощью измерений количественных показателей, таких как микробиологический подсчет объектов или спектр поглощения выше заданного порога. В таких ситуациях могут быть целесообразны испытания на однородность или демонстрация всех результатов выше или ниже заданного значения.

11.3 Приписанное значение для качественных показателей

11.3.1 Приписанные значения для образцов могут быть установлены на основе:

a) экспертной оценки;

b) использования стандартных образцов в качестве образцов для проверки квалификации;

c) сведений о происхождении или подготовке образца(ов);

d) использования моды или медианы результатов участника (медиана подходит только для порядковых значений).

Для получения достоверных результатов может быть использован также любой другой способ выбора приписанного значения. Ниже рассмотрена каждая из перечисленных выше стратегий.

Примечание - Эти способы обычно не подходят для обеспечения количественной информации о неопределенности приписанного значения в программах проверки квалификации, использующих качественные показатели. Тем не менее в соответствии с 11.3.2-11.3.5 необходима такая базовая информация о достоверности приписанного значения, чтобы участники могли взвешенно оценить, может ли полученный плохой результат быть связан с ошибкой при установлении приписанного значения.

11.3.2 Значения, присвоенные на основании заключения экспертов, обычно должны базироваться на согласованном мнении всех квалифицированных экспертов. Любое значимое расхождение между членами комиссии должно быть записано в отчете по результатам раунда. Если комиссия не может достичь соглашения в отношении конкретного образца, провайдер может рассмотреть альтернативный способ присвоения приписанного значения из перечисленных в 11.3.1. Если этот способ не подходит, образец не должен быть использован для оценки работы участников.