ГОСТ Р 50779.80-2013/ISO/TR 14468:2010

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Статистические методы

АНАЛИЗ СОВПАДЕНИЯ РЕЗУЛЬТАТОВ ПРОВЕРОК ПО АЛЬТЕРНАТИВНОМУ ПРИЗНАКУ

Statistical methods. Attribute agreement analysis

ОКС 03.120.30

Дата введения 2014-12-01

Предисловие

1 ПОДГОТОВЛЕН Автономной некоммерческой организацией "Научно-исследовательский центр контроля и диагностики технических систем" (АНО "НИЦ КД") на основе собственного перевода на русский язык англоязычной версии стандарта, указанного в пункте 4

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 125 "Применение статистических методов"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 22 ноября 2013 г. N 1664-ст

4 Настоящий стандарт идентичен международному документу ISO/TR 14468:2010* "Примеры анализа совпадения результатов проверок по альтернативному признаку" (ISO/TR 14468:2010 "Selected illustrations of attribute agreement analysis", IDT).

________________

* Доступ к международным и зарубежным документам, упомянутым в тексте, можно получить, обратившись в Службу поддержки пользователей. - Примечание изготовителя базы данных.

Наименование настоящего стандарта изменено относительно наименования указанного международного документа для приведения в соответствие с ГОСТ Р 1.5-2012 (пункт 3.5).

При применении настоящего стандарта рекомендуется использовать вместо ссылочных международных стандартов соответствующие им национальные стандарты, сведения о которых приведены в дополнительном приложении ДА

5 ВВЕДЕН ВПЕРВЫЕ

6 ПЕРЕИЗДАНИЕ. Июль 2020 г.

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.gost.ru)

Введение

Стандарты по статистическим методам и методологии "Шесть сигм" обеспечивают применение подхода постоянного улучшения и методов анализа качества.

Настоящий стандарт посвящен анализу совпадения результатов проверок или контроля по альтернативному признаку и иллюстрирует его применение на нескольких примерах (см. приложения А-Е).

В этих примерах показан не только общий подход к применению данной методики, но и особенности его использования в различных ситуациях.

ISO/TR 14468:2010 разработан ISO/TC 69 "Применение статистических методов".

     1 Область применения

В настоящем стандарте установлен метод анализа процесса, когда результатами определения значений контролируемой характеристики качества являются данные проверки или контроля по альтернативному признаку (в том числе неупорядоченные и упорядоченные данные).

В настоящем стандарте приведены примеры анализа совпадения результатов проверок по альтернативному признаку (ААА) с различными выводами относительно совпадения оценок аттестующими исследуемого объекта в процессе испытаний (далее оценок аттестующих), в том числе совпадения оценок одного аттестующего, совпадения оценок, полученных несколькими аттестующими, совпадение оценок каждого аттестующего со стандартной оценкой и совпадения оценок всех аттестующих со стандартной оценкой.

___________________

AAA - attribute agreement analysis.

     2 Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующие стандарты. Для датированных ссылок применяют только указанное издание ссылочного стандарта, для недатированных - последнее издание (включая все изменения):

ISO 3534-1, Statistics - Vocabulary and symbols - Part 1: General statistical terms and terms used in probability (Статистика. Словарь и условные обозначения. Часть 1. Общие статистические термины и термины, используемые в вероятностных задачах)

ISO 3534-2, Statistics - Vocabulary and symbols - Part 2: Applied statistics (Статистика. Словарь и условные обозначения. Часть 2. Прикладная статистика)

     3 Термины и определения

В настоящем стандарте применены термины по ISO 3534-1, ISO 3534-2, а также следующие термины с соответствующими определениями.

3.1 система определения значений (характеристики) (measurement system): Набор действий, процедур, устройств и оборудования, программного обеспечения и персонала, используемый для определения значения характеристики.

[IWA 1:2005, 3.1.9]

Примечание - В настоящем стандарте персонал относят к аттестующим.

3.2 неупорядоченные данные (nominal data): Значения переменных, принимающих два или более значений без естественного упорядочивания.

3.3 упорядоченные данные (ordinal data): Значения переменных, принимающих три или более значений с естественным упорядочиванием.

3.4 двоичные данные (binary data): Значения переменных, принимающих два значения без естественного упорядочивания.

3.5 согласованность оценок одного аттестующего (agreement within appraiser): Степень совпадения оценок, полученных одним и тем же аттестующим во всех испытаниях, если аттестующий участвует в двух или более испытаниях.

3.6 согласованность оценок нескольких аттестующих (agreement between appraisers): Степень совпадения оценок, полученных различными аттестующими, если два и более аттестующих участвуют в одном или нескольких испытаниях.

3.7 согласованность оценок одного аттестующего со стандартной оценкой (agreement of each appraiser vs. standard): Степень совпадения оценок, полученных одним аттестующим со стандартной оценкой, если она установлена.

3.8 согласованность оценок всех аттестующих со стандартной оценкой (agreement of all appraisers vs. standard): Степень совпадения результатов, полученных всеми аттестующими во всех испытаниях, между собой и со стандартной оценкой, если она установлена.

3.9 процент совпадения оценок  P, % (percentage of agreement): Процент совпадения оценок, полученных одним аттестующим при многократном повторении испытаний или оценок различных аттестующих.

3.10 -статистика (kappa): Статистика, указывающая на степень совпадения упорядоченных или неупорядоченных результатов, полученных несколькими аттестующими по одной и той же выборке.

Примечание - -статистику обычно используют в исследовании AAA.

3.11 -статистика Флейса (Fleiss's kappa): Статистика, используемая для проверки согласованности оценок аттестующих, если аттестующие выбраны случайным образом из группы аналогичных аттестующих.

3.12 -статистика Кохена (Cohen's kappa): Статистика, используемая для проверки согласованности оценок аттестующих, если аттестующие выбраны и фиксированы до проведения испытаний.

3.13 p-значение (p-value): Вероятность появления наблюдаемого значения тестовой статистики (или другой величины), используемой для принятия решения при проверке гипотез, неблагоприятного по отношению к нулевой гипотезе.

[ИСО 3534-1:2006, 1.49]

Примечание - Эту величину используют при проверке гипотез для принятия решений об отклонении или принятии нулевой гипотезы.

3.14 -статистика (Z-statistic): Статистика, используемая при проверке гипотез, подчиняющаяся нормированному нормальному распределению

     4 Обозначения и сокращения

     5 Общая методика анализа совпадения результатов проверок по альтернативному признаку

5.1 Краткое описание анализа

В настоящем стандарте приведены общие принципы планирования эксперимента, проведения и анализа результатов испытаний для исследования совпадения оценок, данных аттестующими при отнесении результатов испытаний в две или более категорий (например, "хороший" и "плохой"). Ниже приведена процедура, состоящая из пяти этапов исследования, которая показана на пяти примерах, приведенных в приложениях А-Е.

Этапы анализа, приведенные в таблице 1, являются общими и могут быть применены к разработке и анализу исследований AAA. Для каждого из пяти этапов, а так же для общей методологии исследования AAA в 5.2-5.7 даны разъяснения. Пояснения к содержанию этих этапов приведены также в примерах (см. приложения А-Е).

Таблица 1 - Основные этапы исследования AAA

5.2 Основные цели исследования AAA

В методологии "Шесть Сигм" и в программах повышения качества часто используют исследование AAA. Цель исследования AAA должна быть четко установлена и согласована всеми заинтересованными сторонами. Основной целью исследования AAA является анализ возможностей системы определения значений контролируемой характеристики на основе данных проверки (контроля) по альтернативному признаку для принятия решения о приемлемости (или неприемлемости) системы. Исследование AAA позволяет определить согласованность оценок одного аттестующего, нескольких аттестующих между собой, а также их согласованность со "стандартной оценкой".

Поводом для проведения исследования AAA могут быть (перечень может быть дополнен):

a) недостаточная согласованность результатов проверки части или единицы продукции, полученных одним аттестующим в процессе различных исследований;

b) недостаточная согласованность результатов проверки части или единицы продукции различными аттестующими;

c) недостаточная согласованность результатов проверки части или единицы продукции, полученных одним аттестующим или несколькими аттестующими с установленной стандартной оценкой;

d) выполнение требований стандартов по менеджменту качества, например [5].

5.3 Описание процесса определения значений контролируемой характеристики

Настоящий стандарт посвящен процессам, в которых результатами определения значений контролируемой характеристики являются данные проверки (контроля) по альтернативному признаку.