ГОСТ Р 59921.4-2021
НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
СИСТЕМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА В КЛИНИЧЕСКОЙ МЕДИЦИНЕ
Часть 4
Оценка и контроль эксплуатационных параметров
Artificial intelligence systems in clinical medicine. Part 4. Evaluation and control of performance parameters
ОКС 11.040.01
Дата введения 2022-03-01
Предисловие
1 РАЗРАБОТАН Федеральным государственным бюджетным учреждением "Российский институт стандартизации" (ФГБУ "РСТ"), Государственным бюджетным учреждением здравоохранения города Москвы "Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы" (ГБУЗ "НПКЦ ДиТ ДЗМ")
2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"
3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 2 декабря 2021 г. N 1672-ст
4 ВВЕДЕН ВПЕРВЫЕ
Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)
Введение
Эффективность системы искусственного интеллекта, используемой в клинической медицине, зависит от ее эксплуатационных параметров.
В целях сбора доказательств соответствия эксплуатационных параметров, установленных в ходе разработки системы искусственного интеллекта, требованиям технической и эксплуатационной документации и применимым регулирующим требованиям, проводят их оценку и контроль. Это дает возможность продемонстрировать, что система искусственного интеллекта способна выдавать клинически значимый результат при ее эксплуатации надлежащим образом, а также не несет риска причинения вреда при использовании ее по назначению и в условиях, заявленных изготовителем. Для каждой системы искусственного интеллекта оценка и контроль эксплуатационных параметров осуществляется в течение всего жизненного цикла.
Как правило, системы искусственного интеллекта не оказывают непосредственного воздействия на пациентов и пользователя (врача), вместо этого выполняют только интерпретацию медицинских данных и предоставляют вывод результата работы пользователю, в том числе с целью поддержки принятия решений.
1 Область применения
Настоящий стандарт устанавливает общие требования к оценке и контролю эксплуатационных параметров СИИ при вводе в эксплуатацию и периодическом контроле, что позволяет проводить однозначно интерпретируемую оценку характеристик и параметров СИИ.
Настоящий стандарт применяют к СИИ в качестве программного обеспечения, являющегося медицинским изделием.
Настоящий стандарт определяет методологическую основу для оценки и контроля эксплуатационных параметров СИИ.
2 Нормативные ссылки
В настоящем стандарте использованы нормативные ссылки на следующие стандарты:
ГОСТ Р ИСО/МЭК 9126-93 Информационная технология. Оценка программной продукции. Характеристики качества и руководства по их применению
Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.
3 Термины и определения
В настоящем стандарте применены следующие термины с соответствующими определениями:
3.1
жизненный цикл (life cycle): Развитие системы, продукции, услуги, проекта или другой создаваемой изготовителем сущности от замысла до вывода из эксплуатации. [Адаптировано из ГОСТ Р 57193-2016, пункт 4.1.19] |
3.2
искусственный интеллект (artificial intelligence): Комплекс технологических решений, позволяющий имитировать когнитивные функции человека (включая самообучение, поиск решений без заранее заданного алгоритма и достижение инсайта) и получать при выполнении конкретных практически значимых задач обработки данных результаты, сопоставимые, как минимум, с результатами интеллектуальной деятельности человека. Примечание - Комплекс технологических решений включает в себя информационно-коммуникационную инфраструктуру, программное обеспечение (в том числе в котором используются методы машинного обучения), процессы и сервисы по обработке данных, анализу и синтезу решений. [ГОСТ Р 59277-2020, пункт 3.18] |
3.3 ложноотрицательный результат (ошибка второго рода): Ошибка, заключающаяся в том, что принимают нулевую гипотезу, в то время как в действительности эта гипотеза неверна.
3.4 ложноположительный результат (ошибка первого рода): Ошибка, заключающаяся в том, что отвергают нулевую гипотезу, в то время как в действительности эта гипотеза верна.
3.5
набор данных: Совокупность данных, прошедших предварительную подготовку (обработку) в соответствии с требованиями законодательства Российской Федерации об информации, информационных технологиях и о защите информации и необходимости для разработки программного обеспечения на основе искусственного интеллекта. [1] |
3.6
программное обеспечение (software) (программа, программное средство): Упорядоченная последовательность инструкций (кодов) для вычислительного средства, находящаяся в памяти этого средства и представляющая собой описание алгоритма управления вычислительными средствами и действий сданными. [ГОСТ Р 53622-2009, пункт 3.8] |
3.7
изготовитель (производитель): Физическое или юридическое лицо, ответственное за проектирование, изготовление, упаковывание и/или маркировку медицинского изделия, установку/монтаж или модификацию медицинского изделия перед выпуском его в обращение или вводом в эксплуатацию независимо от того, выполняет ли эти операции вышеупомянутое лицо или третья сторона от его имени. Примечание - в определении термина "изготовитель" следует учитывать положения национальных и региональных нормативных документов. [ГОСТ ISO 14971-2011, пункт 2.8] |
3.8
система искусственного интеллекта (artificial intelligence system): Программное обеспечение, в котором используются технологические решения искусственного интеллекта. [Адаптировано из ГОСТ Р 59276-2020, пункт 3.16] |
3.9 специфичность: Доля лиц с отрицательным результатом в целевой популяции без изучаемого заболевания (т.е. вероятность того, что объекты без изучаемого заболевания будут определены как здоровые).
3.10
техническая документация: Совокупность конструкторских, программных и технологических документов, предназначенных для использования на различных стадиях жизненного цикла медицинского изделия. [ГОСТ Р 58451-2019, пункт 3.24] |
3.11 чувствительность: Доля лиц с положительным результатом для целевой популяции с изучаемым заболеванием (т.е. вероятность того, что объекты с изучаемым заболеванием будут определены как патологичные).
3.12
