ГОСТ Р 59921.7-2022
НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
СИСТЕМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА В КЛИНИЧЕСКОЙ МЕДИЦИНЕ. АЛГОРИТМЫ АНАЛИЗА МЕДИЦИНСКИХ ИЗОБРАЖЕНИЙ
Методы испытаний. Общие требования
Artificial Intelligence systems in clinical medicine. Algorithms of medical images analysis. Test methods. General requirements
ОКС 11.040.01
Дата введения 2023-01-01
Предисловие
1 РАЗРАБОТАН Государственным бюджетным учреждением здравоохранения города Москвы "Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы" (ГБУЗ "НПКЦ ДиТ ДЗМ")
2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"
3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 18 октября 2022 г. N 1142-ст
4 ВВЕДЕН ВПЕРВЫЕ
Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)
Введение
Неотъемлемой частью жизненного цикла систем искусственного интеллекта, которые относятся к программному обеспечению с применением технологий искусственного интеллекта, являющемуся медицинским изделием, является подтверждение воспроизводимости, надежности, безопасности использования и его эффективности при применении в соответствии с назначением. Для оценки указанных параметров осуществляются технические испытания программного обеспечения с применением технологий искусственного интеллекта, являющегося медицинским изделием, а также его клиническая оценка.
1 Область применения
Настоящий стандарт устанавливает общие требования к методам испытаний системы искусственного интеллекта, функциональным назначением которой является анализ медицинских изображений.
2 Нормативные ссылки
В настоящем стандарте использованы нормативные ссылки на следующие стандарты:
ГОСТ 28195-89 Оценка качества программных средств. Общие положения
ГОСТ ISO/IEC 17025 Общие требования к компетентности испытательных и калибровочных лабораторий
ГОСТ Р 51275 Защита информации. Объект информатизации. Факторы, воздействующие на информацию. Общие положения
ГОСТ Р 51583-2014 Защита информации. Порядок создания автоматизированных систем в защищенном исполнении. Общие положения
ГОСТ Р 55544-2013/IEC/TR 80002-1:2009 Программное обеспечение медицинских изделий. Часть 1. Руководство по применению ИСО 14971 к программному обеспечению медицинских изделий
ГОСТ Р 56429 Изделия медицинские. Клиническая оценка
ГОСТ Р 56939-2016 Защита информации. Разработка безопасного программного обеспечения. Общие требования
ГОСТ Р 59276 Системы искусственного интеллекта. Способы обеспечения доверия. Общие положения
ГОСТ Р 59898-2021 Оценка качества систем искусственного интеллекта. Общие положения
ГОСТ Р 59921.1 Системы искусственного интеллекта в клинической медицине. Клиническая оценка
ГОСТ Р 59921.2 Системы искусственного интеллекта в клинической медицине. Часть 2. Программа и методика технических испытаний
ГОСТ Р 59921.4 Системы искусственного интеллекта в клинической медицине. Часть 4. Оценка и контроль эксплуатационных параметров
ГОСТ Р 59921.5-2022 Системы искусственного интеллекта в клинической медицине. Часть 5. Требования к структуре и порядку применения набора данных для обучения и тестирования алгоритмов
ГОСТ Р ИСО 5725-2 Точность (правильность и прецизионность) методов и результатов измерений. Часть 2. Основной метод определения повторяемости и воспроизводимости стандартного метода измерений
ГОСТ Р ИСО 9241-161 Эргономика взаимодействия человек-система. Часть 161. Элементы графического пользовательского интерфейса
ГОСТ Р ИСО 14155 Клинические исследования. Надлежащая клиническая практика
ГОСТ Р ИСО/МЭК 9126-93 Информационная технология. Оценка программной продукции. Характеристики качества и руководства по их применению
ГОСТ Р ИСО/МЭК 12119-2000 Информационная технология. Пакеты программ. Требования к качеству и тестирование
ГОСТ Р ИСО/МЭК 25040 Информационные технологии. Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Процесс оценки
Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.
3 Термины и определения
В настоящем стандарте применены следующие термины с соответствующими определениями:
3.1
автоматизированная система: Система, состоящая из персонала и комплекса средств автоматизации его деятельности, реализующая информационную технологию выполнения установленных функций. [ГОСТ 34.003-90, статья 1.1] |
3.2 автоматическое тестирование (benchmarking): Метод, который измеряет производительность автоматизированной системы на тщательно разработанных наборах данных, которые находятся в открытом доступе и/или используются для конкурентного тестирования различных автоматизированных систем.
3.3
восстанавливаемость (recoverability): Атрибуты программного обеспечения, относящиеся к его возможности восстанавливать уровень качества функционирования и восстанавливать данные, непосредственно поврежденные в случае отказа, а также к времени и усилиям, необходимым для этого. [ГОСТ Р ИСО/МЭК 9126-93, пункт А.2.2.3] |
3.4
главный исследователь (principal investigator): Квалифицированное лицо, ответственное за проведение клинического исследования в исследовательском центре. Примечания 1 Если клинические исследования проводятся группой лиц в исследовательском центре, главный исследователь ответственен за руководство данной группой. 2 Является ли ответственным конкретное лицо или институт, может зависеть от особенностей национальной системы регулирования медицинских изделий. [ГОСТ Р ИСО 14155-2014, пункт 3.33] |
3.5
компаратор (comparator): Медицинское изделие, лечебно-диагностическая процедура (например, активный контроль), плацебо или отсутствие лечения, используемые в контрольной группе при клиническом исследовании. [ГОСТ Р ИСО 14155-2014, пункт 3.10] |
3.6
конечная точка (главная) (endpoint(s)): Важнейший показатель, используемый для проверки основной гипотезы клинического исследования. [ГОСТ Р ИСО 14155-2014, пункт 3.16] |
3.7 медицинское изображение (medical image): Информация, получаемая с использованием средств визуализации внутренних структур и функций человеческого тела, представленная в виде изображения, удобного для медицинской диагностики.
Примечания
1 Медицинское изображение может быть получено радиологическими или нерадиологическими методами.
2 Радиологические методы получения медицинского изображения основаны на использовании электромагнитного поля (например, методы рентгеновской диагностики, компьютерной томографии, магнитно-резонансной томографии и т.д.).
3 Нерадиологическими методами получают медицинские изображения, которые отсняты видеокамерой (эндоскопия) или сфотографированные (микроскопические изображения в гистологии, патологии, дерматологические изображения и т.п.).
3.8
отказ: Событие, заключающееся в нарушении работоспособного состояния объекта. Примечания 1 Отказ может быть полным или частичным. 2 Полный отказ характеризуется переходом объекта в неработоспособное состояние. Частичный отказ характеризуется переходом объекта в частично неработоспособное состояние. [ГОСТ Р 27.102-2021, статья 36] |
3.9 робастность (robustness): Способность системы поддерживать определенный уровень показателей при различных обстоятельствах.
Примечание - См. [1], пункт 76.
3.10
система искусственного интеллекта (artificial intelligence system): Программное обеспечение, в котором используются технологические решения искусственного интеллекта. [Адаптировано из ГОСТ Р 59276-2020, пункт 3.16] |
3.11
согласованность (completeness): Атрибуты программного обеспечения, которые заставляют программу придерживаться соответствующих стандартов или соглашений, или положений законов, или подобных рекомендаций. [ГОСТ Р ИСО/МЭК 9126-93, пункт А.2.1.4] |
3.12 состязательная атака (adversarial attack): Применение состязательного примера путем подачи его на вход системы искусственного интеллекта с целью отказа системы искусственного интеллекта.
Примечания
1 Обычно применяется к моделям искусственного интеллекта в форме нейронной сети.
2 См. [2]*, пункт 3.1.6.
________________
* Поз. [2]-[11] , [13] см. раздел Библиография, здесь и далее по тексту. - Примечание изготовителя базы данных.
3.13 состязательный пример (adversarial example): Входные данные для модели искусственного интеллекта, созданные путем добавления универсального случайного возмущения к примеру входных данных, что приводит к тому, что система искусственного интеллекта выдает неверный результат с высокой степенью достоверности.
Примечания
1 Обычно применяется к моделям искусственного интеллекта в форме нейронной сети.
2 См. [2], пункт 3.1.7.
3.14 способность к непрерывному обучению (постоянное обучение, обучение на протяжении всей жизни, самообучение) (continuous learning, continual learning, lifelong learning): Атрибут системы искусственного интеллекта, относящий к последовательному обучению системы искусственного интеллекта, которое происходит на постоянной основе на всем этапе эксплуатации жизненного цикла системы искусственного интеллекта.
