ГОСТ Р 59921.5-2022

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

СИСТЕМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА В КЛИНИЧЕСКОЙ МЕДИЦИНЕ

Часть 5

Требования к структуре и порядку применения набора данных для обучения и тестирования алгоритмов

Artificial intelligence systems in clinical medicine. Part 5. Requirements for the structure and application of dataset for training and testing algorithms

ОКС 11.040.01

Дата введения 2022-06-01

Предисловие

1 РАЗРАБОТАН Федеральным государственным бюджетным учреждением "Российский институт стандартизации" (ФГБУ "РСТ"), Государственным бюджетным учреждением здравоохранения города Москвы "Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы" (ГБУЗ "НПКЦ ДиТ ДЗМ")

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 31 марта 2022 г. N 180-ст

4 ВВЕДЕН ВПЕРВЫЕ

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)

     1 Область применения

Настоящий стандарт устанавливает общие требования к структуре и порядку применения наборов данных, которые используют на этапах разработки системы искусственного интеллекта (СИИ), включая обучение и внутреннее тестирование алгоритмов искусственного интеллекта, ее эксплуатации, а также внешнего тестирования (аналитическая и клиническая валидация).

Настоящий стандарт определяет методологическую основу для процесса подготовки и применения наборов данных, которые используют на этапах разработки, тестирования и эксплуатации систем искусственного интеллекта.

     2 Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующие стандарты:

ГОСТ 7.24 Система стандартов по информации, библиотечному и издательскому делу. Тезаурус информационно-поисковый многоязычный. Состав, структура и основные требования к построению

ГОСТ 7.25 Система стандартов по информации, библиотечному и издательскому делу. Тезаурус информационно-поисковый одноязычный. Правила разработки, структура, состав и форма представления

ГОСТ ISO 13485 Изделия медицинские. Системы менеджмента качества. Требования для целей регулирования

ГОСТ Р ИСО/МЭК 12207-2010 Информационная технология. Системная и программная инженерия. Процессы жизненного цикла программных средств

ГОСТ Р ИСО/МЭК 17826 Информационные технологии. Интерфейс управления облачными данными (CDMI)

ГОСТ Р ИСО 27799 Информатизация здоровья. Менеджмент защиты информации в здравоохранении по ИСО/МЭК 27002

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

     3 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями:

3.1 аналитическая валидация (analytical validation): Подтверждение способности системы искусственного интеллекта точно, воспроизводимо и надежно генерировать предполагаемые технические результаты вычислений из входных данных.

Примечания

1 См. [1].

2 Аналитическая валидация является частным случаем валидации в соответствии с ГОСТ Р ИСО/МЭК 12207-2010, пункт 4.54.

3.2 верифицированный набор данных (ground truth): Набор данных с верифицированной медицинской информацией.

3.3

3.4 воспроизводимость (reproducibility): Свойство процесса получать одинаковые результаты испытаний в разных средах испытаний.

Примечание - Разные среды означают разные компьютеры, жесткие диски, операторы и т.д.

3.5

3.6

3.7

3.8 кластеризация (claster analysis): Группировка экземпляров данных в кластеры со сходными характеристиками.

3.9 клиническая валидация (clinical validation): Подтверждение способности системы искусственного интеллекта выдавать клинически значимые выходные данные, связанные с целевым использованием системы искусственного интеллекта в рамках установленного изготовителем функционального назначения.

Примечание - См. [1], пункт 7.0.

3.10 контроль доступа (access control): Средства, с помощью которых ресурсы системы обработки данных предоставляются только авторизованным субъектам в соответствии с установленными правилами.

3.11

3.12 набор данных (data set): Совокупность данных, прошедших предварительную подготовку (обработку) в соответствии с требованиями законодательства Российской Федерации об информации, информационных технологиях и о защите информации и необходимости для разработки программного обеспечения на основе искусственного интеллекта.

Примечание - См. [2].

3.13

3.14 обнаружение (детекция аномалий) (detection): Идентификация редких экземпляров данных, существенно отличающихся от остальных.

3.15 обучающая выборка (training sample): Выборка, по которой производится настройка (оптимизация) параметров системы искусственного интеллекта.

3.16 повторяемость (repeatability): Свойство процесса, проводимого для получения одинаковых результатов тестирования в одной и той же среде тестирования.

Примечание - Одна и та же среда тестирования означает одинаковый компьютер, жесткий диск, режим работы и т.д.

3.17 проверочная выборка (validation sample): Выборка, на которой проводят проверку применимости параметров системы искусственного интеллекта для отличных от обучающей выборки наборов данных.

3.18 размерность набора данных (арность) (arity): Число атрибутов, которые имеют объекты в наборе данных (например, значение артериального давления, масса тела пациента, уровень холестерина и др.).

3.19 разметка [аннотация] данных (data labeling): Этап обработки структурированных и неструктурированных данных, в процессе которого данным (в том числе текстовым документам, фото- и видеоизображениям) присваиваются идентификаторы, отражающие тип данных (классификация данных), и (или) осуществляется интерпретация данных для решения конкретной задачи, в том числе с использованием систем искусственного интеллекта.

Примечание - См. [2].

3.20 разреженность набора данных (data sparsity): Доля атрибутов в наборе данных, содержащих недостающие, неизвестные либо пустые значения.

3.21 регрессия (regression): Аппроксимация и предсказание значения непрерывных параметров какого-либо объекта.

3.22 ретроспективная разметка (retrospective annotation): Сбор данных в соответствии с указанными метаданными, перечень которых выбирают в соответствии с поставленной целью формирования набора данных.

Примечание - Ретроспективная разметка не предполагает дополнительных манипуляций с элементами данных (например, постановка метки начала и окончания события, меток обнаружения признаков, обозначений патологий и т.п.)

3.23 проспективная разметка (prospective annotation): Сбор данных в соответствии с поставленной целью формирования набора данных, а также проведение дополнительных манипуляций с элементами.

Примечание - Проспективную разметку выполняют путем постановки метки начала и окончания события, меток обнаружения признаков, обозначений патологий и т.п.

3.24

3.25

3.26 система менеджмента качества систем искусственного интеллекта (quality management system for artificial intelligence systems): Организационная структура, функции, процедуры, процессы и ресурсы, необходимые для скоординированной деятельности по руководству и управлению производителем системы искусственного интеллекта применительно к качеству.