ГОСТ Р 59921.7-2022 Системы искусственного интеллекта в клинической медицине. Алгоритмы анализа медицинских изображений. Методы испытаний. Общие требования
5 Оценка соответствия системы искусственного интеллекта заявленным техническим требованиям
5.1 Для оценки соответствия характеристик СИИ требованиям технической и эксплуатационной документации изготовителя, заявленным стандартам, применимым регулирующим требованиям и т.д. выполняют технические испытания. Результаты технических испытаний должны быть воспроизводимы на различном совместимом оборудовании и представлены с использованием стандартных метрик оценки соответствующих характеристик.
5.2 С целью выполнения технических испытаний разрабатывают программу испытаний (см. ГОСТ Р 59921.2), включающую методику проведения испытаний существенных характеристик СИИ, определенных в ГОСТ Р 59276 и ГОСТ Р 59898.
5.3 СИИ, применяемая в клинической медицине для анализа медицинских изображений, имеет отличия от общих СИИ. Например, качество данных медицинской визуализации может существенно варьироваться в рамках системы здравоохранения: иметь разное соотношение сигнал/шум, дефекты различной природы, изменяться со временем из-за износа и (или) обновления оборудования. В связи с этим были введены дополнительные характеристики, которые уточнены в разделах 10 и 11. Соответствие существенных характеристик СИИ и методов испытаний, приведенных в настоящем стандарте, перечислены в таблице 1.
Испытания некоторых характеристик СИИ будут аналогичными испытаниям общих программных продуктов, поэтому для данных пунктов приведены нормативные ссылки.
5.4 Испытания проверки защиты информации СИИ ("безопасность" в таблице 1) выполняют путем анализа программного кода, выполнением или проверкой квалификационных испытаний СИИ, выполненных изготовителем, в соответствии с ГОСТ Р 51583, ГОСТ Р 56939. Объективные и субъективные внутренние и внешние факторы, воздействующие на защищаемую информацию, определяют по ГОСТ Р 51275. Необходимо также проверить и убедиться в защите данных, которые применялись на этапе разработки СИИ (обучения модели искусственного интеллекта).
В случае применения сторонних средств защиты информации (например, программы шифрования, антивирусы и т.д.) должны быть предоставлены установленные действующими нормативными правовыми актами документы по сертификации данных программных продуктов.
Таблица 1 - Соответствие существенных характеристик системы искусственного интеллекта и методов испытаний
Группа характеристик | Характеристика по ГОСТ Р 59276 | Существенная характеристика | Пункт настоящего стандарта/нормативная ссылка на метод испытаний |
Функциональность | Функциональные возможности | Функциональные возможности (functionality). Способность к взаимодействию (compatibility) | Раздел 8 |
| Эффективность (производительность) | Уровень производительности (performance efficiency) | Раздел 9 |
| Мобильность | Мобильность (portability) | ГОСТ Р ИСО/МЭК 12119-2000, раздел 4 |
| Практичность | Практичность (usability) | ГОСТ Р ИСО/МЭК 12119-2000, раздел 4 |
| Сопровождаемость | Сопровождаемость (maintainability) | ГОСТ Р ИСО/МЭК 12119-2000, раздел 4 |
Надежность | Надежность | Надежность (reliability) | Разделы 9-11 |
Безопасность | - | Защищенность (security) | ГОСТ Р 56939-2016, подраздел 5.4; ГОСТ Р 51583-2014, раздел 6; [14] |
5.5 Перед выполнением тестирования необходимо осуществить подготовительные работы (см. ГОСТ Р 59898-2021, пункт 7.2.1). Подготовительные работы включают следующие этапы: установление целей и задач тестирования; определение критериев к набору данных для тестирования; выбор и обоснование существенных характеристик и метрик их оценки; определение допустимого диапазона изменений метрик, а также наиболее существенных факторов, оказывающих влияние на работу СИИ; утверждение состава экспертной группы, составление методики тестирования и подготовка программы тестирования.