4.1 Контроль качества, эффективности и безопасности системы искусственного интеллекта (СИИ), являющейся медицинским изделием, следует проводить в течение всего жизненного цикла СИИ, в том числе путем проведения его технических испытаний и клинической оценки. Общая методология и описание испытаний СИИ приведены в таблице А.1 приложения А.
4.2 На этапе разработки СИИ выполняют доказательство концепции (proof of concept), необходимое для определения применимости разрабатываемой СИИ для предполагаемого назначения (см. таблицу А.1 приложения А).
4.3 В рамках технических испытаний СИИ должны быть оценены ее метрики качества как программного продукта. Данные метрики и методы испытаний основаны на ГОСТ Р ИСО/МЭК 9126, ГОСТ Р ИСО/МЭК 25040, ГОСТ 28195, ГОСТ Р ИСО/МЭК 12119. Общие требования к номенклатуре метрик качества СИИ приведены в ГОСТ Р 59898 и ГОСТ Р 59276. Общие требования к техническим испытаниям СИИ, функциональным назначением которой является анализ медицинских изображений, приведены в разделе 5.
4.4 В отношении СИИ проводят также оценку ее клинической эффективности, безопасности и качества. Общие требования клинической оценки СИИ приведены в разделе 6.
4.5 Для целей выполнения испытаний производитель СИИ должен, в том числе, предоставлять пользователям информацию о назначении СИИ, включая следующие данные:
- назначение СИИ;
- целевую популяцию и условия, для которых предназначена СИИ;
- предполагаемые результаты использования СИИ для пациентов и системы здравоохранения.
4.6 Предоставленной производителем информации должно быть достаточно для того, чтобы пользователи могли оценить применимость СИИ для целевого назначения. В описании должны содержаться следующие данные:
- заявленные значения метрики, используемой для различения субъектов с наличием и отсутствием целевого признака. Метрика должна быть выбрана в согласии с медицинскими экспертами в целевой области и соответствовать назначению СИИ;
Пример - Если СИИ предназначена для оценки вероятности рака груди, она должна обладать более высокой чувствительностью, чем специфичностью.
- характеристики наборов данных, используемых для обучения и тестирования СИИ;
- тип и формат входных данных;
- известные ограничения СИИ (например, тип входных данных, требования к сетевым ресурсам, масштабируемость системы при вводе СИИ в эксплуатацию, требования к среде функционирования при вводе СИИ в эксплуатацию);