ГОСТ Р 59921.9-2022 Системы искусственного интеллекта в клинической медицине. Алгоритмы анализа данных в клинической физиологии. Методы испытаний. Общие требования

     9 Требования к испытательному стенду

Для проведения испытаний СИИ для КФ может быть создан набор оборудования и программных средств (стенд). Испытательный стенд должен быть аттестован в соответствии с ГОСТ Р 8.568. Характеристики аппаратного и программного обеспечения стенда (вычислительная платформа, операционная система, состав устройств, объем памяти и т.п.) должны превышать минимальные требования, устанавливаемые изготовителем СИИ, и учитывать типичные характеристики вычислительных средств конкретного или потенциальных пользователей СИИ.

Если СИИ предполагает получение данных от конкретных регистраторов, параметры работы (настройки) которых могут быть изменены со стороны СИИ, то испытания проводятся с каждым из указанных изготовителем вариантов регистраторов сигналов. При отсутствии возможности изменения настроек регистратора со стороны СИИ допускается подавать испытательные данные непосредственно на вход СИИ. В отчете о проведении испытаний СИИ обязательно указывают, использовались ли регистраторы сигналов и их конкретные характеристики.

При использовании регистраторов сигналов данные на их вход подаются с функциональных генераторов (цифро-аналоговых преобразователей), обеспечивающих преобразование сигналов набора данных с качеством, сопоставимым с непосредственной регистрацией аналогичных сигналов с человека (биологического объекта). Если регистратор допускает получение сигналов в цифровой форме, то возможно не проводить цифро-аналоговое преобразование, а использовать сигналы набора данных непосредственно в цифровой форме. Изготовитель СИИ должен в таком случае предоставить исчерпывающие сведения, подтверждающие, что такое моделирование является адекватным предусмотренному клиническому использованию СИИ. Эти сведения должны быть включены в протокол (отчет) о проведении испытаний.

Если СИИ осуществляет вывод каких-либо физических величин (например, напряжение, скорость, время, линейные размеры и т.п.) или использует их для сравнения с заданными значениями (например, пороговыми значениями при определении каких-либо патологических состояний), то используемый функциональный генератор должен быть соответствующим образом аттестован как средство измерения (см. ГОСТ Р 56606).

Если СИИ состоит из нескольких частей (например, часть ПО установлена на сервере, часть ПО - в медицинском изделии или смартфоне/планшете/компьютере пользователя), связь между которыми предполагается посредством общедоступных сетей связи, например передача цифровых данных через мобильные сети общего пользования или проводную (локальную внутреннюю) сеть, то во время испытаний используют связь, предоставляемую любым оператором с параметрами не ниже указанных изготовителем СИИ. Каналы связи должны соответствовать требованиям [5], [6]. Использованный вид связи должен быть в достаточной степени описан в протоколе (отчете) о проведении испытаний.

На испытательном стенде допускается использование средств виртуализации, если изготовитель СИИ явно не указал на недопустимость запуска СИИ или ее отдельных частей на виртуальных вычислительных платформах.

В протоколе об испытаниях СИИ в обязательном порядке указывают состав, характеристики аппаратных и программных средств испытательного стенда, а для средств измерений, использованных в его составе, сведения о проверке или калибровке.

9.1 Тестирование на синтетических и комбинированных данных

Тестирование на синтетических и комбинированных данных допускается проводить на стенде. Процедура включает в себя либо подачу сигнала от функционального генератора на систему регистрации биологической информации, либо на наборе данных, содержащих комбинированные (синтетические и естественные) сигналы. Оценка сигнала СИИ передается на стенд (для сценария с набором данных отправить в сформированный отчет) в заранее определенном формате (например, json или xml). Метрики оценки: СИИ должна определить сигнал как синтетический, проанализировать характеристики сигнала(ов). В случае использования синтетического сигнала-стимула СИИ должна выделять и оценивать "стимулы", инициирующие или потенциирующие естественные сигналы, оценивать эффективность или неэффективность стимуляции.

Эти измерения могут быть сравнены с исходным (эталонным) сигналом как с помощью программного приложения, так и экспертом путем измерения в ПО, обладающим необходимыми измерительными инструментами.

9.2 Тестирование на наборах данных

Тестирование на наборах данных следует проводить на стенде. Процедура включает в себя передачу файлов (записей) из набора данных в СИИ. Допустимы как последовательная (передача - оценка - возврат ответа - следующий цикл), так и параллельная (пакетная) передача. Оценка записи СИИ проводится в кодах соответствия предварительно согласованному тезаурусу и возвращается на стенд в заранее определенном формате (например, json или xml). Метрики оценки: СИИ должна определить сигнал как полученный от биологического объекта, в ходе подобного вида тестирований рекомендуется оценивать точность (precision), полноту (recall), f-оценку (f-score) и другие параметры в зависимости от вида СИИ (см. ГОСТ Р 59921.1 или [7]). Проводят сравнение по метрикам, сопоставляя с эталонными заключениями для набора данных. Эти сравнения с эталонной аннотацией могут быть получены как с помощью программного приложения, так и экспертом путем сравнения в ПО, обладающим необходимыми инструментами.

9.3 Тестирование на ошибки (проверку корректности входных данных)

Этап тестирования корректности входных данных является обязательным. Его допускается проводить как до КИ (см. ГОСТ Р 59921.7), так и в составе клинических исследований (см. ГОСТ Р ИСО 14155). Он может включать в себя испытания с использованием функционального генератора.