ГОСТ Р 59921.9-2022 Системы искусственного интеллекта в клинической медицине. Алгоритмы анализа данных в клинической физиологии. Методы испытаний. Общие требования

     7 Планирование процедуры проведения испытаний (исследований)

На этапе планирования испытаний (исследований) определяют сценарий проведения тестирования. Содержание сценариев изложено в приложении А.

В зависимости от выбранного сценария определяют состав экспертной группы, аппаратуру для регистрации, функциональный генератор, стенд (площадку), МО (лабораторию), набор(ы) данных, на котором(ых) будут проводиться испытания, или принимают решение о создании специального набора(ов) данных для проведения конкретных испытаний или решение о проведении исследования с участием человека.

После создания экспертной группы достигается консенсус между разработчиком СИИ и экспертной группой об используемом глоссарии или тезаурусе и применяемых метриках оценки результатов, параметрах нагрузочного тестирования.

Если СИИ предполагает использование значений физических величин для принятия диагностических решений, то на первом этапе проведения испытаний оценивают точность воспроизведения системой всех физических величин, влияющих на формирование заключений СИИ. При этом точность воспроизведения сигналов, подаваемых с аттестованных функциональных генераторов, должна быть не хуже заявленной изготовителем. При отсутствии соответствия СИИ или ее отдельных частей данному требованию испытания прерывают до устранения несоответствия.

Если изготовителем СИИ указано, что система устойчива и/или способна выявлять ошибки и иные некорректные данные в исходных сигналах (например, обрыв(ы) электрода(ов) или нарушение схемы формирования отведений при регистрации биосигналов, неполноту поля изображения картины ультразвукового исследования и т.п.), то в наборе(ах) данных должно быть достаточное число наблюдений с каждым из заявленных изготовителем нарушений качества сигнала. Необходимое число или долю сигналов с нарушениями определяют на этапе планирования испытания. Допустимо использование отдельного набора данных, содержащих только ошибки или некорректные данные в исходных сигналах. СИИ должна распознавать подобные отклонения, прежде чем будет допущена к этапу испытаний на пациентах или биологических объектах.

Если работа СИИ предполагает этап обучения или начального (функционального) тестирования работоспособности системы, то для этого этапа испытаний формируется специальный набор данных, записи которого не могут быть включены полностью или частично в набор данных для основного испытания СИИ.

При тестировании СИИ в процессе основного этапа испытаний СИИ не допускается изменения параметров ее работы оператором и/или дообучения системы. Если дообучение является существенной и неотъемлемой способностью СИИ, то на основании консенсуса разработчика с экспертной группой при тестировании проводят проверку результатов дообучения.

Испытания СИИ считают завершенными, если в течение установленного времени или до его истечения система завершила анализ данных. Рекомендованным уровнем завершения тестирования является обработка не менее 95% записей всего испытательного набора данных. При этом должны быть идентифицированы записи, которые не были обработаны. Должна быть установлена причина, по которой обработка не была проведена. Планом испытаний также может быть установлен лимит времени на обработку каждой записи, в таком случае испытания считают завершенными, если в пределах этого лимита времени был завершен анализ рекомендованного уровня завершения тестирования. В обоснованных случаях планом испытаний может быть изменена доля записей набора(ов) данных (или отдельных наборов данных), являющихся критерием завершения испытаний.