ГОСТ Р 59921.9-2022 Системы искусственного интеллекта в клинической медицине. Алгоритмы анализа данных в клинической физиологии. Методы испытаний. Общие требования

     17 Особые виды испытаний систем искусственного интеллекта

17.1 Нагрузочное тестирование

На начальном этапе нагрузочного тестирования необходимо определить среднее время отклика СИИ (или комплекса с СИИ) при обработке записи (одного примера/периода), а также рассчитать статистику распределения времени обработки одной записи (если эта система реального времени). После определения максимальной тактовой частоты работы СИИ тестирование проводится на уровне пиковой нагрузки. При этом, результат работы СИИ должен соответствовать установленным разработчиком референсным значениям.

Результатом этого тестирования является определение значения вероятности ошибки (неодинакового результата применения СИИ) при N циклах обработки одного набора данных. Определяется отношение числа ошибочных результатов к числу всех проанализированных данных с учетом целевого сценария в соответствии с разделом 7. Число циклов N определяют консенсусом разработчика СИИ с экспертной группой (см. раздел 7). При проведении тестирования в каждом цикле набор данных предъявляется в случайном порядке.

Предпочтительным является использование более одного набора данных, включающих возможную вариативность данных (см. раздел 11).

17.2 Тестирование устойчивости СИИ к ошибкам во входных данных

Для данного вида испытания подготавливают специальный набор данных, содержащий как корректные данные (рекомендуется от 25% до 95% от общего числа записей), так и данные с различными ошибками (например, неполные данные, выходящие за физиологические пределы значения и т.п.). Перед тестированием разработчикам СИИ не сообщается каково соотношение корректных/некорректных данных. Сообщаются только результаты тестирования.

СИИ считается прошедшей данный вид испытания, если:

- самостоятельно идентифицировала все ошибочные данные набора как не подлежащие обработке (уточнение причины не требуется);

- продолжила обработку набора данных без вмешательства оператора.

При невыполнении любого из этих условий СИИ считается не прошедшей испытание.

17.3 Тестирование на защищенность и безопасность

Тестирование на защищенность и безопасность выполняют путем анализа программного кода в соответствии с требованиями ГОСТ Р 51904, ГОСТ 19781, ГОСТ Р ИСО 53114*, ГОСТ Р 56939, [11].

________________

* Вероятно, ошибка оригинала. Следует читать: ГОСТ Р 53114. - Примечание изготовителя базы данных.