ГОСТ Р 59921.7-2022 Системы искусственного интеллекта в клинической медицине. Алгоритмы анализа медицинских изображений. Методы испытаний. Общие требования

     10 Тестирование на устойчивость к состязательным атакам

10.1 Назначение

Состязательной атакой называют такой состязательный пример, который приводит к некорректной работе СИИ. Состязательный пример возникает в случае крайне небольшого изменения, внесенного во входные данные алгоритма ИИ, который приводит к неожиданному (и неправильному) большому изменению выходных данных, т.е. к совершенно другому результату, чем при неизменных входных данных. Состязательные примеры могут возникать, например, при изменении нескольких пикселей на медицинском изображении, искажение которых незаметно человеческому глазу.

Тестирование на устойчивость к состязательным атакам основано на формировании и обработке состязательных примеров для выявления дефектов в СИИ. Выполняя данное тестирование, проводят оценку устойчивости и надежности СИИ к наличию на входе системы данных, приводящих к возникновению состязательного примера (см. [1], [10]).

10.2 Требования к квалификации персонала

Тестирование на устойчивость к состязательным атакам проводят силами квалифицированных технических специалистов, имеющих опыт тестирования СИИ, обработки изображений и анализа результатов.

10.3 Описание метода тестирования

Оценка точности предсказаний алгоритма ИИ и (или) других метрик в условиях состязательных атак и в нормальных условиях.

10.4 Требования к оборудованию

Тестирование на устойчивость СИИ к состязательным атакам должно проводиться с применением стенда и/или в виртуальной тестовой среде, которая удовлетворяет техническим требованиям СИИ (см. [1]).

10.5 Требования к набору данных

Набор данных для выполнения данного тестирования должен состоять из изображений, которые соответствуют функциональному назначению СИИ. При этом половину набора данных составляют данные, полученные в нормальных условиях, а вторую - данные с внесенными искажениями для формирования состязательных примеров.

Методы формирования состязательных примеров могут являться добавлением универсального случайного возмущения (universal random perturbation), шума (imperceptible noise). Также могут быть использованы другие методы (FGSM, inverse FGSM, JSMA) (см. [11]).

Специалисты, выполняющие данное тестирование, устанавливают виды состязательных примеров, влияние которых будет оценено в соответствии с указанными в технической документации производителя.

10.6 Порядок выполнения тестирования