Статус документа
Статус документа

ГОСТ Р 70462.1-2022/ISO/IEC TR 24029-1-2021 Информационные технологии (ИТ). Интеллект искусственный. Оценка робастности нейронных сетей. Часть 1. Обзор

Приложение A

(справочное)

Возмущение данных

     

A.1 Общие положения

Возмущение данных (data perturbation) формально определяют как гомоморфизм (т.е. отображение из заданной области в себя) над областью возможных входов системы. Примером такой области является область входных данных, содержащая все изображения RGB определенной ширины и высоты. В этом приложении описаны возмущения набора данных в контексте оценки устойчивости нейронных сетей.

Например, в автоматизированных системах классификации широко использованы промышленные нейронные сети. Такие системы классификации применяют для распознавания лиц, отслеживания объектов, распознавания звука и т.д. Обычным способом построения системы классификации на основе нейронных сетей является выполнение контролируемого обучения с помощью размеченной базы данных.

Даже последние версии нейронных сетей для решения задачи классификации весьма восприимчивы к искажениям данных или к неблагоприятным примерам [54]. Неблагоприятные (состязательные, adversarial) примеры включают изображения или звуковые образцы, которые немного изменены по сравнению с оригиналами, что приводит к другому результату классификации, и возникают естественным образом в окружающей среде или из-за свойств датчиков. Существует множество методов построения таких примеров, но в настоящее время отсутствует приемлемый способ их обнаружения.

С точки зрения инженеров-программистов ИИ, существование состязательных примеров представляет риск для робастности системы, поскольку в некоторых случаях система ведет себя нестабильно. Инженеры знают о наличии состязательных примеров, однако их нелегко выявить заранее.

Применение состязательного примера для провокации незапланированного поведения нейронных сетей может представлять собой атаку. В литературе встречаются две основные парадигмы таких атак:

- атака "белого ящика" (white-box attack), при которой злоумышленник имеет полное знание нейронной сети, обучающий набор данных и алгоритм обучения;

- атака "черного ящика" (black-box attack), при которой злоумышленник не знает архитектуры нейронной сети, набора обучающих данных или алгоритма обучения.

Хотя в этом приложении описаны различные типы возмущений для разных типов данных, оно не претендует на то, чтобы быть исчерпывающим. Также следует отметить, что аппаратные средства могут вызывать незапланированное поведение, изменяя данные в ходе числовых преобразований и, таким образом, приводя к искажениям. В литературе также предложены стратегии и методы защиты систем от этих типов атак.

В A.2 и A.3 представлены примеры искажений данных для изображений и звуков. В каждом случае как случайные естественные возмущения, так и преднамеренные атаки сосуществуют в широком диапазоне применений.

A.2 Примеры искажений изображений

A.2.1 Общие положения

Существует несколько типов возмущений изображения, которые могут отражать возможную деградацию, которую окружающая среда способна нанести изображению, обрабатываемому системой ИИ. Изображение (обычно) представляет собой двумерный массив из пикселей, каждый из которых представлен одним или несколькими числовыми значениями (например, одно - для черного изображения и пикселей, три - для изображения RGB). Без потери общности ниже будет рассмотрено изображение как массив пикселей шириной W и высотой H, в то время как каждый пиксель находится между значениями от 0 до 255. Следовательно, изображение является точкой в пространстве размером LW. Возмущение изображения - это функция, которая преобразует одно изображение в другое.