ГОСТ Р 70321.6-2022 Технологии искусственного интеллекта для обработки данных дистанционного зондирования Земли. Алгоритмы искусственного интеллекта для распознавания объектов дорожно-транспортной сети на космических снимках, получаемых с космических аппаратов оптико-электронного наблюдения. Типовая методика проведения испытаний
5 Подготовительные работы
5.1 Перед проведением испытаний алгоритмов ИИ заказчикам испытаний рекомендуется установить (не ограничиваясь):
- перечень существенных факторов (внешних воздействий), оказывающих влияние на работу алгоритмов ИИ (далее - существенные факторы) и статистические характеристики их распределений;
- требования к квалификации экспертов, выполняющих разметку снимков для тестовых наборов данных (при необходимости);
- целесообразность проведения валидации разметки тестовых наборов данных и анонимизации снимков для тестовых наборов данных;
- показатели для оценки функциональной корректности алгоритмов ИИ и их критериальные пороги.
Перед проведением оценки качества СИИ необходимо удостовериться в отсутствии существенных различий между средой проведения тестирования и средой эксплуатации, т.е. убедиться, что потенциальные различия не влияют на надежность, валидность и репрезентативность результатов тестирования. [ГОСТ Р 59898-2021, 7.2.1.2] |
Примечание - СИИ - системы искусственного интеллекта.
5.2 Подготовительные работы - по ГОСТ Р 59898-2021 (7.2.1) с дополнениями, приведенными в настоящем стандарте.
5.3 Требования к тестовым наборам данных - по ГОСТ Р 59898-2021 (9.2) с дополнениями, приведенными в настоящем стандарте.
Примечание - Описание наборов данных для тестирования - по ГОСТ Р 59898-2021 (9.1).
5.4 Дополнительные требования к тестовым наборам данных
5.4.1 Каждый образец тестового набора данных должен состоять из снимка (серии снимков) и разметки, иметь метаданные, содержащие сведения о значениях существенных факторов (см. 5.6).
5.4.2 Статистические характеристики распределений существенных факторов в тестовых наборах данных должны соответствовать статистическим характеристикам распределений существенных факторов в предусмотренных условиях эксплуатации алгоритмов ИИ.