ГОСТ Р 70321.5-2022 Технологии искусственного интеллекта для обработки данных дистанционного зондирования Земли. Алгоритмы искусственного интеллекта для определения характеристик древесно-кустарниковой растительности на космических снимках, получаемых с космических аппаратов оптико-электронного наблюдения. Типовая методика проведения испытаний

     6 Тестирование и оценка показателей

6.1 Испытания алгоритмов ИИ проводят по разработанным в соответствии с 5.7 программам и методикам испытаний.

6.2 Испытания алгоритмов ИИ рекомендуется проводить в следующем порядке:

а) на вход алгоритмов ИИ подают снимки из тестовых наборов данных;

б) результаты работы алгоритмов ИИ регистрируют и сравнивают с разметкой тестовых наборов данных;

в) рассчитывают показатели функциональной корректности алгоритмов ИИ;

г) по результатам проведения испытаний оформляют протокол испытаний.

6.3 Показатели для оценки функциональной корректности алгоритмов ИИ выбирают исходя из специфики решаемой задачи на усмотрение заказчика испытаний. Ниже приведены примеры показателей для задач сегментации.

В задачах сегментации для оценки классификации могут быть использованы такие показатели, как:

- усредненная по всем классам попиксельная точность;

- усредненная по всем классам попиксельная полнота;

- усредненная по всем классам попиксельная F-мера.

Попиксельную точность, попиксельную полноту и попиксельную F-меру по каждому классу рассчитывают по формулам (14), (15) и (17) ГОСТ Р 59898-2021 соответственно, причем:

- TP - количество истинно положительных исходов: совокупность пикселей снимка, классифицированных как относящиеся к объектам древесно-кустарниковой растительности по результатам работы алгоритма ИИ, принадлежит к объектам древесно-кустарниковой растительности в разметке;

- TN - количество истинно отрицательных исходов: совокупность пикселей снимка, классифицированных как не относящиеся к объектам древесно-кустарниковой растительности, не принадлежит к объектам древесно-кустарниковой растительности в разметке;