ГОСТ Р 70253-2022
НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
СИСТЕМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА НА АВТОМОБИЛЬНОМ ТРАНСПОРТЕ
Системы управления движением транспортным средством. Требования к испытанию алгоритмов обнаружения и реконструкции структуры перекрестков
Artificial intelligence systems in road transport. Vehicle traffic control systems. Requirements for testing algorithms for detecting and reconstructing the structure of intersections
ОКС 11.040.01*
________________
* Письмом Росстандарта от 28.11.2022 г. N 3001-ОГ/03 разъясняется, что в указании кодов ОКС допущена опечатка. "Значение кодов ОКС должно быть "35.240.60", здесь и далее по тексту. - Примечание изготовителя базы данных.
Дата введения 2023-01-01
Предисловие
1 РАЗРАБОТАН Обществом с ограниченной ответственностью "Агентство искусственного интеллекта"
2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"
3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 5 октября 2022 г. N 1056-ст
4 ВВЕДЕН ВПЕРВЫЕ
Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)
Введение
Развитие технологий искусственного интеллекта (ИИ) на прикладном уровне происходит во всех уровнях жизни. На автомобильном транспорте разработка высокоавтоматизированных транспортных средств (ВАТС) основана на применении ряда алгоритмов, реализованных с использованием методов ИИ, для распознавания образов, восстановления сцены, точного позиционирования ВАТС на высокоточной карте, прогнозирования траекторий участников дорожного движения и др.
Для решения задачи точного позиционирования ВАТС на высокоточной карте окружающего пространства одним из алгоритмов является алгоритм обнаружения и реконструкции структуры перекрестков. При использовании сенсоров различной модальности для восприятия окружающей среды система управления ВАТС может использовать алгоритм обнаружения и реконструкции структуры перекрестков для точного позиционирования ВАТС. При обеспечении безопасности движения ВАТС важнейшую роль играет информация о наличии на дороге перекрестков и их структуре.
Для испытания алгоритмов обнаружения и реконструкции структуры перекрестков в целях обеспечения доверия к системам искусственного интеллекта для автоматизированного управления движением ВАТС (СИИАУД ВАТС), основанным на использовании методов ИИ, настоящий стандарт устанавливает общие принципы проведения испытаний. В настоящем стандарте приведены перечень весовых коэффициентов для показателей качества алгоритма и описание тестовых наборов данных с приведением сценариев испытаний описываемого алгоритма. Приведены требования к представительности (полноте и несмещенности) тестовых данных, демонстрационные тестовые наборы данных, правила формирования представительных тестовых наборов данных и принципы расширения (аугментации) тестовых наборов данных.
Настоящий стандарт является частью комплекса стандартов по установлению требований к применению технологий ИИ на транспорте для повышения доверия к технологиям ИИ, обеспечения безопасности дорожного движения, жизни и здоровья людей, сохранности их имущества, охраны окружающей среды и эффективности транспортных процессов.
1 Область применения
Настоящий стандарт распространяется на процессы испытания частных алгоритмов, реализованных с использованием методов искусственного интеллекта, подсистемы оценки дорожной обстановки - алгоритмов обнаружения и реконструкции структуры перекрестков в системах управления движением высокоавтоматизированных транспортных средств (ВАТС) высоких уровней автоматизации (4 и выше) (см. [1]).
Требования к испытаниям, установленные в настоящем стандарте, допускается применять исключительно к ВАТС категорий L, M, и N (см. [2]), эксплуатируемым на автомобильных дорогах.
Настоящий стандарт предназначен для применения при проведении всех типов испытаний алгоритмов обнаружения и реконструкции структуры перекрестков при управлении ВАТС системами искусственного интеллекта для автоматизированного управления движением ВАТС (СИИАУД ВАТС).
2 Нормативные ссылки
В настоящем стандарте использованы нормативные ссылки на следующие стандарты:
ГОСТ Р 70249 Системы искусственного интеллекта на автомобильном транспорте. Высокоавтоматизированные транспортные средства. Термины и определения
ГОСТ Р 70250-2022 Системы искусственного интеллекта на автомобильном транспорте. Варианты использования и состав функциональных подсистем искусственного интеллекта
Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.
3 Термины и определения
В настоящем стандарте применены термины по ГОСТ Р 70249.
4 Общие требования и методика проведения испытаний алгоритма обнаружения и реконструкции структуры перекрестков
Общие требования и методика проведения испытаний алгоритмов обнаружения и реконструкции структуры перекрестков - по ГОСТ Р 70250.
5 Показатели и критерии качества алгоритма обнаружения и реконструкции структуры перекрестков
Организация, осуществляющая тестирование алгоритма обнаружения и реконструкции структуры перекрестков, должна применять показатели и критерии для проведения оценки качества этого алгоритма (раздел 8 ГОСТ Р 70250-2022).
6 Весовые коэффициенты для оценки алгоритма обнаружения и реконструкции структуры перекрестков
Для конкретизации процедуры оценки качества алгоритма обнаружения и реконструкции структуры перекрестков в таблицах 1-5 приведены весовые коэффициенты для критериев и метрик качества. Весовые коэффициенты для критериев даны в первой графе. Сумма всех коэффициентов первой графы должна быть равна 1. Весовые коэффициенты для всех метрик качества заданного критерия даны в строке соответствующего критерия. Сумма всех коэффициентов для каждой строки должна быть равна 1.
Конкретные весовые коэффициенты для критериев и метрик фактора качества "Надежность" приведены в таблице 1.
Таблица 1 - Весовые коэффициенты фактора качества "Надежность"
Вес критерия | Критерий | Метрика 1 Н#-1 | Метрика 2 Н#-2 | Метрика 3 Н#-3 |
0,5 | Н1 | 0,2 | 0,5 | 0,3 |
0,5 | Н2 | 0,7 | 0,3 | - |
Конкретные весовые коэффициенты для критериев и метрик фактора качества "Сопровождаемость" приведены в таблице 2.
Таблица 2 - Весовые коэффициенты фактора качества "Сопровождаемость"
Вес критерия | Критерий | Метрика 1 С#-1 | Метрика 2 С#-2 | Метрика 3 С#-3 | Метрика 4 С#-4 |
0,6 | С2 | 0,1 | 0,5 | 0,2 | 0,2 |
0,4 | С3 | 0,1 | 0,45 | 0,45 | - |
Конкретные весовые коэффициенты для критериев и метрик фактора качества "Удобство применения" приведены в таблице 3.
Таблица 3 - Весовые коэффициенты фактора качества "Удобство применения"
Вес критерия | Критерий | Метрика 1 У#-1 | Метрика 2 У#-2 | Метрика 3 У#-3 | Метрика 4 У#-4 | Метрика 5 У#-5 |
0,3 | У1 | 0,6 | 0,4 | - | - | - |
0,2 | У2 | 0,3 | 0,3 | 0,3 | 0,05 | 0,05 |
0,5 | У3 | 0,25 | 0,25 | 0,25 | 0,25 | - |
Для фактора качества "Эффективность" используются следующие весовые коэффициенты: для критериев Э2 и Э3 - 0,25, для Э4 - 0,5.
Конкретные весовые коэффициенты для критериев и метрик фактора качества "Корректность" приведены в таблице 4.
Таблица 4 - Весовые коэффициенты фактора качества "Корректность"
Вес крите- рия | Крите- рий | Метрика 1 К#-1 | Метрика 2 К#-2 | Метрика 3 К#-3 | Метрика 4 К#-4 | Метрика 5 К#-5 | Метрика 6 К#-6 | Метрика 7 К#-7 | Метрика 8 К#-8 |
0,25 | К1 | 0,5 | 0,5 | - | - | - | - | - | - |
0,25 | К2 | 0,1 | 0,05 | 0,1 | 0,05 | 0,15 | 0,25 | 0,2 | 0,1 |
0,25 | КЗ | 0,5 | 0,2 | 0,3 | - | - | - | - | - |
0,25 | К4 | 1,0 | - | - | - | - | - | - | - |
Конкретные весовые коэффициенты для критериев и метрик фактора качества "Доверенность" приведены в таблице 5.
Таблица 5 - Весовые коэффициенты фактора качества "Доверенность"
Вес критерия | Критерий | Метрика 1 Д#-1 | Метрика 2 Д#-2 | Метрика 3 Д#-3 | Метрика 4 Д#-4 |
0,4 | Д1 | 0,4 | 0,4 | 0,1 | 0,1 |
0,6 | Д2 | 0,4 | 0,1 | 0,4 | 0,1 |
Представленные в таблицах 1-5 весовые коэффициенты для критериев и метрик являются рекомендуемыми, однако при испытании частного алгоритма для конкретной задачи можно выбирать специфические коэффициенты для этой задачи.
7 Тестовые наборы данных и сценарии испытания алгоритма обнаружения и реконструкции структуры перекрестков
В настоящем разделе описаны тестовые наборы данных и сценарии испытания алгоритма обнаружения и реконструкции структуры перекрестков, а именно приведены требования к представительности (полноте и несмещенности) тестовых наборов данных, фрагменты тестовых наборов данных - демонстрационные наборы данных, правила формирования представительных тестовых наборов данных, включая, в случае необходимости, описание представительной совокупности тестовых сценариев, а также принципы расширения (аугментации) тестовых наборов данных.
7.1 Требования к представительности (полноте и несмещенности) тестовых наборов данных
Тестовый набор данных должен быть репрезентативен, содержать целевой набор изображений и ситуаций по отношению к каждому существенному фактору эксплуатации.
Для обеспечения представительности тестового набора данных необходимо:
а) проводить испытания алгоритма обнаружения и реконструкции перекрестков на тестовом наборе, подготовленном в соответствии со статистическими закономерностями распределения существенных факторов эксплуатации, что позволит обеспечить тестирование алгоритма на соответствие реальной картине распределения дорожно-транспортных ситуаций;
Попробуйте «Техэксперт: Базовые нормативные документы» бесплатно