ГОСТ Р 58777-2019

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Воздушный транспорт

АЭРОПОРТЫ. ТЕХНИЧЕСКИЕ СРЕДСТВА ДОСМОТРА

Методика определения показателей качества распознавания незаконных вложений по теневым рентгеновским изображениям

Air transport. Airports. Technical means of inspection. Methodology for determination of quality indicators of recognition of illegal attachments by shadow X-ray images

ОКС 03.220.50

Дата введения 2020-09-01

Предисловие

1 РАЗРАБОТАН Федеральным государственным автономным образовательным учреждением высшего образования "Санкт-Петербургский политехнический университет Петра Великого"

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 20 декабря 2019 г. N 1430-ст

4 ВВЕДЕН ВПЕРВЫЕ

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячно издаваемых информационных указателях "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.gost.ru)

Введение

Интроскоп является одним из основных средств досмотра, необходимых для обеспечения безопасности на территории аэропорта. С использованием интроскопов выявляются незаконные вложения в сумках багажа и ручной клади. Обычно выявление незаконных вложений происходит путем ручного дешифрирования теневых снимков, полученных с использованием интроскопа.

В настоящее время существует множество алгоритмов и систем технического зрения, предназначенных для автоматического обнаружения и распознавания опасных вложений.

Настоящий стандарт определяет методику определения показателей качества распознавания незаконных вложений по теневым рентгеновским изображениям, предназначенную для тестирования таких систем и алгоритмов.

     1 Область применения

Настоящий стандарт устанавливает методику определения показателей качества распознавания незаконных вложений по теневым рентгеновским изображениям.

Требования настоящего стандарта распространяются:

- на разработку программ и методик испытаний систем автоматического анализа теневых снимков;

- методы проведения испытаний алгоритмов анализа теневых снимков.

     2 Нормативные ссылки

В настоящем стандарте использована нормативная ссылка на следующий стандарт:

ГОСТ Р 55249-2012 Воздушный транспорт. Аэропорты. Технические средства досмотра. Общие технические требования

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

     3 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями:

3.1 рентгенотелевизионный стационарный интроскоп; интроскоп:

3.2 сумка: Ручная кладь, багаж либо другая емкость, пригодная для провоза либо проноса незаконных вложений, предъявляемые к анализу.

3.3 теневое рентгеновское изображение; изображение: Рентгеновское изображение либо набор изображений, формируемый интроскопом при анализе сумки.

3.4 незаконное (опасное) вложение; опасные предметы: Предмет либо вещество, запрещенные к провозу либо проносу на территорию аэропорта.

3.5 условно-опасное вложение; условно-опасные предметы: Предмет либо вещество, сами по себе не являющиеся опасными, однако в определенном сочетании предметов внутри сумки являющиеся таковыми.

Примечание - Примером условно-опасных предметов являются поражающие элементы самодельных взрывных устройств (болты, гайки и т. д.), часы, рации и прочие элементы, часто использующиеся при создании самодельных взрывных устройств. Рекомендуемый список типов опасных и условно-опасных вложений для проведения испытаний представлен в приложении Г.

3.6 опасная сумка: Сумка, содержащая опасные предметы, либо определенный набор условно-опасных предметов, достаточный для признания содержимого сумки опасным.

3.7 безопасная сумка: Сумка, не являющаяся опасной.

3.8 результат распознавания: Результат анализа алгоритмом либо прототипом сумки, содержащий список опасных предметов, находящихся в сумке.

3.9 технологическое испытание: Испытание одного или более алгоритмов распознавания опасных вложений с использованием существовавшей ранее или специально собранной базы данных образцов.

3.10 натурное (сценарное) испытание: Испытание, при проведении которого эксплуатационные характеристики системы определяются с помощью прототипа системы технического зрения.

3.11 тестовая выборка: Набор теневых рентгеновских изображений, формируемый для проведения тестирования качества работы алгоритмов анализа теневых рентгеновских изображений.

3.12 верификационная выборка: Набор теневых рентгеновских изображений, передаваемых разработчикам алгоритма для задания требований к условиям работы алгоритма.

3.13 СК снимка: Координатная система, заданная на плоскости снимка. Две ее оси параллельны сторонам снимка.

Примечание - Рекомендуемое направление осей: ось ОХ направлена слева направо, OY - снизу вверх. Начало координат соответствует нулевому пикселю изображения.

3.14 описывающий прямоугольник объекта: Минимальный по площади прямоугольник, полностью содержащий изображение объекта.

Примечание - Координаты минимального описывающего прямоугольника задаются в СК снимка.

3.15 результат обнаружения: Результат анализа алгоритмом либо прототипом сумки, содержащий набор описывающих прямоугольников, найденных алгоритмом обнаружения объектов, а также соответствующие им метки класса опасного предмета.

3.16 сигнал тревоги: Сигнал, формируемый алгоритмом либо прототипом, указывающий наличие в исследуемой сумке опасных предметов.

Примечание - на практике данный сигнал является сигналом к досмотру сумки представителями правоохранительных органов.

     4 Требования к условиям работы системы

4.1 Перед проведением тестирования должны быть четко сформулированы требования к условиям работы алгоритма либо прототипа. Требования к условиям работы (входным данным) могут формулироваться:

- набором примеров входных данных (валидационной выборкой);

- границами однозначно вычислимых численных параметров;

- качественными словесными описаниями, достаточно подробными для однозначной оценки экспертами.

4.2 При задании требований путем предоставления валидационной выборки должны быть выполнены следующие условия:

- для выборки должен быть составлен список условий (требований), задающих условия работы алгоритма;

- данные, входящие в выборку, должны быть размечены метками, соответствующими тем или иным условиям;

- для требований, задаваемых в виде диапазонов, рекомендуется определить интервал (шкалу), интерпретируемый экспертами, а также предоставить достаточное число примеров для различных значений введенной шкалы для однозначной оценки текущего значения. Требования в таком случае задаются для некоторых уровней введенной шкалы.

4.3 При задании требований границами однозначно вычислимых численных параметров (характеристик) необходимо предоставить методики вычислений данных характеристик (однозначные и вычислимые).

4.4 При задании требований качественным описанием оно должно содержать достаточно информации для воспроизведения условий при проведении технологического испытания.

4.5 При задании требований качественным описанием оно должно содержать достаточно информации для однозначного ответа эксперта (либо группы экспертов) по каждому элементу тестовой выборки.

4.6 При проведении технологических испытаний требования к условиям работы, задаваемые путем предоставления валидационной выборки, проверяются путем экспертной оценки.

     5 Тестовая выборка

5.1 Тестовая выборка формируется путем съемки с использованием интроскопа (получения изображений) сумок, содержащих и не содержащих опасные вложения.

5.2 Модель интроскопа, используемого для формирования тестовой выборки, должна быть отражена в протоколах испытания/тестирования.

5.3 Объективность тестовой выборки. Тестовая выборка может считаться в той или иной степени необъективной, если:

- разработчик алгоритма/прототипа (далее - разработчик) имел доступ к данным;

- разработчик предоставил оборудование, использовавшееся при создании или обработке базы данных, особенно если подобная деятельность повлияла на характер или качество базы данных (например, удаление некоторых образцов);

- испытуемый алгоритм ранее был проверен и настроен с использованием данной базы данных.

Примечание - Данные не должны использоваться в испытании, если один или несколько разработчиков ранее имели к ним доступ. Предыдущее испытание или настройка системы с использованием выборки (всей или ее фрагмента) должны быть отражены в протоколе испытания.

5.4 Данные не должны повторно использоваться для тестирования, если тестируемый алгоритм был настроен на основе эксплуатационных характеристик, полученных в ходе предыдущего тестирования по этим данным.

5.5 При задании требований к условиям работы путем предоставления валидационной выборки тестовая выборка должна формироваться из той же генеральной совокупности.

5.6 При подтверждении характеристик работы в различных условиях тестовая выборка должна содержать для каждого изображения метаданные, содержащие информацию об условиях съемки.

5.7 Помимо изображений тестовая выборка должна содержать файлы разметки. Файлы разметки должны содержать следующую дополнительную информацию.

5.7.1 Для тестирования качества распознавания - список опасных предметов, содержащихся в сумке.

5.7.2 Для тестирования качества обнаружения - список опасных предметов, а также координаты описывающих прямоугольников, им соответствующих.

5.7.3 При наличии в выборке условно-опасных объектов каждая сумка также должна быть размечена как опасная либо безопасная.

5.8 В случае если выборка создается с целью подтверждения фиксированных вероятностных характеристик, ее размер должен быть достаточен для их подтверждения с некоторой точностью (для некоторого доверительного интервала) и доверительной вероятностью.

Примечания

1 Доверительная вероятность, а также точность оценки зависят от целей тестирования. Рекомендации по выбору доверительной вероятности и доверительного интервала описаны в приложении А.

2 Пример расчета размеров выборки приведен в приложении А.

     6 Сценарные испытания