ГОСТ Р 58777-2019 Воздушный транспорт. Аэропорты. Технические средства досмотра. Методика определения показателей качества распознавания незаконных вложений по теневым рентгеновским изображениям

     5 Тестовая выборка

5.1 Тестовая выборка формируется путем съемки с использованием интроскопа (получения изображений) сумок, содержащих и не содержащих опасные вложения.

5.2 Модель интроскопа, используемого для формирования тестовой выборки, должна быть отражена в протоколах испытания/тестирования.

5.3 Объективность тестовой выборки. Тестовая выборка может считаться в той или иной степени необъективной, если:

- разработчик алгоритма/прототипа (далее - разработчик) имел доступ к данным;

- разработчик предоставил оборудование, использовавшееся при создании или обработке базы данных, особенно если подобная деятельность повлияла на характер или качество базы данных (например, удаление некоторых образцов);

- испытуемый алгоритм ранее был проверен и настроен с использованием данной базы данных.

Примечание - Данные не должны использоваться в испытании, если один или несколько разработчиков ранее имели к ним доступ. Предыдущее испытание или настройка системы с использованием выборки (всей или ее фрагмента) должны быть отражены в протоколе испытания.

5.4 Данные не должны повторно использоваться для тестирования, если тестируемый алгоритм был настроен на основе эксплуатационных характеристик, полученных в ходе предыдущего тестирования по этим данным.

5.5 При задании требований к условиям работы путем предоставления валидационной выборки тестовая выборка должна формироваться из той же генеральной совокупности.

5.6 При подтверждении характеристик работы в различных условиях тестовая выборка должна содержать для каждого изображения метаданные, содержащие информацию об условиях съемки.

5.7 Помимо изображений тестовая выборка должна содержать файлы разметки. Файлы разметки должны содержать следующую дополнительную информацию.

5.7.1 Для тестирования качества распознавания - список опасных предметов, содержащихся в сумке.

5.7.2 Для тестирования качества обнаружения - список опасных предметов, а также координаты описывающих прямоугольников, им соответствующих.

5.7.3 При наличии в выборке условно-опасных объектов каждая сумка также должна быть размечена как опасная либо безопасная.

5.8 В случае если выборка создается с целью подтверждения фиксированных вероятностных характеристик, ее размер должен быть достаточен для их подтверждения с некоторой точностью (для некоторого доверительного интервала) и доверительной вероятностью.

Примечания

1 Доверительная вероятность, а также точность оценки зависят от целей тестирования. Рекомендации по выбору доверительной вероятности и доверительного интервала описаны в приложении А.

2 Пример расчета размеров выборки приведен в приложении А.