ГОСТ Р 59900-2021

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

СИСТЕМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА

Типовые требования к контрольным выборкам исходных данных для испытания систем искусственного интеллекта в образовании

Artificial intelligence systems. Typical requirements for check samples of initial data for testing artificial intelligence systems in education

ОКС 35.240.90

Дата введения 2022-03-01

Предисловие

1 РАЗРАБОТАН Федеральным государственным автономным образовательным учреждением высшего образования "Национальный исследовательский университет "Высшая школа экономики" (НИУ ВШЭ)

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 26 ноября 2021 г. N 1622-ст

4 ВВЕДЕН ВПЕРВЫЕ

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)

ВНЕСЕНА поправка, опубликованная в ИУС N 5, 2022 год, введенная в действие с 30.03.2022

Поправка внесена изготовителем базы данных

     1 Область применения

Настоящий стандарт распространяется на технологии искусственного интеллекта в образовании и устанавливает типовые требования к контрольным выборкам исходных данных для испытания систем искусственного интеллекта в образовании, построенных на основе алгоритмов машинного обучения и анализа данных.

     2 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями:

2.1 образовательный продукт с алгоритмами искусственного интеллекта: Программно-техническая система, использующая алгоритмы искусственного интеллекта для решения различных задач в области образования.

2.2 гиперпараметры (в машинном обучении): Параметры системы искусственного интеллекта, значения которых задаются до начала обучения и не изменяются в процессе обучения.

Примечание - У системы искусственного интеллекта может не быть гиперпараметров.

2.3 обучающая выборка: Набор данных, на котором происходит обучение системы искусственного интеллекта.

2.4 валидационная выборка: Набор данных, на котором происходит оптимизация гиперпараметров системы искусственного интеллекта и выбор наилучшего алгоритма.

2.5 контрольная выборка: Набор данных, на котором происходит оценка качества работы системы искусственного интеллекта.

2.6 метрика (в машинном обучении): Функция количественной оценки качества работы алгоритмов искусственного интеллекта на некоторой выборке.

Примечание - При обучении систем искусственного интеллекта вычисляют значения метрик на обучающей, валидационной и тестовой выборках.

     3 Общие требования к контрольным выборкам исходных данных

3.1 Репрезентативность

Контрольная выборка должна быть репрезентативной: характеристики выборки должны соответствовать характеристикам генеральной совокупности в целом.

Контрольная выборка должна содержать все объекты, присутствующие в генеральной совокупности. Число элементов контрольной выборки должно быть достаточно для представления характеристик генеральной совокупности с заданной погрешностью.

Должны быть предусмотрены метрики и меры оценки отсутствия систематических искажений при формировании выборки.

3.2 Ограничение в использовании контрольной выборки на этапе обучения системы

В процессе обучения систем искусственного интеллекта для текущей оценки качества обучения, выбора моделей и настройки гиперпараметров используются валидационные выборки.