Статус документа
Статус документа

ГОСТ Р 59900-2021 Системы искусственного интеллекта. Типовые требования к контрольным выборкам исходных данных для испытания систем искусственного интеллекта в образовании (с Поправкой)

     3 Общие требования к контрольным выборкам исходных данных

3.1 Репрезентативность

Контрольная выборка должна быть репрезентативной: характеристики выборки должны соответствовать характеристикам генеральной совокупности в целом.

Контрольная выборка должна содержать все объекты, присутствующие в генеральной совокупности. Число элементов контрольной выборки должно быть достаточно для представления характеристик генеральной совокупности с заданной погрешностью.

Должны быть предусмотрены метрики и меры оценки отсутствия систематических искажений при формировании выборки.

3.2 Ограничение в использовании контрольной выборки на этапе обучения системы

В процессе обучения систем искусственного интеллекта для текущей оценки качества обучения, выбора моделей и настройки гиперпараметров используются валидационные выборки.

Недопустимо использование контрольных выборок в качестве валидационных в процессе настройки и обучения модели.

Контрольные выборки должны использоваться для оценки качества работы обученных систем и сравнения различных систем между собой.

3.3 Актуальность контрольной выборки

Необходимо обеспечить соответствие данных, представленных в контрольной выборке, актуальному состоянию объектов, описываемых данными.

Для контрольной выборки должен быть определен период обновления, соответствующий периодам изменения объектов, описываемых собранным данными.

3.4 Повторное использование контрольной выборки

Для каждой контрольной выборки должно быть определено максимальное число использований и вестись учет числа фактических использований контрольной выборки для оценки качества работы систем, с целью недопущения подстройки систем искусственного интеллекта под прохождение конкретной контрольной выборки.