ГОСТ Р 70950-2023
НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
Технологии искусственного интеллекта в образовании
ФУНКЦИОНАЛЬНАЯ ПОДСИСТЕМА УПРАВЛЕНИЯ УСПЕВАЕМОСТЬЮ ОБУЧАЮЩИХСЯ ПО ПРОГРАММАМ ПОДГОТОВКИ НАУЧНЫХ И НАУЧНО-ПЕДАГОГИЧЕСКИХ КАДРОВ В АСПИРАНТУРЕ
Общие положения и методика испытаний
Artificial intelligence technologies in education. Functional subsystem for managing the progress of students in the programs of training scientific and scientific-pedagogical personnel in postgraduate studies. General provisions and test procedure
ОКС 35.240.90
Дата введения 2024-01-01
1 РАЗРАБОТАН Федеральным государственным автономным образовательным учреждением высшего образования "Волгоградский государственный университет" (ФГАОУ ВО ВолГУ)
2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"
3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 18 октября 2023 г. N 1178-ст
4 ВВЕДЕН ВПЕРВЫЕ
Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)
Функциональная подсистема управления успеваемостью обучающихся по программам подготовки научных и научно-педагогических кадров в аспирантуре входит в систему образования как наиболее значимая ее составляющая, обеспечивающая учебную подготовку обучающихся по программам подготовки научных и научно-педагогических кадров в аспирантуре.
Настоящий стандарт определяет общие положения и методику испытаний технологий искусственного интеллекта (ТИИ), используемых при управлении успеваемостью обучающихся по программам подготовки научных и научно-педагогических кадров в аспирантуре в рамках соответствующей функциональной подсистемы высшего учебного заведения.
Основной задачей применения ТИИ в рамках определенной подсистемы является прогнозирование результатов обучения для повышения эффективности управления успеваемостью обучающихся руководством высшего учебного заведения. В связи с этим критически значимым является обеспечение должного уровня доверия к используемым ТИИ. С целью разработки единых подходов к тестированию системы искусственного интеллекта разработан настоящий стандарт.
Настоящий стандарт входит в серию стандартов "Технологии искусственного интеллекта в образовании".
Настоящий стандарт описывает методику проведения испытаний систем искусственного интеллекта (СИИ), применяемых в управлении успеваемостью обучающихся по программам подготовки научных и научно-педагогических кадров в аспирантуре.
Примечание - Такие испытания может проводить:
- внутренняя испытательная лаборатория организации, разрабатывающей СИИ (оценка соответствия первой стороной);
- внешняя испытательная лаборатория, действующая по поручению организации-заказчика СИИ (оценка соответствия второй стороной);
- орган, осуществляющий независимую оценку соответствия, например в целях сертификации (оценка соответствия третьей стороной).
Настоящий стандарт применим для организаций, осуществляющих подготовку кадров высшей квалификации по программам высшего образования, например: для вузов, как государственных, так и негосударственных, научно-исследовательских институтов.
В настоящем стандарте использована нормативная ссылка на следующий стандарт:
ГОСТ Р 70946-2023 Технологии искусственного интеллекта в образовании. Функциональная подсистема управления успеваемостью обучающихся по программам бакалавриата и специалитета. Общие положения и методика испытаний
Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.
В настоящем стандарте применены следующие термины с соответствующими определениями:
3.1
аннотирование данных, разметка данных: Процесс маркирования данных, выполняемый для того, чтобы сделать данные пригодными для машинного обучения. [ГОСТ Р 59898-2021, пункт 3.1] |
3.2 аспирантура: Форма реализации уровня профессионального образования, ориентированная на подготовку кадров высшей квалификации.
3.3
базовый демонстрационный набор данных: Образцовый аннотированный набор данных, сформированный в соответствии с нормативно-техническим документом, устанавливающим унифицированные требования к проведению тестирования (испытаний) системы искусственного интеллекта определенного типа. [ГОСТ Р 59898-2021, пункт 9.1] |
3.4
валидация: Подтверждение посредством представления объективных свидетельств того, что требования, предназначенные для конкретного использования или применения, выполнены. Примечания 1 Объективное свидетельство, необходимое для валидации, является результатом испытания или других форм определения, таких как осуществление альтернативных расчетов или анализ документов. 2 Слово "валидирован" используют для обозначения соответствующего статуса. 3 Условия, применяемые при валидации, могут быть реальными или смоделированными. [ГОСТ Р ИСО 9000-2015, статья 3.8.13] |
3.5
деятельность по оценке соответствия первой стороной: Деятельность по оценке соответствия, которую осуществляет лицо или организация, предоставляющее(ая) объект. Примечание - Выражения "первая сторона", "вторая сторона" и "третья сторона", используемые для характеристики видов деятельности по оценке соответствия с учетом данного объекта, не следует путать с юридической идентификацией соответствующих сторон какого-либо контракта. [ГОСТ ISO/IEC 17000-2012, статья 2.2] |
3.6
деятельность по оценке соответствия второй стороной: Деятельность по оценке соответствия, которую осуществляет лицо или организация, заинтересованное(ая) в объекте как пользователь. Примечание - Лицами или организациями, осуществляющими деятельность по оценке соответствия второй стороной, являются, например, покупатели или пользователи продукции, или потенциальные потребители, желающие довериться системе менеджмента поставщика или организации, представляющей их интересы. [ГОСТ ISO/IEC 17000-2012, статья 2.3] |
3.7
деятельность по оценке соответствия третьей стороной: Деятельность по оценке соответствия, которую осуществляет лицо или орган, независимое(ый) от лица или организации, предоставляющего(ей) объект, и от пользователя, заинтересованного в этом объекте. Примечание - Критерии независимости органов по оценке соответствия и органов по аккредитации представлены в международных стандартах и руководствах, применяемых с учетом характера их деятельности. [ГОСТ ISO/IEC 17000-2012, статья 2.4] |
3.8