ГОСТ Р 70946-2023
НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
Технологии искусственного интеллекта в образовании
ФУНКЦИОНАЛЬНАЯ ПОДСИСТЕМА УПРАВЛЕНИЯ УСПЕВАЕМОСТЬЮ ОБУЧАЮЩИХСЯ ПО ПРОГРАММАМ БАКАЛАВРИАТА И СПЕЦИАЛИТЕТА
Общие положения и методика испытаний
Artificial intelligence technologies in education. Functional subsystem for managing the progress of students in undergraduate and specialty programs. General provisions and test procedure
ОКС 35.240.90
Дата введения 2024-01-01
Предисловие
1 РАЗРАБОТАН Федеральным государственным автономным образовательным учреждением высшего образования "Волгоградский государственный университет" (ФГАОУ ВО ВолГУ)
2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"
3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 18 октября 2023 г. N 1174-ст
4 ВВЕДЕН ВПЕРВЫЕ
Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)
Введение
Функциональная подсистема управления успеваемостью обучающихся по программам бакалавриата и специалитета входит в систему образования как наиболее значимая ее составляющая, обеспечивающая учебную подготовку обучающихся.
Настоящий стандарт определяет общие положения и методику испытаний технологий искусственного интеллекта, используемых при управлении успеваемостью обучающихся по программам бакалавриата и специалитета в рамках соответствующей функциональной подсистемы высшего учебного заведения.
Основной задачей применения технологий искусственного интеллекта в рамках названной подсистемы является прогнозирование результатов обучения для повышения эффективности управления успеваемостью обучающихся руководством высшего учебного заведения. В связи с этим критически важным является обеспечение должного уровня доверия к используемым технологиям искусственного интеллекта. Одним из важных факторов такого доверия служит доверие к результатам функционирования систем искусственного интеллекта. Для обеспечения единых подходов к тестированию системы искусственного интеллекта разработан настоящий стандарт.
Настоящий стандарт входит в серию стандартов "Технологии искусственного интеллекта в образовании".
1 Область применения
Настоящий стандарт описывает методику проведения испытаний систем искусственного интеллекта (СИИ), применяемых в управлении успеваемостью обучающихся по программам бакалавриата и специалитета в высших учебных заведениях.
Примечание - Такие испытания может проводить:
- внутренняя испытательная лаборатория организации, разрабатывающей СИИ (оценка соответствия первой стороной);
- внешняя испытательная лаборатория, действующая по поручению организации - заказчика СИИ (оценка соответствия второй стороной);
- орган, осуществляющий независимую оценку соответствия, например в целях сертификации (оценка соответствия третьей стороной).
2 Нормативные ссылки
В настоящем стандарте использованы нормативные ссылки на следующие стандарты:
ГОСТ 19.101 Единая система программной документации. Виды программ и программных документов
ГОСТ ISO/IEC 17025 Общие требования к компетентности испытательных и калибровочных лабораторий
ГОСТ Р 59898-2021 Оценка качества систем искусственного интеллекта. Общие положения
Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.
3 Термины и определения
В настоящем стандарте применены следующие термины с соответствующими определениями:
3.1
аннотирование данных, разметка данных: Процесс маркирования данных, выполняемый для того, чтобы сделать данные пригодными для машинного обучения. [ГОСТ Р 59898-2021, пункт 3.1] |
3.2
аугментация данных: Процесс создания дополнительного набора данных из имеющегося набора данных. Примечание - Применяется для увеличения обучающего набора данных путем модификации существующего набора данных. [ГОСТ Р 59898-2021, пункт 3.2] |
3.3
базовый демонстрационный набор данных: Образцовый аннотированный набор данных, сформированный в соответствии с нормативно-техническим документом, устанавливающим унифицированные требования к проведению тестирования (испытаний) системы искусственного интеллекта определенного типа. [ГОСТ Р 59898-2021, пункт 9.1] |
3.4 бакалавриат: Высшее профессиональное образование, подтвержденное присвоением лицу, успешно прошедшему итоговую аттестацию, квалификации "бакалавр".
3.5
валидация: Подтверждение, посредством представления объективных свидетельств, того, что требования, предназначенные для конкретного использования или применения, выполнены. Примечания 1 Объективное свидетельство, необходимое для валидации, является результатом испытания или других форм определения, таких как осуществление альтернативных расчетов или анализ документов. 2 Слово "валидирован" используют для обозначения соответствующего статуса. 3 Условия, применяемые при валидации, могут быть реальными или смоделированными. [ГОСТ Р ИСО 9000-2015, статья 3.8.13] |
3.6
деятельность по оценке соответствия первой стороной: Деятельность по оценке соответствия, которую осуществляет лицо или организация, предоставляющее(ая) объект. Примечание - Выражения "первая сторона", "вторая сторона" и "третья сторона", используемые для характеристики видов деятельности по оценке соответствия с учетом данного объекта, не следует путать с юридической идентификацией соответствующих сторон какого-либо контракта. [ГОСТ ISO/IEC 17000-2012, пункт 2.2] |
3.7
деятельность по оценке соответствия второй стороной: Деятельность по оценке соответствия, которую осуществляет лицо или организация, заинтересованное(ая) в объекте как пользователь. Примечание - Лицами или организациями, осуществляющими деятельность по оценке соответствия второй стороной, являются, например, покупатели или пользователи продукции, или потенциальные потребители, желающие довериться системе менеджмента поставщика или организации, представляющей их интересы. [ГОСТ ISO/IEC 17000-2012, статья 2.3] |
3.8
деятельность по оценке соответствия третьей стороной: Деятельность по оценке соответствия, которую осуществляет лицо или орган, независимое(ый) от лица или организации, предоставляющего(ей) объект, и от пользователя, заинтересованного в этом объекте. Примечание - Критерии независимости органов по оценке соответствия и органов по аккредитации представлены в международных стандартах и руководствах, применяемых с учетом характера их деятельности. [ГОСТ ISO/IEC 17000-2012, статья 2.4] |
3.9
дополнительный демонстрационный набор данных: Дополнительный аннотированный набор данных, предоставляемый заказчиком работ, связанных с системой искусственного интеллекта при формировании уточненных требований к результатам работ с учетом конкретного функционала системы и условий ее эксплуатации. [Адаптировано из ГОСТ Р 59898-2021, пункт 9.1] |
3.10 естественные данные: Первичные или исходные данные, подлежащие дальнейшей обработке методами искусственного интеллекта.
3.11
искусственный интеллект; ИИ: Способность технической системы имитировать когнитивные функции человека (включая самообучение и поиск решений без заранее заданного алгоритма) и получать при выполнении конкретных практически значимых задач обработки данных результаты, сопоставимые, как минимум, с результатами интеллектуальной деятельности человека. [ГОСТ Р 59276-2020, пункт 3.6] |
3.12 кортеж: Конечная последовательность, допускающая повторения, элементов какого-нибудь множества X.
3.13
лаборатория: Орган, который осуществляет один или несколько из следующих видов деятельности: - испытания; - калибровка; - отбор образцов, связанный с последующими испытаниями или калибровкой. [ГОСТ ISO/IEC 17025-2019, пункт 3.6] |
3.14
образование: Единый целенаправленный процесс воспитания и обучения, являющийся общественно значимым благом и осуществляемый в интересах человека, семьи, общества и государства, а также совокупность приобретаемых знаний, умений, навыков, ценностных установок, опыта деятельности и компетенции определенных объема и сложности в целях интеллектуального, духовно-нравственного, творческого, физического и (или) профессионального развития человека, удовлетворения его образовательных потребностей и интересов. |
Примечание - Образование подразделяется на общее образование, профессиональное образование, дополнительное образование и профессиональное обучение, обеспечивающие возможность реализации права на образование в течение всей жизни (непрерывное образование).
3.15
полный демонстрационный набор данных: Совокупность базового и дополнительного наборов данных. [Адаптировано из ГОСТ Р 59898-2021, пункт 9.1] |
3.16
профессиональное образование: Вид образования, который направлен на приобретение обучающимися в процессе освоения основных профессиональных образовательных программ знаний, умений, навыков и формирование компетенции определенных уровня и объема, позволяющих вести профессиональную деятельность в определенной сфере и (или) выполнять работу по конкретным профессии или специальности. |
Примечание - В Российской Федерации устанавливаются следующие уровни профессионального образования:
а) среднее профессиональное образование;
б) высшее образование - бакалавриат;
в) высшее образование - специалитет, магистратура;
г) высшее образование - подготовка кадров высшей квалификации.
3.17
Попробуйте «Техэксперт: Базовые нормативные документы» бесплатно