ПНСТ 965-2024

ПРЕДВАРИТЕЛЬНЫЙ НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Системная и программная инженерия

ТЕСТИРОВАНИЕ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ

Часть 11

Тестирование систем искусственного интеллекта

Software and systems engineering. Software testing. Part 11. Guidelines on the testing of Al-based systems

ОКС 35.020

Срок действия с 2025-01-01

до 2026-01-01

Предисловие

1 РАЗРАБОТАН Федеральным государственным автономным образовательным учреждением высшего образования "Национальный исследовательский университет "Высшая школа экономики" (НИУ ВШЭ)

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 28 октября 2024 г. № 73-пнст

4 Настоящий стандарт разработан с учетом основных нормативных положений международного документа ISO/IEC TR 29119-11:2020* "Системная и программная инженерия. Тестирование программного обеспечения. Часть 11. Руководство по тестированию систем на основе искусственного интеллекта" (ISO/IEC TR 29119-11:2020 "Software and systems engineering - Software testing - Part 11: Guidelines on the testing of Al-based systems", NEQ)

________________

* Доступ к международным и зарубежным документам, упомянутым в тексте, можно получить, обратившись в Службу поддержки пользователей. - Примечание изготовителя базы данных.     

Правила применения настоящего стандарта и проведения мониторинга его использования установлены в ГОСТ Р 1.16-2011 (разделы 5 и 6).

Федеральное агентство по техническому регулированию и метрологии собирает сведения о практическом применении настоящего стандарта. Данные сведения, а также замечания и предложения по содержанию стандарта можно направить не позднее чем за 4 мес. до истечения срока его действия разработчику настоящего стандарта по адресу: info@tc164.ru и/или в Федеральное агентство по техническому регулированию и метрологии по адресу: 123112 Москва, Пресненская набережная, д.10, стр.2.

В случае отмены настоящего стандарта соответствующая информация будет опубликована в ежемесячном информационном указателе "Национальные стандарты" и также будет размещена на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)

Введение

Цель серии стандартов на системную и программную инженерию заключается в определении согласованных на международном уровне стандартов для тестирования программного обеспечения (ПО), которые могут использоваться любой организацией при проведении тестирования ПО.

В настоящем стандарте приведены разъяснения о применимости серии стандартов на системную и программную инженерию для тестирования систем на основе искусственного интеллекта (ИИ), содержащих один или несколько компонентов ИИ.

В серии стандартов на системную и программную инженерию описаны основные подходы к тестированию ПО. Основу настоящего стандарта составляют подходы, установленные в ГОСТ Р 56920.

Положения ГОСТ Р 56921 содержат описание процессов, включая тестирование ПО на организационном уровне, управление тестированием и динамическое тестирование. ГОСТ Р 56921 применяют при динамическом тестировании, функциональном и нефункциональном тестировании, ручном и автоматизированном тестировании, а также тестировании по сценарию и без него и используют для тестирования систем с любым ПО, включая системы ИИ.

Положения ГОСТ Р 56922 определяют перечень документов по тестированию ПО. Требования к шаблонам и примерам тестовой документации, представленные в ГОСТ Р 56922, применяют при разработке тестовой документации для любой системы ИИ.

Положения [1] определяют подходы к разработке тестов, которые применяют для тестирования систем и компонентов ИИ.

В [2] установлены положения в отношении автоматизированного тестирования на основе ключевых слов.

В настоящем стандарте описано применение ГОСТ Р 56921 для тестирования систем ИИ с использованием конкретных технологий ИИ и показано, как шаблоны тестовой документации, установленные в ГОСТ Р 56922, могут быть реализованы при тестировании систем или компонентов ИИ.

     1 Область применения

Настоящий стандарт содержит требования и руководство по применению серии стандартов на системную и программную инженерию для тестирования систем на основе искусственного интеллекта и их компонентов. В стандарте применяется подход, основанный на оценке рисков при разработке и обслуживании систем ИИ для определения подходящих методов тестирования.

Стандарт определяет методы в виде практик, подходов и методик испытаний, которые могут быть применены к системам ИИ и компонентам. В тех случаях, когда подходы и методы испытаний указаны в серии стандартов на системную и программную инженерию, данный стандарт определяет дополнительные подробности и описывает их применение в отношении систем ИИ.

Настоящий стандарт предназначен для применения при тестировании различных систем ИИ, включая отдельные компоненты системы ИИ, и, в случае необходимости, при проверке взаимодействия компонентов, не связанных с ИИ, с компонентами с использованием ИИ.

     2 Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующие стандарты:

ГОСТ Р 56921/ISO/IEC/IEEE 29119-2:2013 Системная и программная инженерия. Тестирование программного обеспечения. Часть 2. Процессы тестирования

ГОСТ Р 56922/ISO/IEC/IEEE 29119-3:2013 Системная и программная инженерия. Тестирование программного обеспечения. Часть 3. Документация тестирования

ГОСТ Р 71476 (ИСО/МЭК 22989:2022) Искусственный интеллект. Концепции и терминология искусственного интеллекта

ГОСТ Р ИСО/МЭК 25010 Информационные технологии. Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Модели качества систем и программных продуктов

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

     3 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями:

3.1

3.2

3.3

3.4

3.5

3.6

3.7

3.8

3.9

3.10

3.11