ПНСТ 776-2022
ПРЕДВАРИТЕЛЬНЫЙ НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
Информационные технологии
ИНТЕЛЛЕКТ ИСКУССТВЕННЫЙ
Управление рисками
Information technology. Artificial intelligence. Guidance on risk management
ОКС 35.020
Срок действия с 2023-01-01
до 2026-01-01
Предисловие
1 РАЗРАБОТАН Федеральным государственным автономным образовательным учреждением высшего образования "Национальный исследовательский университет "Высшая школа экономики" (НИУ ВШЭ)
2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"
3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 2 ноября 2022 г. N 90-пнст
4 Настоящий стандарт разработан с учетом основных нормативных положений проекта международного стандарта ИСО/МЭК 23894* "Информационные технологии. Искусственный интеллект. Управление рисками" (ISO/IEC FDIS 23894 "Information technology - Artificial intelligence - Guidance on risk management", NEQ)
________________
* Доступ к международным и зарубежным документам, упомянутым в тексте, можно получить, обратившись в Службу поддержки пользователей. - Примечание изготовителя базы данных.
Правила применения настоящего стандарта и проведения его мониторинга установлены в ГОСТ Р 1.16-2011 (разделы 5 и 6).
Федеральное агентство по техническому регулированию и метрологии собирает сведения о практическом применении настоящего стандарта. Данные сведения, а также замечания и предложения по содержанию стандарта можно направить не позднее чем за 4 мес до истечения срока его действия разработчику настоящего стандарта по адресу: austyuzhanin@hse.ru и/или в Федеральное агентство по техническому регулированию и метрологии по адресу: 123112 Москва, Пресненская набережная, д.10, стр.2.
В случае отмены настоящего стандарта соответствующая информация будет опубликована в ежемесячном информационном указателе "Национальные стандарты" и также будет размещена на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)
Введение
Целью управления рисками является создание и защита ценности, что повышает производительность работы, способствует инновационному процессу, а также достижению поставленных целей.
Настоящий стандарт в качестве нормативной основы использует ГОСТ Р ИСО 31000. Каждый раз, когда настоящий стандарт расширяет положения ГОСТ Р ИСО 31000, приводится соответствующая ссылка на пункт ГОСТ Р ИСО 31000 с последующим конкретным руководством по искусственному интеллекту (ИИ). Для большего удобства работы структура настоящего стандарта повторяет структуру ГОСТ Р ИСО 31000-2019.
Настоящий стандарт состоит из нескольких разделов, основными из которых являются следующие:
- раздел 4 "Принципы управления рисками, связанными с использованием искусственного интеллекта". В этом разделе описаны основополагающие принципы управления рисками. Использование ИИ требует особых подходов в отношении некоторых из этих принципов, как описано в ГОСТ Р ИСО 31000;
- раздел 5 "Структура". Цель структуры управления рисками состоит в том, чтобы помочь организации интегрировать управление рисками в наиболее значимые виды деятельности и функции. Аспекты, относящиеся к разработке, предоставлению, предложению или использованию систем ИИ, приведены в ГОСТ Р ИСО 31000;
- раздел 6 "Процесс". Процессы управления рисками включают систематическое применение политик, процедур и практик к деятельности по обмену информацией и консультированию, определению области применения, среды и критериев, а также по оценке, обработке, мониторингу, пересмотру, документированию и отчетности о рисках. Специализация таких процессов для ИИ описана в ГОСТ Р ИСО 31000.
Общие цели и источники рисков, связанные с ИИ, перечислены в приложениях А и Б; в приложении В приведен пример сопоставления процессов управления рисками и жизненного цикла системы ИИ.
1 Область применения
В настоящем стандарте представлены рекомендации по управлению рисками, с которыми сталкиваются организации при разработке и применении методов и систем искусственного интеллекта (ИИ). Рекомендации также направлены на оказание помощи организациям с интеграцией управления рисками в их деятельность и функции, связанные с ИИ. Кроме того, в нем описаны процессы эффективного внедрения и интеграции интеллектуальных систем управления риском.
Применение этих рекомендаций можно адаптировать к любой организации и ее среде.
2 Нормативные ссылки
В настоящем стандарте использованы нормативные ссылки на следующие стандарты:
ГОСТ Р 51897 (ISO Guide 73:2009) Менеджмент риска. Термины и определения
ГОСТ Р 59276 Системы искусственного интеллекта. Способы обеспечения доверия. Общие положения
ГОСТ Р ИСО 13008 Информация и документация. Процессы конверсии и миграции электронных документов
ГОСТ Р ИСО 15489-1 Система стандартов по информации, библиотечному и издательскому делу. Информация и документация. Управление документами. Часть 1. Понятия и принципы
ГОСТ Р ИСО 31000-2019 Менеджмент риска. Принципы и руководство
ГОСТ Р ИСО/МЭК 25010-2015 Информационные технологии. Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Модели качества систем и программных продуктов
Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.
3 Термины и определения
В настоящем стандарте применены термины по ГОСТ Р ИСО 13008, ГОСТ Р ИСО 15489-1, ГОСТ Р ИСО/МЭК 25010, ГОСТ Р ИСО 31000, ГОСТ Р 51897, ГОСТ Р 59276.
Примечания
1 Изменениями могут быть исправления, усовершенствования или адаптация программного обеспечения с учетом изменений в производственной среде, а также в требованиях и функциональных спецификациях. Изменения включают те из них, которые выполняет специализированный вспомогательный персонал, и те, которые осуществляют менеджер или оперативный персонал, или конечные пользователи.
2 Поддержка включает установку обновлений и модернизированных дополнений.
3 Удобство в эксплуатации (сопровождаемость) может быть истолковано(а) либо как способность продукта или системы облегчать деятельность по техническому обслуживанию, либо как качество использования, испытуемое сопровождающими при обслуживании продукта или системы (см. ГОСТ Р ИСО/МЭК 25010-2015, 4.2.7).
4 Принципы управления рисками, связанными с использованием искусственного интеллекта
Управление рисками должно учитывать потребности организации на основе комплексного, структурированного и всеобъемлющего подхода. Управляющие принципы позволяют организации определять приоритеты и принимать решения о том, как регулировать последствия неопределенности для ее целей.
В системах и процессах обычно использовано сочетание различных технологий и функций. Данные системы и процессы задействованы в различных средах для определенных вариантов применения. Управление рисками должно учитывать систему со всеми ее технологиями, функциональными возможностями и окружением.
Методы ИИ могут привносить новые риски как с отрицательными, так и положительными результатами или увеличивать их вероятность за счет специфических характеристик технологии. Данным методам следует уделять пристальное внимание и при необходимости привести дополнительные указания в отношении структуры и процесса управления рисками в организации.
Примечание - Следует отметить, что в различных стандартах имеются существенно различающиеся определения слова "риск". В некоторых стандартах "риск" предполагает потенциальные негативные последствия, например проблемы, связанные с безопасностью. В других стандартах "риск" предполагает отрицательное или положительное отклонение от целей. Такое различие в направленности зачастую может приводить к путанице при попытке понять и надлежащим образом внедрить отвечающий требованиям процесс управления рисками.
В ГОСТ Р ИСО 31000-2019 (раздел 4) определен ряд общих принципов управления рисками, в дополнение к которому в таблице 1 приведены указания относительно того, как применять такие принципы. Дополнительная информация представлена, например, в [1] и [2].
Таблица 1 - Принципы управления рисками, применяемые к ИИ
Принцип | Описание по ГОСТ Р ИСО 31000-2019 (раздел 4) | Последствия для развития и использования ИИ |
Интегрированность | Интегрированный менеджмент риска является неотъемлемой частью всей деятельности организации | Специальное руководство отсутствует, применяют положения ГОСТ Р ИСО 31000 |
Структурированность и комплексность | Структурированный и комплексный подход к менеджменту риска способствует согласованным и сопоставимым результатам | Специальное руководство отсутствует, применяют положения ГОСТ Р ИСО 31000 |
Адаптированность | Структура и процесс менеджмента риска настраиваются и соразмерны внешней и внутренней средам организации, ее целям | Специальное руководство отсутствует, применяют положения ГОСТ Р ИСО 31000 |
Вовлеченность | Вовлеченность заключается в надлежащем и своевременном участии причастных сторон, что позволяет учитывать их знания, взгляды и мнения. Это приводит к повышению осведомленности и информативности в рамках менеджмента риска | При использовании ИИ следует учитывать наличие внутренних и внешних заинтересованных сторон. Например, машинное обучение опирается на соответствующий набор данных для реализации конкретных задач. Заинтересованные стороны могут помочь в выявлении рисков, связанных с использованием данных в конкретных ситуациях, или в том случае, где данные могут являться выбросами |
Динамичность | Риски могут возникать, меняться или исчезать по мере изменения внешней и внутренней сред организации. Менеджмент риска предвосхищает, обнаруживает, признает и реагирует на эти изменения и события соответствующим и своевременным образом | Для использования руководящих указаний, содержащихся в ГОСТ Р ИСО 31000, организациям следует создать организационные структуры и принять меры для выявления возникающих рисков, тенденций, технологий, видов применения и субъектов, которые могут оказывать воздействие на системы и методы ИИ. Интеграция с управлением качеством, окружением, безопасностью и/или корпоративной ответственностью, если она поддерживается организацией, также может быть рассмотрена для дальнейшего понимания и управления рисками, связанными с ИИ для организации.
|
Базирование на наиболее качественной доступной информации | В качестве исходных данных использованы исторические и текущие данные, а также прогнозные ожидания. Менеджмент риска явно учитывает любые ограничения и неопределенности, связанные с исходными данными и ожиданиями. Информация должна быть актуальной, ясной и доступной для всех причастных сторон | В дополнение к рекомендациям, содержащимся в ГОСТ Р ИСО 31000, организациям, занимающимся разработкой систем ИИ или предоставлением услуг ИИ, следует рассмотреть вопрос о том, как такие продукты и услуги могут быть использованы их клиентами и пользователями в процессе управления рисками |
Учет поведенческих и культурных факторов | Поведение и культура человека существенно влияют на все аспекты менеджмента риска на каждом уровне и этапе | В дополнение к рекомендациям, содержащимся в ГОСТ Р ИСО 31000, организации, занимающиеся проектированием, разработкой и/или внедрением систем или компонентов ИИ, должны осуществлять мониторинг человеческого и культурного многообразия, в котором они находятся, уделяя особое внимание влиянию систем или компонентов ИИ на объективные результаты, конфиденциальность, свободу выражения мнений, надежность, безопасность, занятость, экологические и другие права человека |
Непрерывное совершенствование | Менеджмент риска постоянно совершенствуется благодаря обучению и накоплению опыта | В процессе непрерывного совершенствования следует учитывать выявление ранее неизвестных рисков, связанных с использованием систем ИИ. Организации, занимающиеся проектированием, разработкой и/или внедрением систем или системных компонентов ИИ, должны отслеживать экосистему ИИ на предмет наличия достоинств и недостатков в работе, а также новых результатов исследований и методов ИИ.
|
Примечания
| ||
5 Структура
5.1 Общие положения
Задача системы управления рисками состоит в том, чтобы помочь интегрировать управление рисками в наиболее значимые виды деятельности и функции организации. Применяют положения ГОСТ Р ИСО 31000-2019 (подраздел 5.1).
Управление рисками включает в себя сбор соответствующей информации, необходимой организации для принятия решений и устранения рисков. Руководящий орган определяет общие тенденции к возникновению риска и ставит организационные цели, а также делегирует процесс принятия решений по выявлению, оценке и управлению рисками менеджерам внутри организации.
Организациям следует применять основанный на учете рисков подход к выявлению, оценке и пониманию рисков ИИ, которым они подвергаются, и принимать надлежащие меры по уменьшению рисков в соответствии с их уровнем. Цель системы управления рисками заключается в оказании организации содействия в интеграции управления рисками в значимые виды деятельности. Риски следует определять применительно к связанным с ИИ целям. Не все цели имеют отношение ко всем видам применения, и в зависимости от характера применения, возможно, потребуется поставить дополнительные цели. В 6.3 содержатся дополнительные рекомендации по постановке целей, специфичных для ИИ, и их значимости для систем ИИ (продуктов) и услуг ИИ предоставляющей их организации.
5.2 Лидерство и приверженность
Применяют положения ГОСТ Р ИСО 31000-2019 (подраздел 5.2).
В связи с особой важностью вопросов доверия и подотчетности, связанных с разработкой и использованием ИИ, руководству организаций следует рассмотреть вопрос о том, каким образом документация, касающаяся рисков ИИ и управления рисками, доводится до сведения заинтересованных сторон. Демонстрация такого уровня лидерства и приверженности может иметь решающее значение для уверенности заинтересованных сторон в том, что ИИ разрабатывается и используется ответственно.
Руководство организации также должно быть осведомлено о специализированных ресурсах, которые могут потребоваться для управления рисками ИИ, и распределять эти ресурсы надлежащим образом.
В соответствии с ГОСТ Р ИСО 31000-2019 (подраздел 5.2) управленческие и/или надзорные органы (где это применимо) должны документально оформить или стратегически разработать подход или план действий по управлению рисками. Применительно к организациям, предоставляющим продукты или услуги ИИ, в нем должно быть четко указано, какие риски, связанные с разработкой или применением систем ИИ, являются приемлемыми для организации. Такая политика должна также стимулировать членов организации указывать на существенные проблемы, такие как конфиденциальное использование систем ИИ самой организацией или ее клиентами и партнерами, содержать обязательство рассматривать варианты использования систем ИИ, которые будут соответствовать их принципам управления, и учитывать такие варианты для постоянного совершенствования процессов управления рисками.
5.3 Адаптация
Применяют положения ГОСТ Р ИСО 31000-2019 (подраздел 5.3).
5.4 Проектирование и разработка
5.4.1 Понимание организации и ее среды
Применяют положения ГОСТ Р ИСО 31000-2019 (5.4.1).
В дополнение к руководству, представленному в ГОСТ Р ИСО 31000-2019 (5.4.1), таблица 2 содержит дополнительные факторы, которые следует учитывать при понимании внешней среды организации.
Попробуйте «Техэксперт: Базовые нормативные документы» бесплатно