ГОСТ Р ИСО 10303-31-2002

Группа П87

ГОСУДАРСТВЕННЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Системы автоматизации производства и их интеграция

ПРЕДСТАВЛЕНИЕ ДАННЫХ ОБ ИЗДЕЛИИ И ОБМЕН ЭТИМИ ДАННЫМИ

Часть 31. Методология и основы аттестационного тестирования
Общие положения

Industrial automation systems and integration. Product data representation and exchange.
Part 31. Conformance testing methodology and framework. General concepts

ОКС 25.040.40

ОКСТУ 4002

Дата введения 2003-07-01

Предисловие

1 РАЗРАБОТАН Всероссийским научно-исследовательским институтом стандартизации (ВНИИстандарт)

ВНЕСЕН Техническим комитетом по стандартизации ТК 431 "GALS-технологии"

2 ПРИНЯТ И ВВЕДЕН В ДЕЙСТВИЕ Постановлением Госстандарта России от 25 июня 2002 г. N 250-ст

3 Настоящий стандарт представляет собой полный аутентичный текст международного стандарта ИСО 10303-31-98 "Системы автоматизации производства и их интеграция. Представление данных об изделии и обмен этими данными. Часть 31. Методология и основы аттестационного тестирования. Общие положения"

4 ВВЕДЕН ВПЕРВЫЕ

Введение

Стандарты серии ГОСТ Р ИСО 10303 распространяются на машинно-ориентированное представление данных об изделии и обмен этими данными. Целью является создание механизма, позволяющего описывать данные об изделии на протяжении всего жизненного цикла изделия независимо от конкретной системы. Характер такого описания делает его пригодным не только для обмена инвариантными файлами, но также и для создания баз данных об изделиях, коллективного пользования этими базами и архивирования соответствующих данных.

Серия ГОСТ Р ИСО 10303 представляет собой отдельно издаваемые стандарты (части), относящиеся к одной из следующих тематических групп: методы описания, интегрированные ресурсы, прикладные протоколы, комплекты абстрактных тестов, методы реализации и аттестационное тестирование. Части описаны в ГОСТ Р ИСО 10303-1. Настоящий стандарт входит в группу аттестационного тестирования.

Настоящий стандарт является основополагающим в ряду стандартов данной группы, определяющих основы и основные положения аттестационного тестирования реализации, заявленных на соответствие стандартам серии ГОСТ Р ИСО 10303. Настоящий стандарт частично основан на материалах ГОСТ Р ИСО/МЭК 9646-1, который выполняет те же функции по отношению к аттестационному тестированию взаимосвязи открытых систем (ВОС). Основные положения указанного стандарта в представленном документе адаптированы применительно к рассматриваемой области. Настоящий стандарт играет ту же роль для данной группы стандартов, что и ГОСТ Р ИСО/МЭК 9646-1 применительно к стандартам серии ГОСТ Р ИСО/МЭК 9646. Последующие стандарты рассматриваемой группы серии ГОСТ Р ИСО 10303 также основаны на соответствующих стандартах серии ГОСТ Р ИСО/МЭК 9646. Настоящий стандарт применим не только к структурам обмена, но и к другим методам реализации. Последующие части рассматриваемой группы стандартов предназначены для установления услуг аттестационного тестирования в отношении:

- требований к испытательным лабораториям (ИЛ) и их клиентам (ГОСТ Р ИСО 10303-32);

- комплектов абстрактных тестов;

- методов абстрактного тестирования (ИСО 10303-34).

В настоящем стандарте отражены основные аспекты ряда международных и региональных стандартов, а также:

a) Руководства ИСО/МЭК 2 [1];

b) Руководства ИСО/МЭК 25 [2];

c) Руководства ИСО/МЭК 38 [3];

d) Руководства ИСО/МЭК 40 [4];

e) Руководства ИСО/МЭК 42 [5];

f) Руководства ИСО/МЭК 43 [6];

g) Руководства ИСО/МЭК 45 [7].

Цели обмена данными об изделии не могут быть полностью реализованы до тех пор, пока конкретные системы не будут испытаны (протестированы) на соответствие стандартам по обмену данными об изделиях. Подобный подход целенаправленно реализуется при определении услуг аттестационного тестирования применительно к реализациям стандартов серии ГОСТ Р ИСО 10303. Настоящий стандарт является основополагающим по отношению к другим стандартам группы аттестационного тестирования серии ГОСТ Р ИСО 10303, необходимым для определения конкретных услуг аттестационного тестирования, удовлетворяющих нуждам промышленности.

Аттестационное тестирование является видом (типом) испытаний, определяющим, как должно проводиться испытание (тестирование) заявленного изделия на соответствие установленным стандартным характеристикам для выявления, в какой степени изделие является подходящей стандартной реализацией. Данное тестирование охватывает как проверку соответствия реализации изделия установленным стандартами требованиям, так и заявленным клиентом возможностям данной реализации.

Комплект абстрактных тестов устанавливается для каждого прикладного протокола, определенного стандартами серии ГОСТ Р ИСО 10303, применяется поставщиками и реализаторами (производителями) изделий при внутреннем тестировании, пользователями (потребителями) данных изделий или другими третьими сторонами (тестирующими организациями). Использование данного комплекта должно обеспечивать сравнимость и признание отчетов о выполненных испытаниях (тестировании) и тем самым минимизировать потребность в аттестационном тестировании той же системы.

При стандартизации комплектов абстрактных тестов необходимо определение и принятие на международном уровне общей методологии тестирования, а также соответствующих методов и процедур тестирования. Целью стандартов данной группы серии ГОСТ Р ИСО 10303 является установление структуры конкретных наборов абстрактных тестов и определение процедур проведения соответствующего аттестационного тестирования.

В стандартах данной группы серии ГОСТ Р ИСО 10303 определяются детали подходящих методов тестирования, однако любая организация, намеривающаяся использовать данные методы, должна учитывать соответствующие ограничения по их применению.

Аттестационное тестирование не охватывает некоторые виды (типы) тестирования, предназначенные для реализаций стандартов серии ГОСТ Р ИСО 10303. Данные виды включают испытания на живучесть (устойчивость) и взаимодействие, приемочные испытания и тестирование рабочих характеристик. Эти методы испытания (тестирования) не входят в аттестационное тестирование, потому что для них отсутствуют необходимые стандартные требования, на соответствие которым должно быть проведено тестирование. После получения результатов аттестационного тестирования могут быть проведены дополнительные испытания.

По результатам аттестационного тестирования не выдают заключений ни о том, как система реализована, насколько она надежна, как она обеспечивает любую запрашиваемую услугу, ни о среде реализации системы. Этим тестированием прямо ничего не проверяют в отношении логической реализации стандартов в данной системе.

Аттестационное тестирование не достаточно для гарантирования взаимодействия, однако оно повышает вероятность того, что различные реализации будут взаимодействовать. Для взаимодействия двух реализаций необходимо, чтобы они обеспечивали соответствующие варианты (опции) заданного прикладного протокола.

Сложность большинства стандартов не позволяет реализовать полное тестирование реализаций с экономической и технической точек зрения. По той же причине невозможно полное тестирование конкретной реализации, подтверждающее ее корректность. Формально проведенное тестирование не гарантирует соответствия реализации конкретному стандарту, так как оно не определяет всех ошибок в данной реализации. Аттестационное тестирование дает гарантии того, что реализация обеспечивает конкретные функциональные возможности.

Примечания

1 Основная часть стандарта дополнена следующими приложениями:

- А - описывающим идентификатор данного стандарта как информационного объекта;

- В - устанавливающим дополнительные (факультативные) требования к реализациям;

- С - описывающим контрольные тесты;

- D - содержащим рекомендации по адаптации национальных программ аттестационного тестирования к требованиям международных стандартов серии ИСО 10303;

- Е - содержащим список дополнительных публикаций, связанных с настоящим стандартом.

2 Сведения о дополнительных рабочих материалах ИСО ТК 184, относящихся к настоящему стандарту, указаны в [8-11].

     1 Область применения

Настоящий стандарт, открывающий группу стандартов по аттестационному тестированию, определяет общую методологию и основы тестирования реализации на соответствие стандартам серии ГОСТ Р ИСО 10303. В процессе аттестационного тестирования реализация называется тестируемой реализацией (ТР, IUT - implementation under test).

Примечание - На рисунке 1 представлена связь между различными стандартами и некоторыми понятиями аттестационного тестирования. Роли других стандартов серии ГОСТ Р ИСО 10303 установлены в ГОСТ Р ИСО 10303-1.

Рисунок 1 - Взаимосвязь между стандартами по аттестационному тестированию и другими группами серии ГОСТ Р ИСО 10303

     1.1 Назначение стандартов по аттестационному тестированию

Данные стандарты должны применяться на различных этапах аттестационного тестирования, для которых характерны следующие основные работы:

a) определение комплектов абстрактных тестов для прикладных протоколов, установленных в соответствующих стандартах серии ГОСТ Р ИСО 10303;

b) определение методов абстрактного тестирования для методов реализации, установленных в соответствующих стандартах серии ГОСТ Р ИСО 10303;

c) оценка соответствия, выполняемая испытательной лабораторией для клиента, и отчет об аттестационном тестировании.

     1.2 Назначение настоящего стандарта

Настоящий стандарт должен использоваться при проведении всех перечисленных в 1.1 работ, обеспечивая потребности в исходных сведениях для проведения этих работ, нормативные требования к каждому стандарту данной группы и определяя общие термины и положения.

     1.3 Описание стандартов данной группы

В группе стандартов по аттестационному тестированию установлены требования к процедурам, выполняемым при аттестационном тестировании на соответствие стандартам серии ГОСТ Р ИСО 10303, и рекомендации по применению данных процедур. Стандарты данной группы содержат только информацию, необходимую для достижения следующих целей:

a) гарантирования подходящего уровня достоверности в том, что проводимые испытания (тестирования) обеспечивают соответствие реализации;

b) гарантирования сопоставимости результатов соответствующих тестирований, выполненных в разных местах и в разное время;

c) обеспечения взаимодействия между сторонами, отвечающими за работы, описанные в а) и b).

Стандарты данной группы не содержат требований к договорам (контрактам) на продукцию и ее закупку.

Проведение тестирования посредством методов, специфичных для конкретных приложений или систем, стандартами данной группы не описывается.

Настоящий стандарт устанавливает общие положения в части реализуемых тестовых наборов. В свою очередь данные наборы, исходя из их различного характера, не могут быть стандартизованы, следовательно стандарты данной группы требования к ним не устанавливают.

     1.4 Описание настоящего стандарта

Настоящий стандарт содержит основополагающие материалы, которые детализируются в других стандартах данной группы, охватывающих:

a) трактовку смысла соответствия в контексте стандартов серии ГОСТ Р ИСО 10303;

b) описание видов основных и вспомогательных тестирований (испытаний);

c) введение в процесс оценки соответствия;

d) введение в методы абстрактного тестирования и их использование;

e) общие положения по проектированию комплектов абстрактных тестов.

В настоящем стандарте не определены процедуры тестирования на соответствие реализации стандартам серии ГОСТ Р ИСО 10303, но они описаны в ИСО 10303-34.

Настоящий стандарт не охватывает следующие виды тестирования (испытания):

- приемочные испытания (у пользователя) для определения соответствия реализации критериям приемки и решения пользователем вопроса о приемке системы. Данный процесс включает планирование и выполнение испытаний нескольких видов (например, функциональных, а также проверки размера системы и ее рабочих характеристик) для демонстрации, что внедряемые программные средства удовлетворяют требованиям пользователя;

- испытание на совместимость, связанное с приемочным испытанием, но используемое для проверки обмена информацией между двумя ТР и ее распределения между ними, а также для проверки способности каждой ТР использовать такую информацию;

- проверка рабочих характеристик для измерения рабочих характеристик ТР, таких как производительность, время реакции (отклика), количество обслуживаемых ею сообщений (транзакций) и ее чувствительность к различным условиям (средам);

- испытания на устойчивость для определения, насколько хорошо ТР обрабатывает данные, содержащие ошибки.

В приложении D определены основы сертификации (формальной процедуры, завершающей аттестационное тестирование). Однако требования к проведению сертификации или аттестационного тестирования реализации на соответствие стандартам серии ГОСТ Р ИСО 10303 отсутствуют.

     2 Нормативные ссылки

В настоящем стандарте использованы ссылки на следующие стандарты:

ГОСТ Р ИСО/МЭК 8824-1-2001 Информационная технология. Абстрактная синтаксическая нотация версии один (АСН.1). Спецификация основной нотации