Пример формы отчета об аттестационном тестировании
Приведенный в настоящем приложении пример формы соответствует только тестированию препроцессора или постпроцессора из стандартов серии ГОСТ Р ИСО 10303 (ИСО 10303), но может быть адаптирован для других методов реализации. Для препроцессора или постпроцессора из стандартов серии ГОСТ Р ИСО 10303 (ИСО 10303) могут потребоваться отдельные отчеты, для которых соответственно должна быть использована данная форма. При необходимости в отчете может быть приведена дополнительная информация.
Предварительная информация
Введение
Данный раздел включен для помощи читателям в понимании процесса, приведшего к созданию именно такого содержания отчета об аттестационном тестировании.
Аттестационное тестирование
Аттестационное тестирование определяется как "тестирование заявленного изделия по конкретным характеристикам (требованиям), установленным в стандарте, для определения степени, в которой данное изделие является реализацией, соответствующей стандарту".
Область применения аттестационного тестирования не охватывает:
- испытания на устойчивость: тестирование, насколько хорошо ТР восстанавливается в разных ошибочных условиях;
- испытания на совместимость: тестирование, могут ли реально взаимодействовать две ТР и если нет, то почему;
- приемочные испытания пользователя: тестирование, удовлетворяет ли ТР требованиям заказчика к программному обеспечению, с использованием функциональных, общих и рабочих испытаний;
- проверку рабочих характеристик: измерение рабочих характеристик ТР, таких как ее производительность и чувствительность (реакция) при различных условиях.
Результаты аттестационного тестирования обеспечивают соответствующую основу для проведения дополнительных типов испытаний.
Когда ТР является препроцессором стандартов серии ГОСТ Р ИСО 10303 (ИСО 10303), клиент отвечает за создание модели в ТС, генерирующей структуру обмена по ГОСТ Р ИСО 10303-21, могущую содержать объекты конкретного прикладного протокола из другого стандарта данной серии. Структура обмена затем проверяется на соответствие ГОСТ Р ИСО 10303-21 с вынесением конкретного вердикта, гарантирующего правильность препроцессорной обработки модели.
Критерий вердикта для тестирования препроцессора обязан охватывать проверку синтаксического и структурного соответствия структуры обмена ГОСТ Р ИСО 10303-21. Могут быть проведены дополнительные проверки для установления, что объекты и атрибуты придерживаются правильных значений и отношений в структуре обмена по ГОСТ Р ИСО 10303-21. Такие дополнительные проверки документально оформлены в абстрактном контрольном примере в качестве критерия вердикта.
Когда ТР является постпроцессором стандартов серии ГОСТ Р ИСО 10303 (ИСО 10303), клиент отвечает за создание модели в ТС, генерирующей внутренние форматы из общих форматов структуры обмена по ГОСТ Р ИСО 10303-21. ТС затем должна быть проверена с вынесением конкретного вердикта, гарантирующего правильность постпроцессорной обработки модели.
Критерий вердикта для тестирования постпроцессора обязан охватывать проверку, что конструктивы модели обеспечивают правильные значения и соотношения в ТС. Например, проверка должна подтверждать правильность содержания строки текста или корректность ее позиционирования в ТС.
В процессе аттестационного тестирования используется набор (серия) аттестационных тестов для ТР в контролируемой среде.
Если при тестировании установлена непригодность некоторых тестов, данные тесты и причины их неприменимости в данной ситуации должны быть указаны в соответствующем разделе настоящего отчета.
Стадии процесса
При создании настоящего отчета о тестировании клиентом и испытательной лабораторией используются четыре стадии:
- подготовка к тестированию: клиент при помощи форм ЗСРП и ДИРПТ представляет информацию о системе, вариантах, например наименованиях конструкций из стандартов серии ГОСТ Р ИСО 10303, создаваемых или используемых ТС, ограничениях по эксплуатации системы и подробностях способа создания или запроса соответствующих объектов в системе;
- самотестирование: испытательная лаборатория представляет клиенту серию контрольных примеров для проведения им тестирования собственной системы при поддержке данной лаборатории. Если клиент удовлетворен полученными результатами, то может быть начата тестовая кампания;
- тестовая кампания: на данной стадии подготавливают к тестированию систему в строго контролируемой среде и проводят серию соответствующих испытаний;
- отчет о тестировании: результаты проведенных испытаний анализируются испытательной лабораторией, и она готовит отчет о тестировании.
Содержания контрольных примеров отличаются на стадиях самотестирования и официальной тестовой кампании из-за использования в данных примерах разных параметров.