11.8.2.1 Цели
Цель данного подвида деятельности - сделать заключение, показывает ли свидетельство разработчика о покрытии тестами разработчика соответствие между тестами, идентифицированными в тестовой документации, и функциональной спецификацией.
11.8.2.2 Исходные данные
Свидетельствами оценки для данного подвида деятельности являются:
a) функциональная спецификация;
b) тестовая документация;
c) свидетельство о покрытии тестами.
11.8.2.3 Замечания по применению
Материалы анализа покрытия тестами, представляемые разработчиком, требуются для того, чтобы показать соответствие между тестами, предоставленными в качестве свидетельства оценки, и функциональной спецификацией. Однако нет необходимости в том, чтобы в материалах анализа покрытия было продемонстрировано, что все функции безопасности были подвергнуты тестированию или что все внешние интерфейсы ФБО были подвергнуты тестированию. Подобные недостатки, при наличии, должны быть рассмотрены оценщиком в процессе выполнения подвида деятельности по независимому тестированию (ATE_IND.2).
11.8.2.4 Действие ATE_COV.1.1E
11.8.2.4.1 Шаг оценивания 2:ATE_COV.1-1
ИСО/МЭК 15408-3 ATE_COV.1.1С: Свидетельство покрытия тестами должно показать соответствие между тестами, идентифицированными в тестовой документации, и описанием ФБО в функциональной спецификации.
Оценщик должен исследовать свидетельство о покрытии тестами, чтобы сделать заключение, является ли точным соответствие между тестами, идентифицированными в тестовой документации, и функциональной спецификацией.
Демонстрация соответствия может принимать форму таблицы или матрицы. Свидетельство о покрытии тестами, требуемое для рассматриваемого компонента, скорее покажет степень покрытия тестами, а не его полноту. В тех случаях, когда показана недостаточность покрытия, оценщику, чтобы это компенсировать, следует повысить уровень независимого тестирования.
На рисунке 8 отражена концептуальная структура соответствия между функциями безопасности, описанными в функциональной спецификации, и тестами, выделенными в тестовой документации для тестирования этих функций. Тесты могут затрагивать одну или несколько функций безопасности, что может быть обусловлено зависимостями тестов или общей целью выполняемого теста.
Рисунок 8 - Концептуальная структура свидетельства покрытия тестами
Идентификация тестов и функций безопасности, представленных в свидетельстве о покрытии тестами, должна быть однозначной, обеспечивая четкое соответствие между идентифицированными тестами и функциональной спецификацией тестируемых функций безопасности.
На рисунке 8 функция безопасности ФБ-3 не сопоставлена с какими бы то ни было тестами; следовательно, относительно функциональной спецификации покрытие тестами является неполным. Неполное покрытие, тем не менее, не будет влиять на вердикт по рассматриваемому подвиду деятельности, поскольку свидетельство о покрытии тестами не обязательно должно показывать полное покрытие тестами идентифицированных в функциональной спецификации функций безопасности.