1.1. Оценка качества осуществляется на всех этапах жизненного цикла ПС при:
планировании показателей качества ПС;
контроле качества на отдельных этапах разработки (техническое задание, технический проект, рабочий проект);
контроле качества в процессе производства ПС;
проверке эффективности модификации ПС на этапе сопровождения.
1.2. Оценка качества ПС представляет собой совокупность операций, включающих выбор номенклатуры показателей качества оцениваемого ПС, определение значений этих показателей и сравнение их с базовыми значениями.
1.3. Оценку качества проводят специалисты организаций:
разработчика - на этапах разработки ПС;
фондодержателя - на этапах приемки ПС в фонд;
испытательных центров и центров сертификации ПС - на этапах испытаний и внедрения;
изготовителя - на этапах тиражирования ПС;
пользователя - на этапах внедрения, сопровождения и эксплуатации ПС.
1.4. Основные задачи, решаемые при оценке качества ПС:
планирование уровня качества;
контроль значений показателей качества в процессе разработки и испытаний;
эксплуатационный контроль заданного уровня качества;
выбор базовых образцов по подклассам и группам;
методическое руководство разработкой нормативно-технических документов по оценке качества;
методическое руководство разработкой нормативно-технических документов по оценке качества.
1.5. Методы определения показателей качества ПС различаются:
по способам получения информации о ПС - измерительный, регистрационный, органолептический, расчетный;
по источникам получения информации - традиционный, экспертный, социологический.
1.5.1. Измерительный метод основан на получении информации о свойствах и характеристиках ПС с использованием инструментальных средств. Например, с использованием этого метода определяется объем ПС - число строк исходного текста программ и число строк - комментариев, число операторов и операндов, число исполненных операторов, число ветвей в программе, число точек входа (выхода), время выполнения ветви программы, время реакции и другие показатели.
1.5.2. Регистрационный метод основан на получении информации во время испытаний или функционирования ПС, когда регистрируются и подсчитываются определенные события, например, время и число сбоев и отказов, время передачи управления другим модулям, время начала и окончания работы.
1.5.3. Органолептический метод основан на использовании информации, получаемой в результате анализа восприятия органов чувств (зрения, слуха), и применяется для определения таких показателей, как удобство применения, эффективность и т.п.
1.5.4. Расчетный метод основан на использовании теоретических и эмпирических зависимостей (на ранних этапах разработки), статистических данных, накапливаемых при испытаниях, эксплуатации и сопровождении ПС. При помощи расчетного метода определяются длительность и точность вычислений, время реакции, необходимые ресурсы.
1.5.5. Определение значений показателей качества ПС экспертным методом осуществляется группой экспертов-специалистов, компетентных в решении данной задачи, на базе их опыта и интуиции.
Экспертный метод применяется в случаях, когда задача не может быть решена никаким другим из существующих способов или другие способы являются значительно более трудоемкими. Экспертный метод рекомендуется применять при определении показателей наглядности, полноты и доступности программной документации, легкости освоения, структурности.