Система показателей основана на анализе возможных видов деятельности в рамках каждой из задач Программы, а также мероприятий Программы, под которые разработаны показатели, характеризующие эффективность реализации Программы.
Задачами Программы являются:
модернизация дошкольного и общего образования как института социального развития;
приведение содержания и структуры профессионального образования в соответствие с актуальными потребностями рынка труда;
развитие системы оценки качества образования и востребованности образовательных услуг.
При решении задач подобного масштаба эффективность деятельности в полной мере можно оценить лишь в долгосрочном аспекте. Таким образом, логичным представляется производить оценку достигнутых результатов по обозначенным критериям в ежегодном разрезе (с учетом того, что большинство проектов, выполняемых в рамках Программы, предоставляют полноценные результаты по итогам года).
В рамках каждого из направлений выделяются целевые группы, на которые направлена работа по реализации мероприятий Программы, поскольку это отвечает критериям, обозначенным в Программе.
Такая система позволяет оценить в течение года, в каких направлениях ведется работа по решению задач Программы, каково соотношение финансирования по задачам, какова степень вовлеченности целевых групп в проекты, выполняемые в рамках Программы, насколько деятельность по проектам соответствует этапам Программы. Система агрегации данных позволяет также оценить реализацию задач Программы в региональном разрезе.
Для первого этапа наиболее важным представляется осуществление необходимых разработок по всем направлениям деятельности и целевым группам. В связи с этим оценку хода реализации Программы на первом этапе предлагается основывать на информации, полученной от исполнителей проектов, направленных на разработку необходимых инноваций, о степени вовлеченности целевых групп в разработку и апробацию.
Поскольку масштабное внедрение разработок возможно только после положительной оценки и утверждения каждой из необходимых и предусмотренных Программой инноваций, на данном этапе представляется целесообразным использование экспертных оценок в качестве критериев (вместо количественных показателей и индикаторов, которые целесообразно использовать на последующих этапах).
На втором этапе реализации, связанном с подготовкой ресурсной базы для успешного внедрения разработанных инноваций, представляется целесообразным введение детализации критериев оценки по ряду направлений и расчет целевых индикаторов и показателей, связанных с материально-техническим обеспечением структур в системе образования. Этот этап, связанный с масштабным внедрением разработок, полученных на первом этапе, а также с использованием инфраструктуры и ресурсной базы, возможно в полной мере оценивать с применением детализированных показателей и индикаторов Программы.
Поскольку на первом этапе реализации Программы предполагается в первую очередь разработка методик, механизмов и моделей, предлагается ввести универсальную схему оценки разработанных инноваций для учета их социально-экономической эффективности.
Далее инновационные разработки с краткими описаниями, а также приложениями в виде подробных отчетов о разработках и апробации представленных инноваций направляются в экспертную комиссию. В случае если предполагаются изменения на федеральном уровне, оценки производятся экспертами федерального уровня с привлечением необходимых экспертов на уровне регионов. Инновации на уровне региона могут быть предложены в качестве модели для внедрения и распространения на федеральном уровне, в этом случае в экспертную комиссию также направляются краткие описания инноваций, а также все доступные данные по апробации разработок.
Для оценки инноваций федерального уровня предлагается введение экспертной системы оценок, основанной на учете возможных социально-экономических эффектов от внедрения предлагаемых инноваций.
В рамках каждого из перечисленных критериев эксперты выставляют оценки в соответствии с утвержденной шкалой. Далее в зависимости от задач и мероприятий Программы каждому из критериев придается определенный вес в зависимости от актуальности критерия для соответствующих направлений деятельности (по решению экспертной комиссии). На основе экспертных оценок рассчитывается суммарная оценка по инновационной разработке. Далее экспертная комиссия делает заключение о целесообразности масштабного внедрения представленной разработки в рамках Программы и в виде рекомендации представляет государственному заказчику.
Кроме того, для разработок, предполагающих наиболее масштабное внедрение, необходимо привлечение региональных экспертов для оценки возможностей внедрения предлагаемой инновации с точки зрения условий конкретного субъекта Российской Федерации.
Таким образом, предполагается оценка социально-экономических последствий от возможной реализации стратегических разработок, которые в рамках Программы планируются на первом этапе. Поскольку целевые группы, используемые в ходе создания и апробации инновационных разработок подобного масштаба, не являются статистически значимыми величинами относительно всей системы образования, предполагается широкое использование экспертных оценок.
При этом важно отметить необходимость создания региональной сети экспертов, чье мнение будет формировать индикаторы для ряда наиболее значимых проектов, касающихся ключевых направлений преобразований в системе образования в целом.
Что касается поквартальной разбивки, предлагается оценивать количественные характеристики хода реализации проектов, направленных на решение задач Программы, на основе полученной от исполнителей проектов информации об охвате целевых групп (количество образовательных учреждений и структурных подразделений системы образования, численность лиц, входящих в целевые группы, на которых направлена реализация проектов, а также их доля в общей численности лиц, входящих в целевые группы). Данное предложение продиктовано попыткой сбора информации на пилотном этапе по запросам в структуры системы образования федерального и регионального уровней, а также из внешних источников.
Как показывает практика, поквартальный сбор данных затруднен в связи со структурой отчетности и порядком работы учреждений, являющихся источниками количественной информации (в частности, Федеральной службы государственной статистики), данные которых необходимы для проведения расчетов целевых индикаторов и показателей Программы.
Система целевых показателей и индикаторов Программы федерального уровня предполагает работу с данными не только в рамках системы образования, но также и вне ее, используя показатели занятости населения, трудоустройства и привлечения дополнительных ресурсов в сферу образования. Важность оценки таких показателей не вызывает сомнений, однако практика работ по проведению мониторинга Федеральной целевой программы развития образования на 2006-2010 годы, утвержденной постановлением Правительства Российской Федерации от 23 декабря 2005 года N 803, выявила отсутствие механизмов получения адекватных для расчета таких глобальных показателей данных.
Так, на федеральном уровне будут разработаны механизмы сбора данных для оценки внешних эффектов системы образования, связанных с оценкой успешности реализации проектов в сфере профессионального образования, ориентированных на удовлетворение запросов экономики в целом, через отслеживание состояния рынка труда (показатели безработицы среди экономически активного населения младше 30 лет, среднего срока поиска работы, трудоустройства выпускников, вовлеченности занятого населения в использование возможностей создаваемых внедрением системы непрерывного образования, сведения об обеспечении связи работодателей с учреждениями профессионального образования и т.д.).
В настоящее время единого источника данных о работе с внешними ресурсами и привлечении дополнительных средств в систему образования не существует. Что касается сбора данных о процессах внутри образовательной системы и эффективности реализации комплекса мер Программы, направленных на ее преобразование, необходимо создать механизмы сбора детальных и адекватных данных, которые охватывали бы все регионы и позволяли бы постоянно отслеживать ход внедрения Программы и воздействие комплекса реализуемых мер на систему образования при помощи использования современных информационных технологий и специализированной системы критериев, общей для всех субъектов Российской Федерации.
Ряд значений целевых индикаторов и показателей Программы может достигаться лишь за счет косвенного влияния проектов в рамках Программы (например, привлечение инвестиций и дополнительных ресурсов в сферу образования, трудоустройство выпускников и т. д.). Поэтому для получения более точных оценок целевого финансирования Программы введен ряд индикаторов, значения которых формируются исключительно вследствие реализации проектов Программы.
Для точной оценки хода реализации Программы (с ежеквартальной разбивкой) введен ряд индикаторов, характеризующих выполнение задач Программы с необходимой периодичностью. Это позволит представлять ежеквартальную отчетность на основании данных, получение которых не будет зависеть от внешних источников и возможных искажений вследствие несопоставимости или различий в форматах данных.