ФЕДЕРАЛЬНАЯ СЛУЖБА ПО НАДЗОРУ В СФЕРЕ ОБРАЗОВАНИЯ И НАУКИ
ПИСЬМО
от 16 марта 2018 года N 05-71
О направлении рекомендаций по повышению объективности оценки образовательных результатов
Федеральная служба по надзору в сфере образования и науки (Рособрнадзор) с целью повышения эффективности системы оценки качества образования путем формирования среди всех участников образовательных отношений устойчивых ориентиров на методы и инструменты объективной оценки образовательных результатов обучающихся направляет для использования в работе органов исполнительной власти субъектов Российской Федерации, осуществляющих государственное управление в сфере образования, а также органов исполнительной власти, осуществляющих переданные полномочия Российской Федерации в сфере образования, рекомендации по повышению объективности оценки образовательных результатов (далее - рекомендации).
Данные рекомендации могут быть использованы для формирования и совершенствования региональной стратегии развития образования, подготовки программ развития, планирования деятельности в области оценки качества образования, а также подготовки рекомендаций и других документов для муниципальных органов власти и для образовательных организаций общего образования.
Меры, указанные в настоящих рекомендациях, могут быть применены как при проведении оценочных процедур федерального уровня (например, всероссийских проверочных работ), так и при проведении оценочных процедур регионального и муниципального уровней, а также при проведении отдельных оценочных процедур на уровне образовательных организаций.
Заместитель руководителя
А.А.Музаев
Рекомендации по повышению объективности оценки образовательных результатов
Общие положения
Целью настоящих методических рекомендаций является повышение эффективности системы оценки качества образования путем формирования среди всех участников образовательных отношений устойчивых ориентиров на методы и инструменты объективной оценки образовательных результатов обучающихся.
Повышение объективности оценки образовательных результатов может быть достигнуто только в результате согласованных действий на всех уровнях управления образованием: федеральном, региональном, муниципальном, а также на уровне образовательных организаций.
Данные рекомендации адресованы органам исполнительной власти субъектов Российской Федерации, осуществляющим государственное управление в сфере образования, а также органам исполнительной власти, осуществляющим переданные полномочия Российской Федерации в сфере образования, и могут быть использованы для формирования и совершенствования региональной стратегии развития образования, подготовки программ развития, планирования деятельности в области оценки качества образования, а также подготовки рекомендаций и других документов для муниципальных органов власти и для образовательных организаций.
Меры, указанные в настоящих рекомендациях, могут быть применены как при проведении оценочных процедур федерального уровня (например, всероссийских проверочных работ), так и при проведении оценочных процедур регионального и муниципального уровней, а также при проведении отдельных оценочных процедур на уровне образовательных организаций.
Описание мер, направленных на повышение объективности оценки образовательных результатов
Основные подходы
Для повышения объективности оценки образовательных результатов рекомендуется организовать комплексные мероприятия по трем направлениям:
1. Обеспечение объективности образовательных результатов в рамках конкретной оценочной процедуры в образовательных организациях.
2. Выявление ОО с необъективными результатами и профилактическая работа с выявленными ОО.
3. Формирование у участников образовательных отношений позитивного отношения к объективной оценке образовательных результатов.
Наиболее эффективным является комплексное сочетание всех трех подходов и создание на их основе действенной системы, при которой все участники образовательных отношений заинтересованы в объективной оценке образовательных результатов, и одновременно принимаются всесторонние меры для обеспечения объективности результатов при проведении всех мероприятий по оценке качества образования.
Ниже представлено более детальное описание каждого подхода.
Подход 1: обеспечение объективности образовательных результатов в рамках конкретной оценочной процедуры в образовательных организациях
Для обеспечения возможности получения в рамках конкретной оценочной процедуры объективных результатов необходимо выполнение следующих условий.
1. Наличие описания оценочной процедуры, закрепляющего соответствие этой оценочной процедуры следующим принципам:
а. использование научно обоснованной концепции и качественных контрольных измерительных материалов;
б. применение единых организационно-технологических решений, мер защиты информации;
в. привлечение квалифицированных специалистов на всех этапах;
г. устранение конфликта интересов в отношении всех специалистов, привлеченных к проведению оценочной процедуры.
2. Организация на региональном и/или муниципальном уровнях контроля соблюдения всех положений и регламентов, приведенных в описании оценочной процедуры. Контроль может, в том числе, осуществляться посредством:
а. привлечения независимых, общественных наблюдателей;
б. выезда в пункты проведения представителей муниципальных и региональных ОИВ;
в. организации видеонаблюдения и т.п.
Условие отсутствия конфликта интересов означает, в том числе, что необходимо соблюдать следующие требования:
- в качестве наблюдателей не могут выступать родители учащихся класса, который принимает участие в оценочной процедуре;
- учитель, ведущий данный предмет и работающий в данном классе, не должен выступать организатором работы и участвовать в проверке работ;
- проверка работ должна проводиться по стандартизированным критериям с предварительным коллегиальным обсуждением подходов к оцениванию.
Более детально рекомендации по организации и проведению независимых процедур оценки качества образования представлены в приложении 1.
Указанные условия соблюдены при проведении единого государственного экзамена, национальных исследований качества образования (НИКО), международных сравнительных исследований.
При организации каждой оценочной процедуры регионального и/или муниципального уровней необходима разработка аналогичного описания на основании рекомендаций, содержащихся в приложении 1, а также контроль соблюдения всех положений и регламентов разработанного описания.
При организации всероссийских проверочных работ необходима разработка регионального регламента их проведения, типовых регламентов для ОО, касающихся вопросов проведения ВПР в ОО и обеспечения объективности результатов, а также контроль соблюдения всех принятых регламентов.
Примечание. Выполнение указанных условий для ВПР в части контроля является весьма ресурсоемким, поскольку требует направления в ОО независимых наблюдателей для проведения самих процедур и привлечения независимых экспертов для оценки работ участников ВПР. В связи с этим данный подход в рамках ВПР может быть применен только в ограниченном количестве ОО. В остальных ОО рекомендуется применять сочетание второго и третьего подходов, представленных ниже.
Подход 2: выявление ОО с необъективными результатами и профилактическая работа с выявленными ОО
Выявление ОО с необъективными результатами оценочной процедуры федерального или регионального уровня может осуществляться аналитическими методами, с использованием:
- оценки доверительного интервала среднего балла для ОО относительно группы ОО из данного региона;
- оценки доверительного интервала процента выполнения каждого задания по каждой ОО, участвовавшей в оценочной процедуре, относительно контрольной выборки ОО;
- сравнения результатов ОО с результатами ОО контрольной группы, с учетом контекстных данных об ОО;
- сравнения уровня результатов оценочной процедуры в ОО с уровнем результатов ЕГЭ с учетом контекстных данных об ОО;
- других подходов.
Примечания.
Контрольная выборка ОО включает те ОО, в которых реализован первый подход или хотя бы обеспечено присутствие независимых наблюдателей на всех стадиях проведения оценочной процедуры. Поскольку контрольная выборка ОО должна быть достаточно большой (не менее 150 ОО), ее формирование возможно только в случае проведения массовых оценочных процедур, например, ВПР или региональных оценочных процедур с участием большинства ОО региона.
При использовании статистических методов выявления ОО с необъективными результатами может быть применен кластерный подход.
Признаком необъективности оценивания образовательных результатов в ОО может также служить наличие выпускников ОО, получивших золотые медали и имеющих низкие результаты ЕГЭ.
В случае обнаружения признаков недостоверности результатов в ОО рекомендуется:
- осуществить перепроверку результатов;
- в случае подтверждения недостоверности результатов выработать комплекс мер в отношении данной ОО.
Подход 3: формирование у участников образовательных отношений позитивного отношения к объективной оценке образовательных результатов
Для формирования у участников образовательных отношений позитивного отношения к объективной оценке образовательных результатов, рекомендуется применять следующие меры:
- реализовывать в приоритетном порядке программы помощи ОО с низкими результатами, программы помощи учителям, имеющим профессиональные проблемы и дефициты, руководителям ОО, в которых есть проблемы с организацией образовательного процесса и т.п.; во всех перечисленных случаях применять меры административного воздействия, только если программы помощи не приводят к позитивным сдвигам в результатах;
- использовать для оценки деятельности педагога результаты, показанные его учениками (в независимых оценочных процедурах, соответствующих рекомендациям приложения 1) только по желанию педагога;
- способствовать повышению заинтересованности ОО в использовании объективных результатов региональных и федеральных оценочных процедур;
- проводить разъяснительную работу с муниципальными органами управления образованием и руководителями ОО по вопросам повышения объективности оценки образовательных результатов и реализации перечисленных выше мер.
Важным механизмом обеспечения объективности оценивания является внутришкольная система оценки образовательных результатов, способствующая эффективному выполнению педагогами трудовой функции "по объективной оценке знаний обучающихся на основе тестирования и других методов контроля в соответствии с реальными учебными возможностями детей". Элементами такой системы в ОО являются, в том числе:
_________________
* Вероятно, ошибка оригинала. Следует читать "от 18.10.2013". - Примечание изготовителя базы данных.
- положение о внутренней системе оценки качества подготовки обучающихся;
- система регулярных независимых оценочных процедур, объективность результатов которых обеспечивает руководство ОО;
- принятые в ОО прозрачные критерии внутришкольного текущего и итогового оценивания, обеспечивающие справедливую непротиворечивую оценку образовательных результатов обучающихся;
- непрерывный процесс повышения квалификации учителей в области оценки результатов образования, включающий не только обучение на курсах повышения квалификации, но и внутришкольное обучение и самообразование;
- проведение учителями и методическими объединениями аналитической экспертной работы с результатами оценочных процедур.
Приложение 1
Рекомендации по организации и проведению независимых процедур оценки качества образования
Общие положения
Важнейшим условием эффективного использования результатов оценочной процедуры является обеспечение на всех стадиях разработки, подготовки и проведения оценочной процедуры определенных условий, в том числе, обеспечения валидности инструментария по отношению к тому, что оценивается, и надежности процедур (разработки инструментария, проведения самих процедур, обработки и анализа результатов). Другим важным условием, позволяющим проводить эффективный анализ результатов оценочных процедур, является наличие четкого описания этих процедур, позволяющего точно интерпретировать полученные результаты.
В методических рекомендациях изложены основные принципы, которым должны удовлетворять подготовка и проведение оценочных процедур, разработка инструментария для их проведения. Указанные принципы направлены на обеспечение объективности результатов оценочных процедур и эффективности их использования в целях принятия на их основе управленческих решений.
Настоящие рекомендации могут быть использованы при формировании системы оценки качества образования на уровне субъекта Российской Федерации, муниципалитета или на уровне образовательной организации.
Инструктивно-методическое обеспечение процедур оценки качества образования
