Казалось бы, что может быть сложного в том, чтобы оценить эффективность образовательного процесса в московских школах. Уже существует рейтинг вклада школ Москвы в качественное образование московских школьников от Департамента образования и науки, которым оценивают «успешность» школ столицы. Над методикой его расчета поработали специалисты. Чем он не устраивает? Перечислю наиболее очевидные его недостатки:
- «Официальный» рейтинг рассчитывается, как сумма очков всех учеников школы, и не учитывает размер школы. То есть школы находятся в неравных условиях. Например, у лицея ВШЭ 1800 учеников, а у школы № 179 350 учеников в 9-11 классах.
- Наличие в рейтинге компонент, не имеющих отношения к качеству учебного процесса: количество детей инвалидов, хулиганов с примерным поведением, любительский спорт, переходы из младших классов и т. п.
- Лидеры этого рейтинга проводят наборы учеников, начиная с 6-7 классов, а некоторые и с 9-10 по конкурсу. В результате этого отбора контингент учащихся получается намного сильнее, чем в обычных школах, куда приходят первоклассники без конкурсного отбора. Очевидно, что такие «топовые» школы будут получать более высокие результаты на ОГЭ и ЕГЭ и побеждать в олимпиадах.
Но как определить где есть вклад школ в развитие академических знаний своих учеников, а где результат определяется качественным набором? Показывали бы эти ученики результаты хуже, если бы учились в обычных школах? Официальные рейтинги не могут дать ответа на этот вопрос. Каков именно вклад школьных учителей в то, что их ученики становятся победителями и призерами школьных олимпиад? Есть ли статистически значимая закономерность, ради которой стоит переходить в такие школы или талант в любой школе пробьется? Мне не удалось найти ответов на эти вопросы, основанные на анализе фактических данных. Именно поэтому захотелось найти ответ на эти вопросы самостоятельно.
Что будем анализировать?
Результаты ОГЭ и ЕГЭ анализировать бессмысленно. Дети сдают их один раз в жизни и посмотреть их прогресс по этим результатам невозможно. Более подходящим источником являются результаты Всероссийской олимпиады школьников (ВОШ). Участники олимпиад, как правило, принимают участие в этих олимпиадах в течение 7-11 классов, то есть можно сравнить их достижения и прогресс за 5 лет. Эти данные находятся в открытом доступе. Все участники олимпиад решают одинаковые задания по каждому предмету, поэтому эти результаты дают возможность сравнивать достижения школьников.
Гипотеза
«Топовые» школы имеют лучшие методики преподавания, поэтому результаты их учеников во ВОШ должны улучшаться больше, чем у среднестатистического ученика.
Как это можно проверить?
Предварительно были рассчитаны рейтинги всех участников ВОШ от московских школ за последние 5 лет, которые становились призерами, начиная с муниципального этапа олимпиады. Сравнивать достижения учеников удобнее по такому показателю, как среднее количество набранных баллов за один предмет. Ведь в один год ученик может принять участие в одной олимпиаде, а в другой год в трех олимпиадах по разным предметам. Для больших выборок такой подход неплохо работает.
Далее следуем следующему алгоритму:
- Выбираем участников олимпиады, которые есть в списках олимпиадников два года подряд, например, 2018 и 2019.
- Рассчитываем средний результат для 7-10 классов по отдельности для 2018 года и для тех же школьников, но уже в 8-11 классах в 2019 году.
- Определяем средний прогресс рейтинга для каждого класса.
- Аналогичный расчёт проделываем для 2014-2015, 2015-2016, 2016-2017, 2017-2018 годов.
- В итоге получаем средний прогресс для олимпиадных достижений всех участников от московских школ.
- Далее проделываем аналогичный расчет, но уже с выборкой учеников отдельно по каждой школе. Важно, что учитываются только те ученики, которые не меняли школу между олимпиадными годами. Получаем прогресс олимпиадных достижений учеников каждой школы.
- Вычитаем из прогресса учеников каждой школы средний прогресс всей совокупности олимпиадников.
Если после этого у школы остается положительный результат, то налицо более эффективное обучение в школе по сравнению со средним уровнем московского образования. Если отрицательный результат, то обучение хуже среднего. Нулевой уровень соответствует среднему по городу.
В таблице ниже приведен пример расчета прогресса результатов участников всероссийской олимпиады между 2014-2015 и 2015-2016 учебными годами:
Рассмотрим первую строчку таблицы. В 2014-2015 учебном году 3332 7-классника становились призерами как минимум муниципального этапа ВОШ. Эти же 3332 ученика в следующем учебном году (2015-2016), когда учились уже в 8 классе также становились призерами этапов всероссийской олимпиады. В 7 классе они суммарно набрали 3379 очков в рейтинговом зачете, приняли участие в 6000 олимпиад по отдельным предметам, что дало результат 0.563 балла/предмет. В 8 классе они набрали 4084 баллов, приняли участие в 6833 олимпиадах по предметам, итоговый результат 0.598 балл/предмет. Прогресс в рейтинге за этот год для всей группы равен 0.035 балла. Другие 3 строчки показывают результаты расчета для олимпиадников при переходе из 8 в 9, из 9 в 10, из 10 в 11 классы.
Итоговый расчет прогресса в рейтинге за последние 5 лет представлен в таблице ниже:
Хорошо видно, что для выборок в несколько тысяч участников значения прогресса получаются довольно стабильными из года в год, меняются в небольших пределах. Наибольший прогресс происходит при переходе из 8 в 9 класс, что объяснимо, так как с 9 класса все ученики могут принимать участие в региональном этапе ВОШ, где можно набрать существенно больше очков в олимпиадном рейтинге.
Далее проведены расчеты для учеников каждой школы в отдельности и полученный прогресс результатов сравнивается со средним прогрессом для всех участников олимпиады. Для начала посмотрим на результаты крупных школ (от 70 олимпиадников по всем классам).
Лидером среди крупных олимпиадных школ Москвы по прогрессу своих учеников за последние 5 лет является школа № 1252, основные успехи которой приходятся на олимпиаду по испанскому языку. На втором месте с приличным отрывом от остальных находится школа № 179. Прогресс рейтинга ее учеников за рассматриваемые 5 лет превышает средний по городу (который равен 0,86) на 1,111. Третье место у школы № 57 со значением 0,75, далее школа №1535 с показателем 0,712 и школа №1543 с 0,665. Шестое место у Лицея Вторая школа с 0,665. Прогресс учеников этих школ во ВОШ позволяет с уверенностью говорить о наличии образовательных методик, позволяющих добиваться лучших результатов по сравнению с другими московскими школами.
Также данная методика позволяет судить об изменениях в качестве образования школ. Посмотрим на результаты школы Интеллектуал: 0,946 -> 1,054 -> 0,358 -> -0,354. До конца 2017 года школа показывала отличный результат, была на 4 месте по рассматриваемому показателю. Однако последние 2 года ее результаты резко пошли вниз. Последний год даже хуже среднего московского показателя. Сразу видно, что в школе произошли серьезные изменения, которые отразились на качестве ее образования. Школа № 1514: 0,73 -> 0,528 -> 0,316 -> 0,013. Три года последовательного ухудшения результатов, в итоге из успешной школы скатилась на уровень середняка. Школа № 218: 0,496 -> 0,216 -> -0,257 -> 0,008. Качество образования уступало школе № 1514, но теперь сопоставимы. У школы № 1329 немного другая ситуация. В 2017-2018 олимпиадном году ее ученики показали слабый результат. Очевидно были явные проблемы в учебном процессе, которые выразились в уходе нескольких учителей и огромного количества учеников по итогам года. Однако, когда все недовольные ушли, результаты стали значительно лучше. В 2018-2019 году был отличный прогресс в олимпиадных результатах: 0,963 (на уровне школы № 179). Есть положительная динамика у школы № 1557: -1,009 -> -0,048 -> 0,103 -> 0,444. Остальные известные школы из этого списка существенно уступают лидерам.
В таблице ниже представлен более полный список школ, для которых есть достаточное количество данных. Следует иметь в виду, что при маленьком количестве олимпиадников в классе, могут быть существенные выбросы, которые искажают картину.
В некоторых школах нет полного набора классов (7-11), поэтому общий прогресс получен только по имеющимся классам. К таким школам относится, например, лицей ВШЭ (sch779646) — прогресс для 10->11 класса 0,278 более чем в 2 раза больше среднего по Москве для этих классов (0,227). Для СУНЦ МГУ (sch779318) прогресс между 10 и 11 классами превышает средний по Москве на 0,336 и есть тенденция роста результатов: 0,218 — 0,271 — 0,385 — 0,473.
Выводы
Выдвинутая гипотеза подтвердилась результатами школьных олимпиад. Действительно существует группа ведущих школ, ученики которых показывают гораздо более высокий прогресс результатов, чем в среднем участники олимпиад из московских школ. Однако это группа школ небольшая. Многие школы, имеющие репутацию сильных школ, имеют средние по городу результаты. Ситуация с качеством учебного процесса может существенно меняться в школе даже за один год. Данная методика позволяет эффективно отслеживать эти изменения.
Такая методика анализа эффективности работы школы позволяет родителям осознанно выбирать школу для своих детей, если в приоритете именно качество учебного процесса, а не другие критерии. Аналогичный рейтинг прогресса учеников относительно среднего по городу можно строить отдельно для каждого предмета.