Вопрос выбора школы, особенно в старших классах, во многом зависит от оценки качества образовательного процесса в разных школах. К сожалению, официальные рейтинги школ дают очень мало к пониманию данного вопроса. Результаты ЕГЭ даются в очень странном виде: какая доля учеников преодолела порог в 160 и 220 баллов. То есть результат ученика 220 или 300 баллов учитывается одинаково. Не публикуется количество учеников, которые сдавали 3 экзамена, а только количество учеников, преодолевших установленные пороговые значения. Есть и другие недостатки. Поэтому многие родители больше доверяют олимпиадным рейтингам, которые показывают уровень знаний учеников по конкретным предметам. В этих рейтингах на ведущих позициях оказываются школы, где большая доля учеников выигрывает дипломы школьных олимпиад. И в эти школы родители стремятся отдать своих детей, рассчитывая получить более качественное образование. Естественно конкурс на поступление там выше и у школ есть возможность отбирать самых сильных учеников. Кто не смог поступить в самые престижные школы, переходят в школы попроще.
В результате такой системы поступления доля сильных учеников отличается в разных школах города. Соответственно, результаты олимпиад отражают это распределение, полученное при наборе. А хотелось бы получить информацию, какой прогресс происходит в результатах учеников в разных школах столицы. Действительно ли поступление в самые сильные школы позволяет получить более качественное образование, что можно оценить по прогрессу результатов учеников в школьных олимпиадах.
По данной теме ранее уже было проведено небольшое исследование. Но в нем были использованы грубые методы оценки прогресса результатов учеников во Всероссийской олимпиаде школьников (ВОШ). Перечислю некоторые недостатки этого исследования:
- для сравнения использовался средний результат всех учеников в олимпиаде от школы, а этот состав мог меняться
- если ученик становился призером, например, регионального этапа сначала по нижней, а затем по верхней границе, то это давало одинаковое количество баллов и прогресс оставался без оценки
- для анализа использовался показатель «среднее количество баллов за 1 предмет олимпиады». Допустим, ученик участвовал в одной олимпиаде и стал победителем, что дало 10 баллов. Если на следующий год он участвовал в 2 олимпиадах, повторил достижение по первому предмету (10 баллов) и стал призером муниципального этапа по второму (0.5 баллов), то его средний балл за 1 предмет составит 5.25. Получится, что он ухудшил свой результат, хотя на самом деле он стал даже лучше.
Для больших размеров выборки этот метод безусловно давал возможность сравнить достижения разных школ, но все-равно хотелось бы использовать более точные методы оценки. И вот в прошлом учебном году организаторы олимпиады впервые опубликовали списки победителей и призеров регионального этапа ВОШ не только со статусом (победитель, призер, участник), но и с количеством набранных баллов. Позднее они опубликовали эту информацию и за прошлые годы, начиная с 2010. Однако в этих списках отсутствует информация о логине участника олимпиады и номере его школы и получить ее возможно только сравнивая списки призеров со списками приглашенных участников по фамилии и инициалам. Логины участника в списках приглашенных опубликованы только начиная с 2014 года.
Объединив данные из этих двух списков, получаем результаты участников регионального этапа ВОШ за 6 лет с набранными баллами для победителей и призеров этого этапа. К большому сожалению организаторы олимпиады скрывают информацию по участникам, которые не получили дипломы, что не позволяет провести анализ результатов для 70% участников регионального этапа ВОШ.
Что будем анализировать?
Для победителей и призеров РЭ, которые получали свои дипломы по одному и тому же предмету 2 года подряд, можно оценить, как изменился результат через набранные баллы. То есть оценка прогресса будет производиться не по среднему показателю для группы учеников, а непосредственно по персональному прогрессу конкретного ученика в одном и том же предмете.
Очевидно, что в разные годы задания отличаются по сложности, да и максимальные баллы за разные годы участия тоже могут отличаться, поэтому все набранные баллы будут переводиться в единую шкалу от 0 до 100. Для этого результаты участников делятся на максимальный балл участника для данного предмета и класса участия. Далее полученный результат будет сравниваться со средним результатом всех победителей и призеров по данному предмету за нужный класс участия.
Поскольку в наличии есть результаты за последние 6 лет олимпиады, то можно посчитать прогресс результатов учеников за 5 периодов.
Методика расчета
- По нормированным баллам [0 — 100] для каждого предмета регионального этапа, класса участия [9, 10, 11] и года [2014, 2015, 2016, 2017, 2018, 2019] рассчитываем средний балл участников с дипломами РЭ.
- Выбираем участников олимпиады за 9 класс по математике, которые есть в списках победителей и призеров два года подряд, например, за 2018-2019 и 2019-2020 учебные годы.
- Для каждого выбранного участника рассчитываем разницу со средним баллом по математике, классу участия и году, определенному в п.1. (В данном примере: для 2018 года — 9 класс, для 2019 года — 10 класс)
- Таким образом получаем на сколько результат участника олимпиады изменился по отношению к среднему результату всех победителей и призеров по данному предмету и классу участия.
- Аналогичные расчеты проделываем за 10 класс, другим предметам и годам.
Результаты расчета
За 5 смен между учебными годами по всем предметам ВОШ было 4805 учеников, которые получили дипломы РЭ за 9 класс, а затем на следующий год также получили свои дипломы по этому же предмету. Эта совокупность учеников, которые 2 года подряд становились победителями и призерами регионального этапа олимпиады, набирали в 9 классе в среднем на 3.2 балла больше, чем все остальные участники с дипломами за 9 класс по данному предмету. В 10 классе их преимущество увеличивалось до 3.8 балла. Для 10 классников цифры получаются следующими: 5460 учеников, 2.2 балла преимущества в 10 классе и 3.2 балла преимущества в 11 классе.
Средний прогресс учеников на РЭ ВОШ
| Класс | Количество | 1й год | 2й год | Доля Up, % |
|---|---|---|---|---|
| 9 -> 10 | 4805 | 3.2 | 3.8 | 52.5 % |
| 10 -> 11 | 5460 | 2.2 | 3.2 | 54.0 % |
- колонка "Доля Up, %" показывает долю учеников, которые улучшили свой результат на следующий год
Полученные цифры дают представление о результатах всех учеников школ Москвы, которые смогли 2 года подряд получить диплом регионального этапа по одному и тому же предмету. Видно, что 2 года подряд получить дипломы РЭ могут ученики, которые сильнее среднего уровня призера данного этапа.
Сравнение результатов учеников на РЭ ВОШ у ведущих школ
После того, как было получено представление о том, как менялись результаты общей совокупности олимпиадников, получивших дипломы РЭ 2 года подряд, настало время оценить, как менялись результаты учеников ведущих школ Москвы. Нужно сказать, что в городе не так много школ, которые могут похвалиться наличием большого количества учеников, которые могут 2 года подряд получать дипломы регионального этапа ВОШ. Для отбора школ был использован следующий критерий: у школы должно было быть не менее пяти 9-классников и пяти 10-классников, которые получали дипломы РЭ за текущий и следующий год по одному и тому же предмету, как минимум в 4 из 5 рассматриваемых периодов. Таким критериям отбора соответствуют только 18 школ Москвы. Результаты по этим школам представлены ниже:
Результаты учеников 9-10 классов школ Москвы на РЭ ВОШ
| Школа | 1й год | 2й год | Количество | Доля,% |
|---|---|---|---|---|
| sch770218 | 1.9 | 0.7 | 54 | 50.0 |
| sch771502 | 2.0 | 1.2 | 37 | 48.6 |
| sch770171 | 2.5 | 4.0 | 50 | 50.0 |
| sch772007 | 2.7 | 3.1 | 110 | 50.9 |
| sch779001 | 3.3 | 6.6 | 38 | 57.9 |
| sch778179 | 3.3 | 4.4 | 246 | 54.5 |
| sch770057 | 3.5 | 4.9 | 211 | 56.4 |
| sch771567 | 3.8 | 4.7 | 38 | 55.3 |
| sch771543 | 3.8 | 3.6 | 122 | 52.5 |
| sch771599 | 4.1 | 2.3 | 67 | 44.8 |
| sch771252 | 4.9 | 3.2 | 86 | 41.9 |
| sch771535 | 4.9 | 4.5 | 122 | 50.8 |
| sch771514 | 5.2 | 3.9 | 97 | 45.4 |
| sch771568 | 5.4 | 4.5 | 88 | 48.9 |
| sch770002 | 7.3 | 7.9 | 227 | 52.4 |
| sch770192 | 7.6 | 3.5 | 51 | 29.4 |
| sch771329 | 7.9 | 7.6 | 146 | 51.4 |
| sch779004 | 8.0 | 8.8 | 142 | 45.8 |
- колонка "1й год" показывает разницу среднего балла учеников 9 класса школы со средним результатом всех учеников, выступавших за 9 класс по предмету ВОШ
- колонка "2й год" показывает разницу среднего балла тех же учеников школы по тому же предмету со средним результатом в своем классе участия на следующий год
- колонка "Количество" показывает общее количество учеников школы, по которым есть результаты для расчета за 2014-2019 годы
- колонка "Доля Up, %" показывает долю учеников, которые улучшили свой результат на следующий год
Изменение баллов из данной таблицы наглядно видно на гистограмме ниже.
Лучше всего выглядят результаты олимпиадников 9-10 классов трех школ: Интеллектуал (sch779004), № 1329 и Лицея Вторая школа. Их ученики набирали на РЭ ВОШ примерно на 3 балла больше по 100-бальной шкале, чем ученики следующих за ними школ. У школы № 192 9-классники показывали также хороший результат, но на следующий год они выступали значительно хуже: -4 балла и только 29.4% учеников улучшали прошлогодние достижения. Возможно это связано с маленьким количеством данных по школе, только 51 ученик за 5 лет показал 2 года подряд результат в РЭ за 9-10 классы.
Результаты учеников 10-11 классов школ Москвы на РЭ ВОШ
| Школа | 1й год | 2й год | Количество | Доля,% |
|---|---|---|---|---|
| sch771568 | -0.1 | 2.1 | 61 | 57.4 |
| sch770171 | 0.3 | 3.9 | 82 | 64.6 |
| sch771502 | 0.4 | 2.7 | 33 | 63.6 |
| sch771599 | 1.4 | 2.5 | 71 | 53.5 |
| sch779001 | 1.9 | 4.1 | 36 | 63.9 |
| sch771567 | 2.0 | 5.1 | 41 | 56.1 |
| sch770192 | 2.6 | 4.2 | 49 | 53.1 |
| sch771535 | 2.7 | 4.0 | 165 | 53.3 |
| sch771543 | 2.9 | 5.2 | 131 | 57.3 |
| sch771252 | 3.0 | 2.6 | 83 | 48.2 |
| sch771514 | 3.0 | 2.3 | 100 | 49.0 |
| sch770057 | 3.3 | 3.1 | 154 | 52.6 |
| sch770218 | 4.0 | 6.8 | 58 | 62.1 |
| sch770002 | 4.5 | 4.8 | 164 | 49.4 |
| sch772007 | 4.6 | 3.5 | 69 | 49.3 |
| sch778179 | 4.8 | 4.8 | 200 | 48.5 |
| sch779004 | 4.8 | 3.3 | 83 | 41.0 |
| sch771329 | 6.9 | 5.9 | 95 | 44.2 |
- колонка "1й год" показывает разницу среднего балла учеников 10 класса школы со средним результатом всех учеников, выступавших за 10 класс по предмету ВОШ
- колонка "2й год" показывает разницу среднего балла тех же учеников школы по тому же предмету со средним результатом в своем классе участия на следующий год
- колонка "Количество" показывает общее количество учеников школы, по которым есть результаты для расчета за 2014-2019 годы
- колонка "Доля Up, %" показывает долю учеников, которые улучшили свой результат на следующий год
Интересные результаты получаются по прогрессу олимпиадников в 11 классе. Как видно из диаграммы выше, в 10 классе (синие линии) результаты лучше у учеников более «рейтинговых» школ: № 1329, Интеллектуал, № 179, Лицей Вторая школа. Однако в 11 классе, когда решается вопрос с поступлением в ВУЗ, наибольший прогресс в результатах показывают именно ученики, которые в 10 классе выступили слабее на региональном этапе. Красные линии, которые отображают результаты 11-классников, показывают значительное изменение результатов. Ученики школ № 171, 192, 218, 1535, 1543, 1567, Глория (sch779001) набирают практически одинаковое количество баллов с учениками школ, имеющих звездную репутацию.
Это свидетельствует о том, что для успешного выступления во Всероссийской олимпиаде школьников вовсе не обязательно учиться в самых сильных школах Москвы. Олимпиадные задания во многом выходят за рамки школьной программы. Для успешного выступления в школьных олимпиадах необходимо изучать материалы сверх того, что ученики получают на уроках. В основном это происходит на олимпиадных кружках, каникулярных олимпиадных школах, с тренерами-репетиторами, самостоятельной подготовке. Лишь очень небольшое количество школьников готово добровольно брать на себя такую дополнительную учебную нагрузку. Менее 3 % выпускников московских школ за последние 3 года обучения в школе хотя бы 1 раз стали призерами РЭ ВОШ. Менее 1% выпускников делали это 3 последних года обучения в школе подряд. По такой маленькой выборке судить о качестве обучения по школьной программе нельзя, тем более что олимпиадные задания во многом выходят за рамки школьной программы.
Выводы
С одной стороны проведенный анализ показывает, что не существует большего прогресса в результатах выступлений на региональном этапе ВОШ у учеников топовых школ в 9-11 классах. Скорее наоборот, олимпиадники с более низкими баллами прикладывают больше усилий, чтобы достичь желаемого результата. И к 11 классу результаты выравниваются.
С другой стороны дипломы Всероссийской олимпиады школьников, начиная с регионального этапа, получает небольшая доля доля учеников. Такая маленькая выборка не позволяет оценить качество обучения по школьной программе, тем более что олимпиадные задания во многом не пересекаются с программой по ФГОС.
Представление о том, что топовые школы дают более качественные знания, не нашло подтверждение в анализе прогресса результатов учеников разных школ по набранным баллам на региональном этапе ВОШ. Возможно, это не самый лучший инструмент для такого анализа. Но по крайней мере, все данные для такого анализа находятся в открытом доступе и доступны любому желающему в отличии от результатов ОГЭ, ЕГЭ, ВПР, МЦКО и т. п. Будем надеяться, что когда-нибудь и эти данные станут доступны для изучения и анализа.