Тезис 3 Изучите дезагрегированные данные, чтобы определить сильные стороны и вызовы

Окружная рабочая группа должна изучить и дезагрегированные данные – т. е. информацию по подгруппам, чтобы найти закономерности другого рода. Например, нередко хороший учебный план оказывается эффективным не для всех учеников, а неудачный учебный план, напротив, некоторым ученикам помогает достичь хороших результатов. Единственный способ увидеть это состоит в изучении дезагрегированной информации о прогрессе, которая покажет паттерны прогресса для различных подгрупп учащихся. На рис. 4.3 вы видите графическую составляющую подборки диагностических отчетов, связанных с удручающими результатами по математике, наблюдаемыми в нашем примере. Графические данные сопровождаются числовой информацией, но нам для выявления важных закономерностей достаточно графиков.

Отчеты, представленные на рис. 4.3, сформированы компанией SAS, округа получают доступ к таким отчетам через систему услуг EVAAS института SAS Institute, Inc.

В нашем примере темно-серые столбики на графиках, показанных на рис. 4.3, представляют недавние подгруппы учеников округа. В каждом отчете-графике темный столбик с левого края соответствует ученикам, по уровню успеваемости попадающим в 20 % учеников штата с самой низкой успеваемостью. Аналогично темный столбик с правого края соответствует ученикам округа, по уровню успеваемости попадающим в 20 % учеников штата с самой высокой успеваемостью.

Три остальных столбца представляют учеников трех остальных подгрупп-квинтилей. Светло-серые столбики представляют ту же информацию, но в отношении предыдущих групп учеников. Толстая горизонтальная линия на каждом графике соответствует уровню ожидаемого прогресса для каждой подгруппы учеников. Темные и светлые столбики, идущие вниз от этой линии, представляют подгруппы учеников, чей уровень прогресса оказался ниже ожидаемого, а те, что находятся над этой линией, соответствуют подгруппам учащихся, добившихся превышающего ожидания прироста. В каждом случае высота столбца соответствует величине отличия полученного прогресса от ожидаемого уровня.

Когда окружная рабочая группа изучает результаты по математике в разных классах (рис. 4.3), ее участники ищут в данных любые постоянные паттерны. Есть ли у каких-либо подгрупп значительные сильные стороны, которые можно распространить на остальные подгруппы по всему округу? Есть ли заслуживающие внимания уязвимые места, проблемы в которых нужно решать на уровне округа? Такого рода находки чрезвычайно важны в процессе анализа данных, описанного в этой главе. Там, где удалось обнаружить постоянно встречающиеся случаи недостатков одного рода, следует предпринять масштабные действия. Если в масштабе округа не обнаружены явные закономерности, то сильными и слабыми сторонами следует заниматься на том уровне, на котором они проявляются.

Рис. 4.3. Диагностические отчеты округа N за 2010 г. (математика, классы с 4-го по 8-й)

Источник: SAS® EVAAS® for K-12 content Copyright ©2011, SAS institute Inc., Cary, NC USA. Все права защищены. Публикуется с согласия SAS.

Рис. 4.4. Диагностические отчеты округа N за 2010 г. (4-й класс)

Источник: SAS® EVAAS® for K-12 content Copyright ©2011, SAS Institute Inc., Cary, NC USA. Все права защищены. Публикуется с согласия SAS.

В нашем примере мы видим достаточно постоянно проявляющуюся закономерность (паттерн): ученики с низкой успеваемостью демонстрируют менее значимый прогресс по сравнению со своими сверстниками с высокой успеваемостью. Исключение составляют лишь учащиеся 8-х классов: здесь наблюдается обратная закономерность, однако прогресс учеников с низкой успеваемостью также оказывается ниже ожидаемого. Итак, если говорить о сильных сторонах, то округ сравнительно неплохо справляется с тем, чтобы добиваться прогресса среди учащихся с высокой успеваемостью. При этом 8-й класс является очевидным исключением из этой тенденции. Что же касается вызовов, то округ испытывает проблемы в связи с программой по математике, не справляющейся с задачей улучшения показателей учеников с самой низкой успеваемостью. Такие ученики проигрывают своим менее отстающим сверстникам по всему штату.

По окончании анализа результатов по математике участники окружной рабочей группы перейдут к аналогичному вертикальному анализу дезагрегированной информации по таким предметам, как литература, естествознание и обществоведение (см. рис. 4.4).

Когда окружная рабочая группа изучила данные округа, двигаясь вертикально и выискивая паттерны в дезагрегированной информации по каждому предмету с 4-го по 8-й класс, наступает время горизонтального изучения тех же данных, т. е. анализа внутри каждого года обучения – класса.

На рис. 4.4 представлены диагностические отчеты по 4-м классам для каждого предмета. Эти отчеты сформированы компанией SAS, округа получают доступ к таким отчетам через систему услуг EVAAS института SAS Institute, Inc.

Целью этого анализа является нахождение закономерностей внутри одного уровня обучения – класса. В этой подборке диагностических отчетов ясно прослеживается та же закономерность, что и в отчетах по математике для всех классов. В целом можно сказать, что ученики с более низкой успеваемостью добиваются меньшего прогресса, чем ученики с более высокой успеваемостью. По окончании изучения данных за 4-й класс окружная рабочая группа переходит к изучению дезагрегированных отчетов по каждому из оставшихся классов.

Определение приоритетов округа

Окружной рабочей группе недостаточно знать, каковы сильные и слабые стороны образовательных программ. Следующий вопрос, встающий перед ее участниками, – как использовать сильные стороны для устранения вызовов? Возможность это сделать определяется способностью рабочей группы расставлять приоритеты и концентрировать усилия. Чем на большее количество сильных и (или) слабых сторон распространяют свое внимание участники команды, тем меньше вероятность того, что им удастся добиться значимых перемен. Изменения требуют усилий, а усилия требуют концентрации. Мы советуем аналитическим группам фокусироваться не более чем на двух масштабных изменениях в год. в оптимальном случае лучше ограничиться одним изменением, но и двумя изменениями управлять вполне реально. Цель поиска закономерностей в рассматриваемых отчетных данных состоит в том, чтобы обнаружить сферу, в которой можно добиться измеряемых результатов при помощи целенаправленных усилий. Ключом к продуктивным изменениям является сфокусированная работа над достижением достойной цели.

Когда окружная рабочая группа изучила агрегированную информацию (матрицу фокуса на системе) и дезагрегированную информацию (дезагрегированные отчеты, где данные анализируются вертикально и горизонтально), необходимо упорядочить сильные стороны и расставить приоритеты среди проблем, требующих решения. При этом надо иметь в виду, что для текущей работы придется выбрать минимальное количество целей. В конечном итоге выбираются одна или две сильные стороны и одна или две проблемы, стоящие внимания благодаря их важности и (или) масштабности. На последующих этапах анализа – когда группа будет изучать глубинные причины текущего состояния – сильные стороны имеют большое значение, ведь обеспечивающие их педагогические практики могут быть применены для решения проблем с вызовами.

Эту главу мы завершаем рассказом о трансформации в организации обучения и научения. Директор образовательных программ Сьюзи Бейли сельской общины в городе Вашинтон-Корт-Хаус штата Огайо рассказывает о предпринятых ее округом усилиях по преодолению низких показателей успеваемости и роста. Их опыт является наглядным примером того, как руководители округа могут внедрить в работу информацию о добавленной стоимости и в результате добиться высокого уровня прогресса учащихся. Для нас этот пример послужил источником энтузиазма, и мы надеемся, что и читателей он вдохновит на дальнейшее изучение возможностей использования данных о прогрессе и успеваемости для поиска приоритетных путей к улучшениям. в следующей главе мы изучим эти данные на уровне школы.

История успеха одного округа

Городские школы Вашингтон-Корт-Хаус, штат Огайо Сьюзи Бейли, директор по учебной программе, оценке и анализу данных Округ: 2389 учащихся, четыре школы, уровень бедности – около 50 %, количество учеников, обучающихся по индивидуальным программам обучения (ИПО), – около 20%

Последние три года работы в городе Вашингтон-Корт-Хаус были для меня похожи на путешествие на сверхскоростном поезде. Недавно мы получили потрясающую новость о том, что наш округ находится среди 10 % самых успешных образовательных округов штата Огайо по прогрессу учащихся. Двумя годами ранее – в 2008 г. – по показателям прогресса мы находились в 5 % наихудших образовательных округов. Так что теперь мы собираемся воспользоваться советом доктора Мэри Питерс и провести парад!

на выездном семинаре для педагогов, который прошел прошлым летом, мы размышляли над воронкой BFK·Фокус и поняли, что при своем стремительном продвижении по пути школьных улучшений мы смогли разобраться с каждым предложенным пунктом, и даже более того. За это время мы впервые привели весь наш учебный план к установленным стандартам содержания учебных курсов, и 100 % наших учителей прошли обучение и аттестацию по работе с отчетными данными. Мы трансформировали все расписания наших школ, чтобы больше времени уделить литературе и математике, а также найти время в рамках учебного дня для дискуссий и закрепления знаний. Далее, внедрили систему профессиональных научающих сообществ во всех школах округа, выкроив для них время в ежемесячные дни позднего старта. Учителей обучили результативным преподавательским стратегиям, разработанным по результатам исследований, а также правильным методам контроля и качественной отчетности. Администраторы и некоторые учителя регулярно проводят опросы, чтобы выявить ожидания и получить обратную связь. Значительное число учеников ИПО получили доступ к общим учебным программам, а руководители средних и старших классов совместно разработали план перехода, чтобы поддержать тех учащихся, которые могут не справиться со стандартной программой. Наши старшие классы принимают участие в проекте BFK по добавленной стоимости в старшей школе и в сопутствующем тренинге по промежуточному контролю, а учителя нашей начальной школы проходят постоянное профессиональное обучение на тему: анализ данных аттестации для составления эффективных программ обучения чтению.

Я прошла обучение для работы региональным специалистом по анализу данных о добавленной стоимости, которое оказало мне неоценимую помощь в работе на должности директора по учебной программе, оценке и анализу данных. Майк Томас задал мне направление развития задолго до того, как я перешла в центральный офис, – еще когда он приехал в наш округ, чтобы проанализировать наши удручающие показатели. Помню, что ему понадобилось лишь несколько минут, чтобы оценить наши данные по успеваемости и добавленной стоимости, и выявить корень проблемы. он посмотрел на собравшихся директоров и администраторов и сказал: «Ваша учебная программа не соответствует стандарту». Спустя годы, когда пришел мой черед, я знала, что нужно делать в первую очередь. При помощи моих бывших коллег – региональных специалистов по добавленной стоимости из центров поддержки штата и из моего центрального офиса – миссия была выполнена.

Отчеты по добавленной стоимости стали нашей первой попыткой выйти за пределы того факта, что 75 % учеников каждого конкретного класса сдали экзамен по конкретному предмету. Учителя научились определять, в каких предметных областях и в каких классах наблюдается рост. Используя информацию о добавленной стоимости в подгруппах, они узнали, какие группы учеников получают наибольшую пользу от их преподавания. Теперь учителя рады возможности посмотреть на данные о добавленной стоимости по своим классам и отдельным ученикам, чтобы сравнить ожидаемые и фактические показатели. Они понимают, что прогнозирование – это мощный инструмент системы отчетности на основе анализа данных о добавленной стоимости, и каждую осень с нетерпением ожидают получения этих отчетов. Прогнозирование используется при принятии решений о распределении учащихся, особенно по сложным предметам, и помогает нам выявить учеников, которым требуется дополнительная помощь. Используя при обсуждении данных о добавленной стоимости концепцию BFK·Фокус, учителя делятся своими результатами, а также успешными стратегиями преподавания и аттестации.

Кроме того, наша старшая школа получила огромную пользу в результате нашего сотрудничества с Battelle for Kids (BFK). Когда BFK получила грант Фонда Билла и Мелинды Гейтс для запуска экзаменов по окончании курсов, наш округ воспользовался возможностью принять участие в испытаниях, и тогда мы впервые получили данные о добавленной стоимости для нашей старшей школы. После того как мы год проводили тестирование и сравнивали результаты с другими школами, нас выбрали для участия в углубленном эксперименте, который позволил нам перейти на новый уровень работы по улучшению успеваемости учеников. По итогам тренинга BFK по промежуточной оценке при постоянной локальной поддержке мы построили наш план улучшения показателей школы на базе отслеживания прогресса учеников. Учителя, принимавшие участие в эксперименте, а также другие ключевые преподаватели, прошли обучение с помощью онлайн-модулей по промежуточной оценке, и теперь они применяют изученные принципы в классе. Руководители старшей школы сегодня сконцентрированы на промежуточных оценках, в том числе на точной отчетности и ранжировании. Пробный опыт в старшей школе оказался революционным не только на данном конкретном уровне, но и в масштабах всего округа. Наш директор старшей школы, Джеф Ходсон, с ведущими преподавателями и сотрудниками BFK продолжает активно работать над формированием и распространением политики оценки, ранжирования и отчетности. Старшая школа стала в этом смысле бесспорным лидером округа.

В округе изменился и весь климат. Четыре года назад мы служили вопиющим примером изоляции учителей. В подтверждение расскажу об одной встревоженной учительнице, которая пришла ко мне за советом (я тогда была консультантом). Она рассказала, что учитель соседнего класса вечером после ее ухода зашел в ее класс и украл планы уроков. Многие учителя сетовали день за днем, надеясь, что когда-нибудь тестирование уйдет в прошлое. среди них превалировало мнение о том, что несправедливо возлагать на них ответственность за результат при том, что их ученики бездарны, а родителям этих учеников ни до чего нет дела. Рабочие тетради и полнометражные фильмы для некоторых учителей были любимой формой преподавания. При принятии решений редко использовались фактические данные. Для некоторых учеников преподавательский подход определялся лишь их фамилиями. Индивидуальные программы обучения представляли собой усеченные стандартные программы, особенно по математике и литературе, где и так были большие провалы. Я рада, что эти дни прошли. не устаю поражаться тому, как далеко мы продвинулись за прошедшие три года. Иногда этот опыт был болезненным. Нас часто критиковали за то, что мы не дожидались полной поддержки учителей. Но мы были уверены, что, когда исследования ясно демонстрируют эффективность стратегии, бездеятельность оказывается преступной. Говоря бессмертными словами Роберта Фроста, «мили пути отделяют нас от возможности отдохнуть», но наша траектория ведет нас в правильном направлении. Индекс достижений нашего штата за 2010 г. показывает, что из всех 610 школьных округов страны наше положение соответствует 94-му процентилю. Это огромный успех по сравнению с 45-м процентилем в 2009 г. и провальным 5-м процентилем из всех округов в 2007 г.

Наш инспектор Кит Браун инициировал радикальную перемену климата в школьном округе Вашингтон-Корт-Хаус, начиная с нашей системы взглядов. Он настоял на том, чтобы мы придерживались твердого и эффективного учебного плана. Он был непреклонен в том, что в поиске решений надо концентрироваться на взрослых членах системы. Под его руководством мы смогли перевести фокус внимания с программ на людей и их педагогические практики. Созданная мистером Брауном сильная и сплоченная команда специалистов из центрального офиса и школьных администраций поощряет здоровый риск и поддерживает всех участников системы.

Если бы мне нужно было выбрать один наиболее важный для нашего роста фактор, я бы назвала эффективность учителя. Каждое из наших тщательно продуманных усилий по школьному импрувменту было небольшим шагом в поступательном движении к успеху. Мы разрушили традиционную убежденность в том, что школы имеют слабое влияние на успеваемость учеников. Как только учителя увидели результаты и начали принимать многочисленные доказательства того, что их действия оказывают огромное влияние на прогресс их учеников, – их уже было не остановить.