Тезис 1 Научитесь читать основные отчеты по добавленной стоимости на уровне округа

Для выполнения этой задачи вам понадобится окружной отчет по добавленной стоимости. Такие отчеты обычно предоставляются независимыми компаниями или организациями, специализирующимися на моделировании добавленной стоимости (value-added modeling – VAM). Школьные округа или образовательные органы штатов привлекают такие организации, чтобы обеспечивать преподавателей ежегодными отчетами по добавленной стоимости. Некоторые крупные школьные округа располагают достаточным количеством знаний и ресурсов, чтобы формировать собственные модели добавленной стоимости. Поэтому окружные отчеты могут различаться от округа к округу по форме и внешнему виду.

Рис. 4.1. Фокус на системе

Источник: © 2011, Battelle for Kids.

Отчет, приведенный в табл. 4.1, сформирован компанией SAS[9], которая предоставляет свои отчеты округам посредством системы оценки добавленной стоимости в образовании (Education Value-Added Assessment System – EVAAS), разработанной SAS Institute, Inc.

Эквиваленты кривой нормального распределения[10]: в чем их особенность

Эквиваленты кривой нормального распределения (NCE) представлены на шкале от 1 до 99. Эта шкала совпадает с процентильной шкалой в значениях 1, 50 и 99. Но, в отличие от процентильной шкалы, интервалы шкалы NCE равны между собой. Это значит, что можно получить среднее значение эквивалентов, чтобы сравнивать группы учеников или школ.

Чтобы окружной отчет обрел смысл, нам нужно рассмотреть некоторые из его основных понятий. Этот отчет, сформированный SAS, содержит трехлетние результаты тестов по математике в масштабе округа за период с 2008 по 2010 г., отражая историческую и текущую информацию о достижениях округа в разрезе добавленной стоимости относительно ожиданий прогресса учеников, установленных штатом. Рост добавленной стоимости здесь определяется как средний балл NCE и выражается при помощи баллов NCE. Шкала NCE похожа на шкалу процентилей, но, в отличие от последней, является интервальной шкалой, т. е. имеет равные интервалы. Благодаря этому свойству такая шкала может использоваться для сравнения результатов анализа по нескольким годам и нескольким предметам. Например, показатели NCE позволяют вычислить средний балл за три года.

Таблица 4.1. Окружной отчет по добавленной стоимости (математика)

Такой взгляд на результаты добавленной стоимости в масштабе штата позволяет ответить на один важный вопрос: какой прогресс был достигнут за год обучения в масштабе округа? Шаг за шагом изучив данные, мы сможем лучше их понять и найти ответ.

Этапы чтения отчетов по добавленной стоимости

Этап 1. Найти оценку среднего балла NCE.

Этап 2. Определить средний годовой прирост.

Этап 3. Определить средний прирост за три года.

Этап 4. Сравнить результат с установленным нормативом прогресса.

Этап 1. Найти оценку среднего балла NCE

Если мы посмотрим на оценки среднего балла за 2010 г., то увидим, что средний ученик 7-го класса получил 51,1 балла NCE. Это значит, что средний семиклассник округа находится немного выше среднего уровня успеваемости по штату относительно принятого за норматив 2007 г. Результаты учебы этой же группы учеников в прошлом можно отследить, проведя диагональ налево вверх. Средний ученик этой группы в 6-м классе (в 2009 г.) получил 56,5 балла NCE, в 5-м (2008 г.) – 54,7 балла NCE и в 4-м (2007 г.) – 56,8 балла NCE. Таким образом, за четыре года эта группа учеников не поддерживала свой уровень относительной успеваемости на одном уровне.

Этап 2. Определить средний годовой прирост

Когда мы смотрим на средний NCE-прирост 7-го класса 2010 г., то видим число -5,4 и букву R*. Число -5,4 отражает изменение по сравнению со средним баллом 56,5 (оценка среднего балла за 6-й класс в 2009 г.) до значения 51,1 балла, полученного в 7-м классе в 2010 г. Символ R* (и красный цвет ячейки в полной цветной таблице[11]) означает Red – красный, что говорит о том, что средний балл оказался ниже ожидаемого по меньшей мере на два стандартных отклонения. Здесь и далее по книге представлены черно-белые рисунки и таблицы, но часто для обозначения значений выше или ниже ожидаемых, а также соответствующих ожидаемым используется система цветовой маркировки. Определение того, что конституирует эти уровни, и есть политическое решение; следовательно, эти «знаки» различаются от штата к штату и от округа к округу.

Что такое стандартная ошибка

Стандартная ошибка – это мера неопределенности, связанная с оценкой среднего балла ученика. В общем случае, чем меньше стандартная ошибка, тем точнее оценка балла. На величину стандартной ошибки влияет как размер группы – когорты – учеников, так и среднеквадратичное отклонение баллов от среднего значения. Обычно, чем больше группа учеников – тем меньше стандартная ошибка, и чем больше разброс баллов – тем больше величина стандартной ошибки.

Этап 3. Определить средний прирост за три года

В строке табл. 4.1, обозначенной как «Средний за три года NCE-прирост», указаны данные о среднем приросте за последние три года для каждого класса (года обучения). Здесь мы видим, что семиклассники в среднем показывают прирост в 1,4 балла по NCE-шкале. Средние данные за три года помогают получить более достоверное представление о долгосрочной эффективности программы обучения.

Этап 4. Сравнить результат с установленным нормативом прогресса

В 2010 г. средний прирост в классах с 4-го по 8-й составил – 6,1 балла, со стандартной ошибкой в 0,5. Значит, с высокой долей уверенности можно сказать, что прогресс среднего ученика за эти годы оказался значительно ниже ожидаемого.

Ответ на ключевой вопрос

Интерпретация этих данных должна дать вам ответ на один ключевой вопрос: какого роста удалось добиться в каждом классе округа? Из нашего отчета следует, что в 2010 г. в среднем округ добился в математике гораздо меньшего по сравнению с ожидаемым роста. Это открытие дает очень важную информацию окружной рабочей группе, которая теперь может исследовать причины этого нисходящего тренда и постоянно низких результатов, двигаясь по воронкам BFK·Фокус.

Перерыв для практики

Используйте приведенный выше отчет по добавленной стоимости по математике, чтобы ответить на следующие вопросы.

1. В каком классе в 2010 г. зафиксирован самый высокий уровень средней успеваемости? А в каком самый низкий?

2. Ученики какого класса продемонстрировали наибольший прогресс по математике в 2010 г.? В каком классе был наименьший прогресс?

3. Успешен ли оказался округ в целом в 2010 г. с точки зрения прогресса по математике?

(Ответы приведены в конце этой главы.)