Моделирование с добавленной стоимостью - Value-added modeling

Моделирование с добавленной стоимостью (также известный как измерение с добавленной стоимостью, анализ добавленной стоимости и оценка с добавленной стоимостью) - это метод оценки учителя, который измеряет вклад учителя в данный год путем сравнения текущих результатов тестов своих учеников с оценками тех же учеников в предыдущие учебные годы, а также с оценками других учеников того же класса. . Таким образом, моделирование с добавленной стоимостью стремится изолировать вклад или добавленная стоимость, которые каждый учитель предоставляет в определенный год, что можно сравнить с показателями успеваемости других учителей. VAM считаются более справедливыми, чем просто сравнение оценок успеваемости учащихся или получение баллов без учета потенциально искажающих контекстных переменных, таких как прошлые результаты или доход. Также можно использовать этот подход для оценки добавленной стоимости директора школы или школы в целом.

Критики говорят, что использование тестов для оценки отдельных учителей не было научно подтверждено, и большая часть результатов обусловлена ​​случайностью или условиями, не зависящими от учителя, такими как внешнее репетиторство.[1] Однако исследования показывают, что различия в эффективности учителей, измеряемые добавленной стоимостью учителей, связаны с небольшими экономическими последствиями для учащихся.[2]

Метод

Исследователи используют статистические процессы по результатам прошлых тестов учащегося, чтобы предсказать его будущие результаты тестов, исходя из предположения, что учащиеся обычно набирают примерно столько же очков каждый год, как и в прошлые годы. Затем фактическая оценка учащегося сравнивается с прогнозируемой. Предполагается, что разница между прогнозируемыми и фактическими оценками, если таковая имеется, связана с учителем и школой, а не с естественными способностями ученика или социально-экономическими обстоятельствами.

Таким образом, моделирование с добавленной стоимостью пытается изолировать вклад учителя от факторов, находящихся вне его контроля, которые, как известно, сильно влияют на результаты теста студента, включая общие интеллект, бедность и участие родителей.

Объединяя все эти индивидуальные результаты, статистики могут определить, насколько конкретный учитель улучшает успеваемость ученика по сравнению с тем, насколько обычный учитель улучшил бы успеваемость ученика.

Статистики используют иерархическое линейное моделирование чтобы спрогнозировать оценку данного ученика в данном классе в данной школе. Этот прогноз основан на совокупных результатах всех студентов. Прогнозируемый балл каждого ученика может учитывать уровень ученика (например, прошлые успеваемость, социально-экономический статус, раса / этническая принадлежность), уровень учителя (например, сертификация, годы опыта, полученная высшая степень, практика преподавания, учебные материалы, учебная программа) и уровень школы. (например, размер, тип, настройки) переменные во внимание. Какие переменные включены, зависит от модели.

Использует

По состоянию на 2010 г., несколько школьных округов в Соединенных Штатах приняли эту систему, в том числе Государственные школы Чикаго, Департамент образования г. Нью-Йорка и Государственные школы округа Колумбия. Рейтинги использовались для решения вопросов удержания учителей и присуждения премий, а также в качестве инструмента для определения тех учителей, которые больше всего выиграют от подготовки учителей.[1] Под Гонка к вершине и другие программы, пропагандирующие более совершенные методы оценки работы учителей, округа обратились к моделированию добавленной стоимости в качестве дополнения к наблюдению за учителями в классах.[1]

Луизиана законодатель Франк А. Хоффманн внесла законопроект, разрешающий использование методов моделирования с добавленной стоимостью в государственных школах штата в качестве средства поощрения сильных учителей и выявления успешных педагогических методов, а также предоставления средств для обеспечения дополнительного профессионального развития тех учителей, которые определены как более слабые, чем другие. Несмотря на сопротивление Федерации учителей Луизианы, законопроект принял Сенат штата Луизиана 26 мая 2010 г. и был немедленно подписан Губернатор Бобби Джиндал.[3]

Эксперты не рекомендуют использовать моделирование добавленной стоимости в качестве единственного фактора, определяющего какое-либо решение.[4] Вместо этого они рекомендуют использовать его как важный фактор в многосторонней программе оценки.[5]

Ограничения

Как нормативный В системе оценивания производительность учителя сравнивается с результатами, полученными у других учителей в выбранной группе сравнения. Следовательно, можно использовать эту модель, чтобы сделать вывод о том, что учитель лучше, хуже или такой же, как и типичный учитель, но невозможно использовать эту модель для определения желательности данного уровня успеваемости.

Поскольку ожидаемая оценка каждого ученика в значительной степени определяется фактическими оценками ученика в предыдущие годы, эту модель сложно использовать для оценки учителей детского сада и первого класса. Некоторые исследования ограничивают модель учителями третьего класса и выше.

Школы могут быть не в состоянии получить предыдущие оценки новых учащихся из бывших школ учащихся, или эти оценки могут оказаться бесполезными из-за несопоставимости некоторых тестов. У школы с высокой текучестью учащихся могут возникнуть трудности со сбором достаточных данных для применения этой модели. Когда ученики меняют школу в середине года, их успехи в течение года не зависят исключительно от последних учителей.

Оценки добавленной стоимости более чувствительны к влиянию учителя по математике, чем по языку.[4] Это может быть связано с широким распространением плохо составленных тестов на чтение и языковые навыки или с тем, что учителя в конечном итоге имеют меньшее влияние на языковое развитие.[4] Учащиеся изучают языковые навыки из многих источников, особенно из семей, в то время как математические навыки они изучают преимущественно в школе.

Наблюдаются некоторые различия в оценках от года к году и от класса к классу. Этот вариант аналогичен показателям эффективности в других областях, таких как Высшая лига бейсбола и таким образом может отражать реальные, естественные вариации в работе учителя.[4] Из-за этого различия оценки наиболее точны, если они получены от большого количества студентов (обычно 50 или более). В результате эту модель трудно использовать для оценки учителей первого года обучения, особенно в начальной школе, поскольку они могли обучать только 20 учеников. Рейтинг, основанный на одной классной комнате, может правильно классифицировать учителя примерно в 65% случаев. Это число вырастет до 88%, если будут доступны данные за десять лет.[6] Кроме того, поскольку доверительный интервал широкий, этот метод является наиболее надежным при выявлении учителей, которые постоянно находятся в верхних или нижних 10%, а не в попытках провести тонкие различия между учителями, которые добиваются более или менее типичных достижений, например, при попытке определить, следует ли оценивать учителя. как немного выше или немного ниже медианы.[6]

Оценки добавленной стоимости предполагают, что студенты случайным образом распределяются между учителями. В действительности учащихся редко распределяют по учителям или по школам случайным образом. По словам экономиста и профессора д-ра Джесси М. Ротштейн из Калифорнийский университет в Беркли, «Неслучайное распределение учеников к учителям может исказить оценку добавленной стоимости причинных эффектов учителей».[7] Вопрос о возможной предвзятости при использовании показателей добавленной стоимости был предметом значительного недавнего исследования, и другие исследователи пришли к выводу, что показатели добавленной стоимости действительно дают хорошие оценки эффективности учителей. См., Например, недавнюю работу проекта «Меры эффективного обучения».[8] и анализ того, как показатели добавленной стоимости соотносятся с будущими доходами профессором Радж Четти из Гарвард и его коллеги.[9]

Исследование

Впервые была представлена ​​идея оценки эффективности учителей на основе успеваемости учащихся.[10] в исследовательскую литературу в 1971 г. Эрик Ханушек,[11] в настоящее время старший научный сотрудник консервативной[12][13][14] Институт Гувера, американская государственная политика мозговой центр расположен в Стэндфордский Университет в Калифорния. Впоследствии он был проанализирован Ричард Мурнэйн Гарвардского университета среди других.[15] Этот подход использовался во множестве различных анализов для оценки различий в эффективности учителей в школах, и оценка показала большие и постоянные различия между учителями в темпе обучения своих учеников.[16]

Статистик Уильям Сандерс, старший менеджер по исследованиям в SAS представил концепцию школьной деятельности, когда разработал модели добавленной стоимости для школьных округов в Северная Каролина и Теннесси. Впервые созданный в качестве инструмента оценки учителей для школьных программ в Теннесси в 1990-х годах, использование этого метода расширилось с прохождением Ни один ребенок не остался позади в 2002 году. Основываясь на своем опыте и исследованиях, Сандерс утверждал, что «если вы будете использовать строгие, надежные методы и окружить их защитными мерами, вы сможете надежно отличить высокоэффективных учителей от средних учителей и от неэффективных учителей».[1]

Исследование 2003 г. RAND Corporation подготовлен к Корпорация Карнеги Нью-Йорка, сказал, что моделирование добавленной стоимости «дает возможность отделить влияние учителей и школ от мощного воздействия таких факторов, не связанных с образованием, как семейное положение», и что исследования показали, что при использовании таких моделей оценки учителей сильно различаются. , что могло бы сделать моделирование добавленной стоимости эффективным инструментом для оценки и поощрения работы учителей, если бы вариативность могла быть подтверждена как связанная с эффективностью отдельных учителей.[17]

В Лос-Анджелес Таймс сообщил об использовании программы в школах этого города, создав доступный для поиска веб-сайт, на котором представлены оценки, рассчитанные с помощью системы моделирования добавленной стоимости для 6000 учителей начальной школы в районе. Министр образования США Арне Дункан высоко оценил репортаж газеты об оценках учителей, назвав их образцом повышенной прозрачности, хотя он отметил, что большая открытость должна быть сбалансирована с опасениями, касающимися «конфиденциальности, справедливости и уважения к учителям».[1] В феврале 2011 года Дерек Бриггс и Бен Доминг из Национальный центр образовательной политики (NEPC) выпустил отчет, в котором повторно анализируется тот же набор данных из Объединенного школьного округа Лос-Анджелеса, пытаясь воспроизвести результаты, опубликованные в Раз, и они обнаружили серьезные ограничения предыдущего исследования, заключив, что «исследование, на которое опиралась Los Angeles Times при составлении отчета об эффективности учителей в августе 2010 года, явно неадекватно для поддержки опубликованных рейтингов».[18]

В Фонд Билла и Мелинды Гейтс спонсирует многолетнее исследование моделирования добавленной стоимости в рамках своей программы «Меры эффективного обучения». Первоначальные результаты, опубликованные в декабре 2010 года, показывают, что как моделирование с добавленной стоимостью, так и восприятие учащимися нескольких ключевых черт учителя, таких как контроль над классом и усложнение ученикам кропотливой работы, правильно определяют эффективных учителей.[4] Исследование оценок студентов было проведено Рональд Фергюсон. Исследование также показало, что учителя, которые научить проверять гораздо менее эффективны и имеют значительно более низкие оценки моделирования с добавленной стоимостью, чем учителя, которые способствуют глубокому концептуальному пониманию всей учебной программы.[4] Повторный анализ результатов отчета MET, проведенный Джесси Ротштейном, экономистом и профессором Калифорнийский университет в Беркли, однако, оспаривайте некоторые из этих интерпретаций.[19] Ротштейн утверждает, что анализ, представленный в отчете, не подтверждает выводы и что «правильно интерпретированные ... [они] подрывают, а не подтверждают основанные на добавленной стоимости подходы к оценке учителей».[20] Однако более поздняя работа проекта MET подтверждает использование подходов с добавленной стоимостью.[8]

Руководители и руководители

Общая идея моделирования добавленной стоимости также была распространена на директоров и руководителей школ. Несмотря на то, что было много анекдотических дискуссий о важности школьных руководителей, было очень мало систематических исследований их влияния на успеваемость учащихся. Недавний анализ, проведенный в Техасе, предоставил доказательства эффективности лидеров, изучив, как успехи учащихся в школе меняются после принципиальных изменений. Этот ориентированный на результат подход к измерению эффективности директоров очень похож на моделирование добавленной стоимости, которое применялось к оценке учителей. Раннее исследование в Техасе показало, что директора школ очень сильно влияют на успеваемость учащихся.[21] По самым скромным оценкам, эффективный школьный руководитель улучшает успеваемость всех учащихся в школе, при этом в среднем за два месяца обучения учащиеся получают дополнительный результат в каждом учебном году. Эти успехи, по крайней мере частично, достигаются благодаря тому, что директор влияет на выбор и удержание хороших учителей. Однако неэффективные директора имеют такое же большое негативное влияние на успеваемость в школе, что позволяет предположить, что вопросы оценки так же важны для школьного руководства, как и для учителей.

Критика и опасения

Отчет, выпущенный Институт экономической политики в августе 2010 года признал, что «американские государственные школы обычно плохо справляются с систематической подготовкой и оценкой учителей», но выразил обеспокоенность тем, что использование успеваемости на стандартизированные тесты в качестве измерительного инструмента не приведет к повышению производительности. В отчете EPI рекомендуется, чтобы показатели успеваемости, основанные на результатах стандартизированных тестов, были одним из многих факторов, которые следует рассматривать как «более точное представление о том, что на самом деле учителя делают в классе и как это способствует обучению учащихся». В исследовании было названо моделирование добавленной стоимости более справедливым средством сравнения учителей, которое позволяет лучше измерить образовательные методики и общую успеваемость в школе, но утверждалось, что результаты тестов учащихся не были достаточно надежными в качестве средства принятия «кадровых решений с высокими ставками».[22]

Эдвард Хэртель, возглавлявший исследовательскую группу Института экономической политики, писал, что методологии, продвигаемые как часть Гонка к вершине Программа уделяла «слишком много внимания показателям роста успеваемости учащихся, которые еще не были должным образом изучены для целей оценки учителей и директоров школ», и что методы моделирования с добавленной стоимостью требуют более тщательной оценки и должны только использоваться » в тщательно изученных пилотных проектах ».[1]

Исследователь образовательной политики Джеральд Брейси далее утверждалось, что возможно, что корреляция между учителями и краткосрочными изменениями в результатах тестов может не иметь отношения к фактическому качеству обучения. Следовательно, «он не может допускать причинно-следственных выводов об отдельных учителях. В лучшем случае, это первый шаг для выявления учителей, которым может потребоваться дополнительное профессиональное развитие».[23]

В Американская статистическая ассоциация выступил с заявлением от 8 апреля 2014 г., в котором критиковал использование моделей с добавленной стоимостью в образовательной оценке, не исключая при этом полезности таких моделей. ASA сослалось на ограничения входных данных, влияние факторов, не включенных в модели, и большие стандартные ошибки, приводящие к нестабильным годовым рейтингам.[24]

Джон Юинг, пишущий в Уведомления Американского математического общества критиковал использование моделей с добавленной стоимостью в образовательной оценке как форму «математического запугивания» и «риторического оружия». Юинг упомянул проблемы с исходными данными и влияние факторов, не включенных в модель.[25]

Альтернативы

Было реализовано несколько альтернатив для оценки учителей:

  • Оценка студентами: Если задать проверенные вопросы, ученики даже четвероклассников могут точно определить эффективных учителей.[4] Оценки курса распространены в университетах, но редко учитываются при принятии решения о сохранении или увольнении учителя.[нужна цитата ]
  • Мероприятия вне класса: Часть оценки учителя обычно включает участие в мероприятиях по обучению персонала. Например, преподавателю, получившему степень магистра, почти всегда платят больше, даже если степень магистра не влияет на успеваемость учащихся.[26][нужна цитата ]

Большинство экспертов рекомендуют использовать несколько критериев для оценки эффективности учителей.[27]

Смотрите также

Рекомендации

  1. ^ а б c d е ж Диллон, Сэм. «Методика оценки учителей провоцирует драки», Нью-Йорк Таймс, 31 августа 2010 г. По состоянию на 1 сентября 2010 г.
  2. ^ Также сложно рассчитать точную оценку, если у студентов много учителей в течение года. Эрик Ханушек, «Ценить учителей: сколько стоит хороший учитель?» Образование Next 11, вып. 3 (лето 2011 г.) .; Радж Четти, Джон Н. Фридман и Джона Э. Рокофф "Измерение влияния учителей II: Добавленная стоимость учителей и результаты учащихся во взрослом возрасте, American Economic Review, том 104, номер 9, сентябрь 2014 г., стр. 2633-2679.
  3. ^ Сотрудники. «Законопроект об оценке с добавленной стоимостью теперь является законом», "Федерация учителей штата Луизиана Еженедельный сборник законодательных норм, 28 мая 2010 г. Проверено 1 сентября 2010 г.
  4. ^ а б c d е ж грамм «Изучение преподавания: первые выводы из программы измерения эффективности обучения». Фонд Билла и Мелинды Гейтс. Декабрь 2010 г. Сложить резюме – Лос-Анджелес Таймс (11 декабря 2010 г.). Цитировать журнал требует | журнал = (помощь)
  5. ^ Шеррер, Джимми (2011). «Измерение обучения с помощью моделирования с добавленной стоимостью: несовершенная панацея». Бюллетень НАССП. 95 (2): 122–140. Дои:10.1177/0192636511410052. S2CID  145460616.
  6. ^ а б Оттерман, Шарон (26 декабря 2010 г.). «Возникают препятствия на пути к оценке учителей». Нью-Йорк Таймс.
  7. ^ Ротштейн, Джесси М. (февраль 2010 г.). «Качество учителей в образовательном производстве: отслеживание, упадок и успеваемость учащихся» (PDF). Ежеквартальный журнал экономики. Архивировано из оригинал (PDF) на 2013-07-20. Получено 2013-12-07.
  8. ^ а б Томас Дж. Кейн, Дэниел Ф. Маккафри, Трей Миллер и Дуглас О. Стайгер, выявили ли мы эффективных учителей? Проверка мер эффективного обучения с использованием случайного распределения. Проект МЕТ: ​​Фонд Билла и Мелинды Гейтс (январь 2013 г.)
  9. ^ Четти, Радж; Фридман, Джон Н .; Рокофф, Иона. «Измерение влияния учителей I: Оценка систематической ошибки в оценках добавленной стоимости учителей». Американский экономический обзор. Американская экономическая ассоциация.
  10. ^ Грин, Элизабет (2014). Как стать лучшим учителем: как работает обучение (и как научить этому всех). W. W. Norton & Company. стр.40 –44. ISBN  978-0-393-08159-6. Создание лучшего учителя.
  11. ^ Эрик А. Ханушек, "Характеристики учителей и достижения учащихся: оценка с использованием микроданных", Американский экономический обзор, 61 (2), май 1971 г., стр. 280-288; Эрик А. Ханушек, «Компромисс между количеством детей и качеством», Журнал политической экономии, 100 (1), февраль 1992 г., стр. 84-117.
  12. ^ Линдси, Леон (2 июня 1983 г.). «Консервативный аналитический центр Стэнфорда находится под огнем». The Christian Science Monitor. Получено 30 августа 2013.
  13. ^ де лама, Джордж (3 марта 1993 г.). «Когда Республиканская партия потеряла власть, консервативный аналитический центр стал более спокойным местом». Чикаго Трибьюн. Получено 30 августа 2013.
  14. ^ "Башне Гувера мозговому центру исполняется 50 лет". Daily News of Los Angeles. 19 июля 1991 г.. Получено 30 августа 2013.
  15. ^ Ричард Дж. Мурнейн, Влияние школьных ресурсов на обучение детей из внутренних районов города, Баллинджер.
  16. ^ Эрик А. Ханушек и Стивен Г. Ривкин, «Обобщения об использовании дополнительных показателей качества учителей», Американский экономический обзор, 100 (2), май 2010 г., стр. 267-271. Дои:10.1257 / aer.100.2.267
  17. ^ Маккаффри, Дэниел Ф .; Lockwood, J. R .; Корец, Даниэль М .; и Гамильтон, Лаура С. «Оценка моделей с добавленной стоимостью для подотчетности учителей», RAND Corporation, 2003. Проверено 1 сентября 2010 г.
  18. ^ Бриггс Д. и Доминг Б. «Due Diligence и оценка учителей», Национальный центр образовательной политики, 2011. По состоянию на 3 апреля 2011 г.
  19. ^ Ротштейн, Р. «Обзор изучения преподавания», Национальный центр образовательной политики, Декабрь 2010 г.
  20. ^ "Отчет Гейтса, рекламирующий" добавленную стоимость ", пришел к неверному выводу | Национальный центр образовательной политики". Nepc.colorado.edu. 2011-01-13. Получено 2014-01-13.
  21. ^ Грегори Бранч, Эрик Ханушек, и Стивен Г. Ривкин, «Школьные лидеры имеют значение: оценка влияния эффективных директоров», Образование Далее 13 (1), зима 2013 г.
  22. ^ Бейкер, Ева Л.; Barton, Paul E .; Дарлинг-Хэммонд, Линда; Хертель, Эдвард; Ladd, Hellen F .; Линн, Роберт Л.; Равич, Дайан; Ротштейн, Ричард; Шавелсон, Ричард Дж .; и Шепард, Лорри А. «Проблемы с использованием результатов тестов учащихся для оценки учителей», Институт экономической политики, 29 августа 2010 г. По состоянию на 1 сентября 2010 г.
  23. ^ Брейси, Джеральд, «Вычтенная ценность:« Дебаты »с Уильямом Сандерсом», HuffPost, 1 мая 2007 г. Проверено 17 сентября 2012 г.
  24. ^ Американская статистическая ассоциация, «Заявление ASA об использовании моделей с добавленной стоимостью для оценки образования», 8 апреля 2014 г. По состоянию на 4 августа 2017 г.
  25. ^ Юинг, Джон, «Математическое запугивание: на основе данных», Уведомления Американского математического общества, 58: 5, May 2011. По состоянию на 4 августа 2017 г.
  26. ^ Харрис, Дуглас Н .; Сасс, Тим Р. (2011). «Подготовка учителей, качество учителей и успеваемость учащихся». Журнал общественной экономики. 95 (7–8): 798–812. CiteSeerX  10.1.1.567.1794. Дои:10.1016 / j.jpubeco.2010.11.009.
  27. ^ Патрисия Х. Хинчи (декабрь 2010 г.). «Правильная оценка учителей: что политики могут извлечь из исследований». Краткое изложение политики NEPC.

внешняя ссылка