Оценка воздействия - Impact evaluation

Оценка воздействия оценивает изменения, которые могут быть связаны с конкретным вмешательством, таким как проект, программа или политика, как предполагаемые, так и в идеале непредвиденные.[1] В отличие от мониторинга результатов, который исследует, были ли достигнуты цели, оценка воздействия построена так, чтобы ответить на вопрос: как бы изменились такие результаты, как благополучие участников, если бы вмешательство не было предпринято? Это включает в себя контрфактический анализ, то есть «сравнение между тем, что произошло на самом деле, и тем, что произошло бы в отсутствие вмешательства».[2] Оценка воздействия стремится ответить на вопросы о причинно-следственных связях. Другими словами, они ищут изменения в результатах, которые напрямую связаны с программой.[3]

Оценка воздействия помогает людям ответить на ключевые вопросы для разработки политики на основе фактов: что работает, а что нет, где, почему и сколько? В последние годы ему уделялось все больше внимания при разработке политики как в западных, так и в развивающихся странах.[4] Это важный компонент арсенала оценка инструменты и подходы и являются неотъемлемой частью глобальных усилий по повышению эффективности оказания помощи и государственных расходов в целом для повышения уровня жизни.[5] Первоначально больше ориентировались на оценку программ социального сектора в развивающихся странах, особенно условные денежные переводы, оценка воздействия в настоящее время все чаще применяется в других областях, таких как сельское хозяйство, энергетика и транспорт.

Планы контрфактической оценки

Контрфактический Анализ позволяет оценщикам определять причину и следствие между вмешательствами и результатами. «Контрфактические» меры, что произошло бы с бенефициарами в отсутствие вмешательства, и влияние оценивается путем сравнения контрфактических результатов с результатами, наблюдаемыми в рамках вмешательства. Ключевая проблема при оценке воздействия заключается в том, что контрфакты не могут быть непосредственно обнаружены и должны быть аппроксимированы относительно группы сравнения. Существует ряд принятых подходов к определению подходящей группы сравнения для контрфактического анализа с использованием либо перспективной (ex ante), либо ретроспективной (ex post) схемы оценки. Перспективные оценки начинаются на этапе разработки вмешательства, включая сбор исходных и конечных данных от бенефициаров вмешательства («группа лечения») и лиц, не получающих помощь («группа сравнения»); они могут включать отбор отдельных лиц или сообществ в группы лечения и сравнения. Ретроспективные оценки обычно проводятся после фазы реализации и могут использовать существующие данные обследований, хотя при лучших оценках данные будут собираться как можно ближе к исходному уровню, чтобы обеспечить сопоставимость вмешательств и групп сравнения.

Существует пять ключевых принципов, относящихся к внутренней валидности (дизайн исследования) и внешней валидности (обобщаемости), на которые следует обратить внимание при тщательной оценке воздействия: смешивающие факторы, критерий отбора, побочные эффекты, загрязнение и неоднородность воздействия.[6]

  • Сбивает с толку происходит, когда определенные факторы, обычно относящиеся к социально-экономическому статусу, коррелируют с воздействием вмешательства и, независимо от воздействия, причинно связаны с интересующим результатом. Таким образом, смешивающие факторы являются альтернативными объяснениями наблюдаемой (возможно, ложной) связи между вмешательством и результатом.
  • Критерий отбораособый случай смешения, когда участники вмешательства неслучайно выбираются из популяции-бенефициара, а критерии, определяющие выбор, коррелируют с результатами. Ненаблюдаемые факторы, которые связаны с доступом к вмешательству или участием в нем и причинно связаны с интересующим результатом, могут привести к ложной связи между вмешательством и результатом, если не учтены. Самоотбор происходит там, где, например, более способные или организованные люди или сообщества, которые с большей вероятностью добьются лучших результатов, представляющих интерес, также с большей вероятностью будут участвовать в вмешательстве. Эндогенный выбор программы происходит, когда отдельные лица или сообщества выбираются для участия, потому что, как считается, они с большей вероятностью выиграют от вмешательства. Игнорирование мешающих факторов может привести к проблеме смещения переменной. В частном случае смещения отбора эндогенность переменных выбора может вызвать смещение одновременности.
  • Распространение (называемое заражением в случае экспериментальных оценок) происходит, когда вмешательство затрагивает членов группы сравнения (контрольной).
  • Загрязнение происходит, когда члены группы лечения и / или группы сравнения имеют доступ к другому вмешательству, которое также влияет на интересующий результат.
  • Неоднородность воздействия относится к различиям в воздействии в зависимости от типа получателя и контекста. Высококачественные оценки воздействия позволят оценить степень, в которой различные группы (например, обездоленные) получают выгоду от вмешательства, а также потенциальное влияние контекста на воздействие. Степень обобщения результатов будет определять применимость извлеченных уроков для вмешательств в других контекстах.

Планы оценки воздействия идентифицируются по типу методов, используемых для создания контрфактических фактов, и могут быть в целом разделены на три категории - экспериментальные, квазиэкспериментальные и неэкспериментальные планы, которые различаются по выполнимости, стоимости, вовлеченности на этапе проектирования или после этапа реализации вмешательство и степень систематической ошибки отбора. Белый (2006)[7] и Равальон (2008)[8] обсудить альтернативные подходы к оценке воздействия.

Экспериментальные подходы

Дальнейшая информация: Экспериментальная конструкция

При экспериментальной оценке группы лечения и сравнения выбираются случайным образом и изолированы как от вмешательства, так и от любых вмешательств, которые могут повлиять на интересующий результат. Эти схемы оценки называются рандомизированные контрольные испытания (РКИ). В экспериментальных оценках группу сравнения называют контрольная группа. Когда рандомизация проводится на достаточно большой выборке без заражения от вмешательства, единственная разница между лечебной и контрольной группами в среднем состоит в том, что последняя не получает вмешательства. Обследования со случайной выборкой, в которых выборка для оценки выбирается случайным образом, не следует путать с экспериментальными планами оценки, которые требуют случайного распределения лечения.

Экспериментальный подход часто называют «золотым стандартом» оценки. Это единственный дизайн оценки, который может окончательно объяснить систематическую ошибку отбора при демонстрации причинно-следственной связи между вмешательством и результатами. Рандомизация и изоляция от вмешательств могут быть неосуществимы в сфере социальной политики, и их может быть сложно защищать с этической точки зрения.[9] хотя могут быть возможности использовать натурные эксперименты. Бамбергер и Уайт (2007)[10] выделить некоторые ограничения в применении РКИ к вмешательствам в области развития. Методологическая критика была сделана Скривеном (2008).[11] из-за внесенных предубеждений, поскольку социальные вмешательства не могут быть полностью ослепленный, и Дитон (2009)[12] отметил, что на практике анализ РКИ опирается на подходы, основанные на регрессии, которых они стремятся избежать, и поэтому подвержены тем же потенциальным ошибкам. Другие проблемы включают часто неоднородные и меняющиеся контексты вмешательств, логистические и практические проблемы, трудности с мониторингом предоставления услуг, доступность вмешательства для группы сравнения и изменения критериев отбора и / или вмешательства с течением времени. Таким образом, по оценкам, RCT применимы только к 5% финансирования развития.[10]

Рандомизированные контрольные испытания (РКИ)

РКИ - это исследования, используемые для измерения эффективности нового вмешательства. Они вряд ли смогут доказать причинно-следственную связь сами по себе, однако рандомизация снижает систематическую ошибку, предоставляя инструмент для изучения причинно-следственных связей.[13] РКИ основаны на случайном назначении, а это означает, что такая оценка почти всегда должна быть спланирована. ex ante, поскольку естественное назначение проекта случается редко.[14] При разработке РКИ необходимо задать пять ключевых вопросов: какое лечение будет тестироваться, сколько групп лечения будет, какова будет единица назначения, какой объем выборки потребуется, как будет проводиться тест быть рандомизированным.[14] Хорошо проведенное рандомизированное контролируемое исследование даст достоверную оценку среднего эффекта лечения в пределах одной конкретной популяции или единицы назначения.[15] Недостатком рандомизированных контролируемых испытаний является «проблема транспортировки», в которой подчеркивается, что то, что работает в одной популяции, не обязательно работает в другой, а это означает, что средний эффект лечения неприменим для разных единиц назначения.[15]

Натуральные эксперименты

Естественные эксперименты используются, потому что эти методы ослабляют внутреннее напряжение неконтролируемого поля и подходы к сбору контролируемых лабораторных данных.[16] В естественных экспериментах используются события, находящиеся вне контроля исследователей и субъектов, для устранения нескольких угроз внутренней достоверности, сводя к минимуму вероятность смешивания элементов, жертвуя при этом некоторыми особенностями полевых данных, такими как более естественные диапазоны лечебных эффектов и наличие органично сформированный контекст.[16] Основная проблема с естественными экспериментами - проблема воспроизводимости. Лабораторная работа, если ее правильно описать и повторить, должна дать аналогичные результаты. Из-за уникальности естественных экспериментов репликация часто ограничивается анализом альтернативных данных из аналогичного события.[16]

Неэкспериментальные подходы

Квазиэкспериментальный дизайн

Квази-экспериментальный подходы могут устранить предвзятость, возникающую из-за выбора наблюдаемых и, если доступны панельные данные, не зависящих от времени ненаблюдаемых. Квазиэкспериментальные методы включают сопоставление, сравнение, инструментальные переменные и конвейерный подход; они обычно выполняются многомерным регрессивный анализ.

Если характеристики отбора известны и наблюдаются, ими можно управлять, чтобы устранить систематическую ошибку. Сопоставление включает сравнение участников программы с неучастниками на основе наблюдаемых характеристик отбора. Соответствие баллов склонности (PSM) использует статистическую модель для расчета вероятности участия на основе набора наблюдаемых характеристик и сопоставляет участников и неучастников с аналогичными оценками вероятности. Дизайн разрывов регрессии использует правило принятия решения о том, кто получает, а кто не получает вмешательство, для сравнения результатов для тех, кто находится по обе стороны от этого порогового значения.

Разница в различиях или двойные различия, которые используют данные, собранные на исходном уровне и в конце для групп вмешательства и сравнения, могут использоваться для учета систематической ошибки отбора при предположении, что ненаблюдаемые факторы, определяющие выбор, фиксируются во времени (неизменны во времени).

Инструментальные переменные оценка учитывает систематическую ошибку отбора путем моделирования участия с использованием факторов («инструментов»), которые коррелируют с отбором, но не с результатом, тем самым выделяя аспекты участия в программе, которые можно рассматривать как экзогенные.

Трубопроводный подход (ступенчато-клиновая конструкция ) использует бенефициаров, уже выбранных для участия в проекте на более позднем этапе, в качестве группы сравнения. Предполагается, что, поскольку они были отобраны для получения вмешательства в будущем, они похожи на группу лечения и, следовательно, сопоставимы с точки зрения представляющих интерес переменных результатов. Однако на практике нельзя гарантировать, что группы лечения и сравнения сопоставимы, и для проверки сопоставимости потребуется применить какой-либо метод сопоставления.

Неэкспериментальный дизайн

Неэкспериментальные оценки воздействия называются так, потому что они не включают группу сравнения, не имеющую доступа к вмешательству. Метод, используемый в неэкспериментальной оценке, заключается в сравнении групп вмешательства до и после проведения вмешательства. Вмешательство прерванный временной ряд (ITS) оценки требуют нескольких точек данных по пациентам, получавшим лечение, до и после вмешательства, в то время как до и после (или до тестирования после тестирования) просто требуется одна точка данных до и после. Пост-тестовый анализ включает данные после вмешательства только от группы вмешательства. Неэкспериментальные планы - самый слабый дизайн оценки, потому что, чтобы убедительно показать причинно-следственную связь между вмешательством и результатами, оценка должна продемонстрировать, что любые возможные альтернативные объяснения результатов не имеют отношения к делу. Тем не менее, остаются приложения, для которых эта конструкция актуальна, например, для расчета экономии времени за счет вмешательства, которое улучшает доступ к удобствам. Кроме того, могут быть случаи, когда неэкспериментальные схемы являются единственно возможной схемой оценки воздействия, например, универсально реализуемые программы или реформы национальной политики, в которых, вероятно, не будет никаких изолированных групп сравнения.

Предубеждения в оценке результатов программы

Рандомизированные полевые эксперименты - это самый надежный исследовательский дизайн для оценки воздействия программы. Говорят, что этот конкретный план исследования обычно является предпочтительным, когда это возможно, поскольку он позволяет получить справедливую и точную оценку фактических результатов программы (Rossi, Lipsey & Freeman, 2004).

С учетом сказанного, рандомизированные полевые эксперименты не всегда возможно провести, и в таких ситуациях в распоряжении оценщика есть альтернативные планы исследований. Однако основная проблема заключается в том, что независимо от того, какой дизайн выберет оценщик, они подвержены общей проблеме: независимо от того, насколько хорошо продуман или реализован план, каждый проект может давать предвзятые оценки результатов программы. Эти предубеждения играют роль преувеличения или уменьшения эффектов программы. Не только это, но и направление, в котором может развиваться систематическая ошибка, обычно не может быть известно заранее (Росси и др., 2004). Эти предубеждения влияют на интересы заинтересованных сторон. Более того, возможно, что участники программы окажутся в невыгодном положении, если предвзятость такова, что она способствует тому, что неэффективная или вредная программа кажется эффективной. Также существует вероятность того, что предвзятость может сделать эффективную программу неэффективной или даже настолько вредной. Это может сделать достижения программы небольшими или даже незначительными, что вынудит персонал и даже заставит спонсоров программы сократить или отменить финансирование программы (Росси и др., 2004).

Можно с уверенностью сказать, что если неадекватный дизайн приводит к предвзятости, заинтересованные стороны, которые в значительной степени несут ответственность за финансирование программы, будут больше всего обеспокоены; Результаты оценки помогают заинтересованным сторонам решить, продолжать ли финансирование программы, потому что окончательное решение остается за спонсорами и спонсорами. Не только заинтересованные стороны больше всего заинтересованы, но и те, кто принимает участие в программе или те, на кого программа предназначена положительно повлиять, будут затронуты выбранным дизайном и результатом, полученным с помощью этого выбранного дизайна. Таким образом, оценщик стремится свести к минимуму степень систематической ошибки при оценке результатов программы (Росси и др., 2004).

Предубеждения обычно видны в двух ситуациях: когда измерение результата с использованием программы или оценка того, каким был бы результат без воздействия программы, выше или ниже соответствующего «истинного» значения (p267). К сожалению, не все формы предвзятости, которые могут повлиять на оценку воздействия, очевидны (Rossi et al., 2004).

Наиболее распространенной формой дизайна оценки воздействия является сравнение двух групп лиц или других единиц: группы вмешательства, которая получает программу, и контрольной группы, которая не получает. Оценка эффекта программы затем основывается на разнице между группами по подходящей оценке результатов (Росси и др., 2004). Случайное распределение людей по программным и контрольным группам позволяет сделать предположение о продолжающейся эквивалентности. Групповые сравнения, которые не были сформированы путем рандомизации, известны как неэквивалентные схемы сравнения (Rossi et al., 2004).

Критерий отбора

При отсутствии предположения об эквивалентности разница в результатах между группами, которая могла бы возникнуть независимо, создает некоторую форму смещения в оценке результатов программы. Это известно как систематическая ошибка отбора (Росси и др., 2004). Это создает угрозу достоверности оценки воздействия программы при любой оценке воздействия с использованием неэквивалентного плана сравнения групп и появляется в ситуациях, когда какой-либо процесс, ответственный за воздействия, которые не полностью известны, выбирает, какие люди будут в какой группе, а не в группе. распределение по группам определяется чистой случайностью (Росси и др., 2004). Это может быть из-за самостоятельного выбора участников или из-за размещения в программе (предвзятость при размещении).[17]

Систематическая ошибка отбора может происходить из-за естественных или преднамеренных процессов, которые вызывают потерю данных о результатах для членов уже сформированных групп вмешательства и контроля. Это называется истощением и может происходить двумя способами (Rossi et al., 2004): цели выпадают из интервенции, или контрольная группа не может быть достигнута, или цели отказываются сотрудничать в измерении результатов. Дифференциальное истощение предполагается, когда истощение происходит не в результате явного случайного процесса (Росси и др., 2004). Это означает, что «те люди, которые были из группы вмешательства, чьи данные об исходах отсутствуют, не могут считаться имеющими такие же релевантные для результатов характеристики, как и лица из контрольной группы, данные о которых отсутствуют» (Rossi et al., 2004, p271) . Однако планы случайного распределения небезопасны от систематической ошибки отбора, вызванной отсевом (Rossi et al., 2004).

Другие формы предвзятости

Есть и другие факторы, которые могут быть причиной смещения результатов оценки воздействия. Как правило, они связаны с другими событиями или переживаниями, а не с программой, которые происходят во время вмешательства. Эти предубеждения включают вековые тенденции, мешающие события и созревание (Росси и др., 2004).

Светские тенденции или вековой дрейф

Светские тенденции можно определить как относительно долгосрочные тенденции в сообществе, регионе или стране. Это также называется вековым дрейфом и может вызывать изменения, которые усиливают или маскируют очевидные эффекты a (Росси и др., 2004). Например, когда уровень рождаемости в общине снижается, программа по снижению рождаемости может оказаться эффективной из-за предвзятости, проистекающей из этой тенденции к снижению (Росси и др., 2004, стр. 273).

Мешающие события

Мешающие события похожи на светские тенденции; в этом случае именно краткосрочные события могут вызвать изменения, которые могут внести систематическую ошибку в оценку эффекта программы, например, отключение электроэнергии, нарушающее связь или затрудняющее доставку пищевых добавок, может помешать программе питания (Росси и др., 2004, с. 273).

Созревание

При оценке воздействия необходимо учитывать тот факт, что естественные процессы созревания и развития могут привести к значительным изменениям независимо от программы. Включение этих изменений в оценки воздействия программы приведет к смещению оценок. Примером такой формы предвзятости может быть программа по улучшению профилактических мероприятий среди взрослых, которая может показаться неэффективной, поскольку здоровье обычно ухудшается с возрастом (Росси и др., 2004, стр. 273).

«Тщательное поддержание сравнимых условий для программных и контрольных групп между случайным распределением и измерением результатов должно предотвратить систематическую ошибку из-за влияния другого дифференциального опыта или событий на группы. Если какое-либо из этих условий отсутствует в плане, существует вероятность систематической ошибки в оценки эффекта программы »(Росси и др., 2004, стр. 274).

Методы оценки

Методы оценки в целом соответствуют планам оценки. Для разных дизайнов требуются разные методы оценки, чтобы измерить изменения в благополучии, не соответствующие фактам. При экспериментальной и квазиэкспериментальной оценке предполагаемое воздействие вмешательства рассчитывается как разница средних результатов между лечебной группой (те, кто получает вмешательство) и контрольной группой или группой сравнения (те, кто этого не делает). Этот метод также называют рандомизированными контрольными испытаниями (РКИ). Согласно интервью с Джимом Рафом, бывшим представителем Американской ассоциации оценки, в журнале D + C Развитие и сотрудничество, этот метод не подходит для сложных, многослойных материалов. Оценщик единственной разницы сравнивает средние результаты в конце исследования и действителен, когда экспериментальная и контрольная группы имеют одинаковые значения результатов на исходном уровне. Оценщик разницы в разнице (или двойной разности) вычисляет разницу в изменении результата с течением времени для групп лечения и сравнения, таким образом используя данные, собранные на исходном уровне для обеих групп, и второй раунд данных, собранных в конце, после проведения вмешательства, что может произойти спустя годы.[18]

Оценки воздействия, которые должны сравнивать средние результаты в группе лечения, независимо от участия бенефициара (также называемого «комплаенс» или «приверженность»), с результатами в группе сравнения, называются анализами намерения лечиться (ITT). . Оценка воздействия, при которой сравниваются результаты среди бенефициаров, которые соблюдают или соблюдают вмешательство в группе лечения, с результатами в контрольной группе, называются анализами лечения на основе лечения (TOT). Таким образом, ITT дает более низкую оценку воздействия, но, возможно, имеет большее политическое значение, чем TOT, при анализе добровольных программ.[19]

Дебаты

Несмотря на то, что существует согласие относительно важности оценки воздействия и появляется консенсус в отношении использования контрфактических методов оценки, в последние годы также широко обсуждались как определение оценки воздействия, так и использование соответствующих методов (см. White 2009[20] для обзора).

Определения

Международная инициатива по оценке воздействия (3ie) определяет строгие оценки воздействия как: «анализ, который измеряет чистое изменение результатов для определенной группы людей, которое может быть отнесено к конкретной программе, с использованием наилучшей доступной, выполнимой и подходящей для оценки методологии. вопрос, который исследуется, и к конкретному контексту ".[21]

Согласно Инициативе DIME Всемирного банка, «оценки воздействия сравнивают результаты программы с контрфактами, которые показывают, что произошло бы с бенефициарами без программы. В отличие от других форм оценки, они позволяют отнести наблюдаемые изменения в результатах к программе. оценивается с помощью следующих экспериментальных и квазиэкспериментальных схем ".[22]

Аналогичным образом, согласно США Агентство по охране окружающей среды Оценка воздействия - это форма оценки, которая оценивает чистый эффект программы путем сравнения результатов программы с оценкой того, что произошло бы в отсутствие программы.[23]

По данным Всемирного банка Группа независимой оценки (IEG), оценка воздействия - это систематическая идентификация положительных или отрицательных, преднамеренных или непреднамеренных воздействий на отдельные домохозяйства, учреждения и окружающую среду, вызванных данной деятельностью по развитию, такой как программа или проект.[24]

Оценка воздействия за последние несколько десятилетий определялась по-другому.[7] Другие интерпретации оценки воздействия включают:

  • Оценка, которая рассматривает влияние вмешательства на конечные результаты благосостояния, а не только на результаты проекта, или оценка процесса, направленная на реализацию;
  • Оценка, проводимая через некоторое время (от пяти до десяти лет) после завершения вмешательства, чтобы дать время проявиться; и
  • Оценка, учитывающая все вмешательства в данном секторе или географической области.

Другие авторы проводят различие между «оценкой воздействия» и «оценкой воздействия». «Оценка воздействия» использует эмпирические методы для оценки воздействия вмешательств и их статистической значимости, тогда как «оценка воздействия» включает более широкий набор методов, включая структурное моделирование и другие подходы, которые не могут проверить статистическую значимость.[17]

Общие определения «воздействия», используемые при оценке, обычно относятся к совокупности долгосрочных последствий, связанных с вмешательством, на исходы качества жизни. Например, Комитет содействия развитию Организации экономического сотрудничества и развития (OECD-DAC) определяет воздействие как «положительные и отрицательные, первичные и вторичные долгосрочные эффекты, вызванные вмешательством в области развития, прямо или косвенно, преднамеренно или непреднамеренно».[25] Ряд международных агентств также приняли это определение воздействия. Например, ЮНИСЕФ определяет воздействие как «более долгосрочные результаты программы - технические, экономические, социокультурные, институциональные, экологические или другие - запланированные или непреднамеренные. Предполагаемое воздействие должно соответствовать цели программы».[26] Точно так же Evaluationwiki.org определяет оценку воздействия как оценку, которая выходит за рамки непосредственных результатов политики, инструкций или услуг, чтобы определить долгосрочные, а также непредвиденные эффекты программы.[27]

Технически, оценка может быть проведена для оценки «воздействия», как определено здесь, без ссылки на контрфакты. Однако большая часть существующей литературы (например, Руководство NONIE по оценке воздействия[28] принимает определение воздействия ОЭСР-КСР, ссылаясь на методы, используемые для приписывания воздействия вмешательству, как обязательного основанного на контрфактическом анализе.

В термине «оценка воздействия» не хватает того, как «воздействие» проявляется в долгосрочной перспективе. Например, большинство планов «логической структуры» мониторинга и оценки имеют входы-выходы-результаты и ... воздействия. Хотя первые три появляются во время самого проекта, воздействие занимает гораздо больше времени. Например, в 5-летнем сельскохозяйственном проекте семена являются исходными ресурсами, фермеры, обученные их использованию, являются нашими результатами, изменения в урожайности в результате правильного посева семян в результате и более стабильная продовольственная безопасность семей с течением времени является важным фактором. влияние. Такой послепроектные оценки воздействия очень редки. Их также называют оценками постфактум или мы вводим термин оценки устойчивого воздействия. Хотя их требуют сотни тысяч документов, доноры редко обладают гибкостью финансирования - или интересом - чтобы вернуться, чтобы увидеть, насколько устойчивыми и долговечными остались наши вмешательства после закрытия проекта, после того, как ресурсы были изъяты. Есть много уроки, которые необходимо извлечь для проектирования, реализации, МиО и как воспитывать деревенская собственность.

Методологические дебаты

В академических кругах ведутся интенсивные дискуссии по поводу подходящих методологий оценки воздействия между сторонниками экспериментальных методов, с одной стороны, и сторонниками более общих методологий, с другой. Уильям Истерли назвал это «Гражданская война в экономике развития». Сторонники экспериментального дизайна, которых иногда называют «рандомистами»,[9] утверждают, что рандомизация является единственным средством обеспечения учета ненаблюдаемой систематической ошибки отбора, и что создание хрупкой экспериментальной базы данных следует развивать в приоритетном порядке.[29] Напротив, другие утверждают, что рандомизированное распределение редко уместно для вмешательств в области развития, и даже когда это так, эксперименты предоставляют нам информацию о результатах конкретного вмешательства, примененного к конкретному контексту, и мало имеют внешнего значения.[30] Органы оценки и другие организации критиковали за то, что некоторые доноры и ученые чрезмерно подчеркивают предпочтительные методы оценки воздействия.[31] и что это может фактически препятствовать обучению и подотчетности.[32] Кроме того, ведутся дискуссии о соответствующей роли качественных методов в оценке воздействия.[33][34]

Теоретическая оценка воздействия

Хотя знание эффективности имеет жизненно важное значение, важно также понимать причины эффективности и обстоятельства, при которых результаты могут быть воспроизведены. В отличие от подходов к оценке воздействия «черного ящика», которые сообщают только о средних различиях в результатах между группами лечения и сравнения, теоретическая оценка воздействия включает в себя построение причинно-следственной цепочки от исходных данных до результатов и воздействия и проверку основных предположений.[35][28] Большинство вмешательств в сфере государственной политики носят добровольный, а не принудительный (требуемый законом) характер. Кроме того, вмешательства часто бывают активными, а не пассивными, требуя большей, а не меньшей степени участия бенефициаров, и, следовательно, изменение поведения как предварительное условие эффективности. Таким образом, государственная политика будет успешной в той степени, в которой люди будут заинтересованы в том, чтобы изменить свое поведение в лучшую сторону. Теоретический подход позволяет лицам, определяющим политику, понять причины различных уровней участия в программе (называемых «соблюдение» или «приверженность») и процессы, определяющие изменение поведения. Теоретические подходы используют как количественный, так и качественный сбор данных, и последний может быть особенно полезен для понимания причин соблюдения и, следовательно, того, может ли вмешательство быть воспроизведено в других условиях и каким образом. Методы сбора качественных данных включают фокус-группы, глубинные интервью, совместную оценку сельских районов (PRA) и полевые поездки, а также чтение антропологической и политической литературы.

Белый (2009b)[35] выступает за более широкое применение теоретического подхода к оценке воздействия как средства повышения политической значимости оценок воздействия, выделяя шесть ключевых принципов теоретического подхода:

  1. Составьте схему причинно-следственной цепочки (теория программ), которая объясняет, каким образом вмешательство, как ожидается, приведет к намеченным результатам, и соберите данные для проверки основных допущений о причинных связях.
  2. Понять контекст, включая социальные, политические и экономические условия вмешательства.
  3. Ожидайте неоднородности, чтобы помочь в выявлении подгрупп и корректировке размера выборки для учета уровней дезагрегирования, которые будут использоваться в анализе.
  4. Строгая оценка воздействия с использованием достоверных контрфактов (как обсуждалось выше).
  5. Строгий фактологический анализ звеньев причинной цепи.
  6. Используйте смешанные методы (сочетание количественных и качественных методов).

Примеры

Хотя экспериментальные методологии оценки воздействия использовались для оценки мероприятий в области питания, водоснабжения и санитарии в развивающихся странах с 1980-х годов, первое и наиболее известное применение экспериментальных методов к крупномасштабной программе развития - это оценка эффективности Условный денежный перевод (CCT) программа Progresa (теперь называется Oportunidades ) в Мексике, в ходе которого был изучен ряд результатов развития, включая школьное образование, уровень иммунизации и детский труд.[36][37] С тех пор программы ОДТ были реализованы правительствами ряда стран Латинской Америки и других стран, а в отчете, опубликованном Всемирным банком в феврале 2009 года, анализируется влияние ОДТ в двадцати странах.[38]

В последнее время оценка воздействия применялась к ряду вмешательств в социальном и производственном секторах. 3ie запустила онлайн база данных оценок воздействия охват исследований, проведенных в странах с низким и средним уровнем доходов. Другие организации, публикующие оценки воздействия, включают: Инновации для борьбы с бедностью, Всемирный банк Инициатива DIME и НЕНИ. В IEG Всемирного банка систематически оценивал и обобщал опыт десяти оценок воздействия программ развития в различных секторах, проведенных за последние 20 лет.[39]

Организации, продвигающие оценку воздействия мероприятий в области развития

В 2006 году Рабочая группа по оценке пробелов[40] приводил доводы в пользу значительного пробела в фактических данных о мероприятиях в области развития, и в частности, о создании независимого органа для восполнения пробела путем финансирования и пропаганды строгой оценки воздействия в странах с низким и средним уровнем дохода. В Международная инициатива по оценке воздействия (3ie) был создан в ответ на этот отчет. 3ie стремится улучшить жизнь бедных людей в странах с низким и средним уровнем дохода, предоставляя и обобщая доказательства того, что работает, когда, почему и в какой степени. 3ie управляет программой грантов, финансирует исследования воздействия в странах с низким и средним уровнем доходов и синтетические обзоры существующих данных, обновляемые по мере появления новых данных, и поддерживает оценку воздействия на качество посредством своих услуг по обеспечению качества.

Другой инициативой, посвященной оценке воздействия, является Комитет по оценке устойчивости (COSA). COSA - это некоммерческий глобальный консорциум учреждений, поддерживаемый в партнерстве с Международным институтом устойчивого развития (IISD). Инициатива устойчивого развития сырьевых товаров, то Конференция Организации Объединенных Наций по торговле и развитию (ЮНКТАД) и ООН Центр международной торговли (ITC). COSA разрабатывает и применяет независимый инструмент измерения для анализа различных социальных, экологических и экономических последствий сельскохозяйственных практик, и в частности тех, которые связаны с реализацией конкретных программ устойчивого развития (Organic, Честная торговля так далее.). Основное внимание в этой инициативе уделяется разработке глобальных показателей и инструментов измерения, которые фермеры, политики и промышленность могут использовать для понимания и повышения своей устойчивости с различными культурами или сельскохозяйственными секторами. COSA стремится облегчить это, позволяя им точно рассчитывать относительные затраты и выгоды от участия в любой конкретной инициативе в области устойчивого развития.

Был создан ряд дополнительных организаций для содействия оценке воздействия на глобальном уровне, в том числе Инновации для борьбы с бедностью, то Фонд оценки стратегического воздействия Всемирного банка (SIEF), Инициатива Всемирного банка по оценке воздействия на развитие (DIME), Инициатива институционального обучения и изменений (ILAC) КГМСХИ и Сеть сетей по оценке воздействия (NONIE).

Систематические обзоры доказательств воздействия

Ряд организаций работают над координацией производства систематические обзоры. Систематические обзоры нацелены на устранение разрыва между исследованиями и политикой путем оценки ряда существующих данных по конкретной теме и представления информации в доступном формате. Как и строгие оценки воздействия, они разработаны на основе протокола исследования, который априори устанавливает критерии включения в исследование, поиска и методов синтеза. Систематические обзоры включают пять основных шагов: определение вмешательств, групп, результатов и дизайна исследований, которые необходимо включить; поиск для выявления опубликованной и неопубликованной литературы, а также применение критериев включения в исследование (касающихся вмешательств, популяций, результатов и дизайна исследования), как указано в Протоколе исследования; кодирование информации из исследований; представление количественных оценок эффективности вмешательств с использованием лесных участков и, если вмешательства определены как достаточно однородные, расчет объединенной сводной оценки с использованием метаанализа; наконец, систематические обзоры следует периодически обновлять по мере появления новых данных. Систематические обзоры могут также включать синтез качественной информации, например, о препятствиях или способствующих эффективности вмешательства.

Смотрите также

Рекомендации

  1. ^ Группа Всемирного банка по вопросам бедности по оценке воздействия, доступ 6 января 2008 г.
  2. ^ Уайт, Х. (2006) Оценка воздействия: опыт Независимой группы оценки Всемирного банка, Всемирный банк, Вашингтон, округ Колумбия, стр. 3
  3. ^ "Gertler, Martinez, Premand, Rawlings and Vermeersch (2011) Оценка воздействия на практике, Вашингтон, округ Колумбия: Всемирный банк". Архивировано из оригинал на 2011-07-17. Получено 2010-12-15.
  4. ^ "Авторизоваться" (PDF). Получено 16 января 2017.
  5. ^ Муаз, Джалил Мохаммад (2013), Практическое руководство по проведению исследования. Обобщение передовой исследовательской практики в соответствии со стандартом DCED
  6. ^ "Авторизоваться" (PDF). Получено 16 января 2017.
  7. ^ а б Уайт, Х. (2006) Оценка воздействия: опыт группы независимой оценки Всемирного банка, Всемирного банка, Вашингтон, округ Колумбия.
  8. ^ Раваллион, М. (2008) Оценка программ борьбы с бедностью
  9. ^ а б Мартин, Равальон (1 января 2009 г.). "Должны ли рандомисты править?". 6 (2): 1–5. Получено 16 января 2017 - через RePEc - ИДЕИ. Цитировать журнал требует | журнал = (помощь)
  10. ^ а б Бамбергер, М. и Уайт, Х. (2007) Использование эффективных схем оценки в развивающихся странах: опыт и проблемы, Журнал междисциплинарной оценки, Том 4, Номер 8, 58-73
  11. ^ Скривен (2008) Суммативная оценка методологии РКИ: и альтернативный подход к исследованию причинных связей, Журнал междисциплинарной оценки, Том 5, Номер 9, 11-24
  12. ^ Дитон, Ангус (1 января 2009 г.). «Инструменты развития: рандомизация в тропиках и поиск неуловимых ключей к экономическому развитию». SSRN  1335715. Цитировать журнал требует | журнал = (помощь)
  13. ^ Харитон, Эдуардо; Locascio, Джозеф Дж. (Декабрь 2018 г.). «Рандомизированные контролируемые испытания - золотой стандарт исследования эффективности». BJOG: Международный журнал акушерства и гинекологии. 125 (13): 1716. Дои:10.1111/1471-0528.15199. ISSN  1470-0328. ЧВК  6235704. PMID  29916205.
  14. ^ а б Уайт, Ховард (03.08.2013). «Введение в использование рандомизированных контрольных испытаний для оценки вмешательств в целях развития» Проверять | url = ценить (помощь). Журнал эффективности развития. 5: 30–49. Дои:10.1080/19439342.2013.764652. S2CID  51812043 - через Тейлора и Фрэнсиса. Проверить значения даты в: | дата = (помощь)
  15. ^ а б Дитон, Ангус; Картрайт, Нэнси (09.11.2016). «Ограничения рандомизированных контролируемых исследований». VoxEU.org. Получено 2020-10-26.
  16. ^ а б c Роу, Брайан Э .; Джаст, Дэвид Р. (декабрь 2009 г.). «Внутренняя и внешняя валидность в экономических исследованиях: компромисс между экспериментами, полевыми экспериментами, естественными экспериментами и полевыми данными». Американский журнал экономики сельского хозяйства. 91 (5): 1266–1271. Дои:10.1111 / j.1467-8276.2009.01295.x. ISSN  0002-9092.
  17. ^ а б Уайт, Ховард; Райцер, Дэвид (2017). Оценка воздействия мероприятий в области развития: практическое руководство (PDF). Манила: Азиатский банк развития. ISBN  978-92-9261-059-3.
  18. ^ Ру, Джим (22 июня 2012 г.). «Молоток в поисках гвоздей». D + C Развитие и сотрудничество. 2012 (7): 300.
  19. ^ Блум, Х. (2006) Основная аналитика рандомизированных экспериментов для социальных исследований. Рабочие документы MDRC по методологии исследования. MDRC, Нью-Йорк
  20. ^ "Уайт, Х. (2009) Некоторые размышления о текущих дебатах по оценке воздействия, Рабочий документ 1, Международная инициатива по оценке воздействия, Нью-Дели". Архивировано из оригинал на 2013-01-08. Получено 2012-10-29.
  21. ^ "Авторизоваться" (PDF). Получено 16 января 2017.
  22. ^ Всемирный банк (без даты) Инициатива по оценке воздействия на развитие (DIME), Проектный документ, Всемирный банк, Вашингтон, округ Колумбия.
  23. ^ Глоссарий оценки программы Агентства по охране окружающей среды США, доступ 6 января 2008 г.
  24. ^ Группа независимой оценки Всемирного банка, доступ 6 января 2008 г.
  25. ^ OECD-DAC (2002) Глоссарий ключевых терминов в области оценки и управления, ориентированного на результаты, Предлагаемая согласованная терминология, ОЭСР, Париж
  26. ^ ЮНИСЕФ (2004) Стандарты отчетов об оценке ЮНИСЕФ, Управление оценки, ЮНИСЕФ, Нью-Йорк, Нью-Йорк
  27. ^ «Определение оценки: что такое оценка? - EvaluationWiki». Получено 16 января 2017.
  28. ^ а б "Страница не найдена". Получено 16 января 2017. Cite использует общий заголовок (помощь)
  29. ^ "Банерджи, А. В. (2007) 'Making Aid Work' Cambridge, Boston Review Book, MIT Press, MA" (PDF). Получено 16 января 2017.[постоянная мертвая ссылка ]
  30. ^ Бамбергер, М. и Уайт, Х. (2007) Использование надежных схем оценки в развивающихся странах: опыт и проблемы, Журнал междисциплинарной оценки, Том 4, номер 8, 58-73
  31. ^ http://www.europeanevaluation.org/download/?noGzip=1&id=1969403[постоянная мертвая ссылка ] Заявление EES о важности методологически разнообразного подхода к оценке воздействия
  32. ^ http://www.odi.org.uk/resources/odi-publications/opinions/127-impact-evaluation.pdf «Золотой стандарт» - это не серебряная пуля для оценки
  33. ^ «Эффективность помощи: роль качественных исследований в оценке воздействия».
  34. ^ Проуз, Мартин; Кэмфилд, Лаура (2013). «Повышение качества помощи развитию». Прогресс в исследованиях развития. 13: 51–61. Дои:10.1177/146499341201300104. S2CID  44482662.
  35. ^ а б "Уайт, Х. (2009b) Оценка воздействия на основе теории: принципы и практика, Рабочий документ 3, Международная инициатива по оценке воздействия, Нью-Дели". Архивировано из оригинал на 2012-11-06. Получено 2012-10-29.
  36. ^ Гертлер, П. (2000) Заключительный отчет: Влияние PROGRESA на здоровье. Международный научно-исследовательский институт продовольственной политики, Вашингтон, округ Колумбия
  37. ^ "Документ без названия" (PDF). Получено 16 января 2017.
  38. ^ Фисбейн А. и Шади Н. (2009) Условные денежные переводы: сокращение нынешней и будущей бедности: Отчет об исследовании политики Всемирного банка, Всемирный банк, Вашингтон, округ Колумбия.
  39. ^ Оценка воздействия: опыт группы независимой оценки Всемирного банка, 2006 г.
  40. ^ «Когда мы когда-нибудь научимся? Улучшение жизни с помощью оценки воздействия». Получено 16 января 2017.

Источники и внешние ссылки