Эффект режима - Mode effect

Эффект режима - широкий термин, относящийся к явлению, когда конкретный опрос режим администрирования вызывает сбор разных данных. Например, при задании вопроса в двух разных режимах (например бумага и телефон), ответы в одном режиме могут значительно и существенно отличаться от ответов в другом режиме. Эффекты режима - это методологический артефакт, ограничивающий возможность сравнения результатов из разных режимов сбора.

Теория

Определенные режимы опроса помещают респондентов в разные настроения, называемые мысленным «сценарием».^[1] Это может повлиять на результаты, которые они дают. Например:

Очные опросы подсказывают «гостевой» сценарий. Респонденты с большей вероятностью будут относиться к интервьюерам, проводящим личные беседы, любезно и гостеприимно, что приведет к их большей доброжелательности и повлияет на их ответы. Различия между интервьюерами, проводящими опрос, также могут привести к целому ряду «эффектов интервьюера» на результаты опроса.
Телефонные интервью подсказывают сценарий «солиситора» или «телемаркетера». Респонденты могут уделять меньше внимания телефонным интервью, что повышает их вероятность удовлетворить (отвечайте на вопросы с наименьшими усилиями), чтобы закончить интервью раньше. Настороженность в отношении того, кто может находиться на другом конце телефона, также может побудить респондентов дать более социально приемлемые ответы, чем в других режимах опроса.

Эффекты режима, вероятно, будут больше, когда различия между режимами больше^{[нужна цитата ]}. Личные интервью существенно отличаются от форм, заполняемых вручную на бумаге. Напротив, веб-опросы, ручная работа и другие формы для самостоятельного заполнения очень похожи (каждая из них требует, чтобы респонденты прочитали вопрос и лично ответили на него), и поэтому эффекты режима могут быть минимизированы.

Пользователи опросов должны учитывать возможность эффектов режима при сравнении результатов исследований в разных режимах. Однако это сложно, поскольку эффекты режима могут быть сложными и зависеть от взаимодействия между демографическими характеристиками респондентов, предметом обсуждения и режимом. До тех пор, пока эффекты режима не будут формально исследованы для инструмента обследования, будет трудно количественно оценить их размер, и вместо этого потребуются качественные суждения экспертов, знакомых с предметом и соответствующими режимами.

Предубеждение социальной желательности

Исследования эффектов режима иногда противоречивы, но некоторые общие закономерности все же обнаруживаются. Например, Предубеждение социальной желательности имеет тенденцию быть самым высоким для телефонных опросов и самым низким для веб-опросов:^[2]^[3]

Телефонные опросы
Очные опросы
IVR опросы
Почтовые опросы
Интернет-опросы

Поэтому, поскольку данные, собранные по деликатным темам (например, сексуальное поведение или незаконная деятельность), будут меняться в зависимости от режима администрирования, исследователям следует с осторожностью комбинировать данные или сравнивать результаты, полученные в разных режимах.

Различия в вопросах между режимами

Некоторые режимы требуют иной формулировки вопросов, чем другие, чтобы соответствовать особенностям режима. Например, для самостоятельного заполнения форм могут использоваться списки примеров или подробные инструкции, помогающие респондентам ответить на относительно сложные вопросы. Напротив, в телефонных интервью респонденты часто ограничиваются своими рабочая память и вряд ли поймете длинный вопрос с множеством подпунктов. Другой пример - «матрица» вопросов, обычно встречающаяся в самозаполненных формах, которую нелегко прочитать во время устного интервью; скорее матрица, как правило, должна быть написана в виде серии отдельных вопросов.

Различия в формулировках вопросов в разных режимах могут привести к сбору разных данных в разных режимах. Однако это не всегда так, и соответствующая адаптация вопросов к новому режиму может дать сопоставимые данные.^{[нужна цитата ]}. Разработчики опросов должны учитывать условные обозначения режима при адаптации вопросов. Например, хотя может быть приемлемым требовать, чтобы респонденты сами подсчитывали итоговые цифры в бумажной форме, респонденты могут посчитать обременительным, если это требуется в веб-форме (где респонденты могут ожидать, что итоговые значения будут вычисляться компьютером автоматически) . Это, в свою очередь, может изменить их отношение к форме, изменить их поведение и, в конечном итоге, изменить собранные данные.

Выявление и устранение эффектов режима

Эффекты режима можно определить, вставив эксперимент в рамках опроса, где доля респондентов отнесена к каждому режиму. Различия в результатах для каждого режима должны определять «эффект режима» для данного конкретного опроса.

После того, как эффект режима был количественно определен, можно использовать эту информацию для повторной обработки существующих данных и обеспечения возможности сравнения данных, собранных в разных режимах (например, с помощью ретроспективный анализ временной ряд для определения того, какими были бы прошлые результаты, если бы они вводились в новом режиме).

Дифференциальный охват между режимами

Различные режимы введения могут по своей природе исключать некоторые части целевой популяции. Это потенциально смещает взятый образец и изменяет данные по сравнению с данными, которые были бы собраны с использованием другого режима. Например, люди без домашнего телефона исключаются из опросов случайного набора цифр (RDD), а люди без доступа в Интернет вряд ли пройдут веб-опрос. Это означает, что при использовании разных режимов из совокупности берутся разные образцы. Если эксперименты не предназначены специально для исследования дифференциального покрытия, эффекты режима будут сбит с толку по охвату ^[4], а значительные различия между режимами / условиями эксперимента могут иметь несколько объяснений:

свойства режима; com3
разные «типы» людей, реагирующие на разные способы;
обе свойства режима и различные «типы» респондентов (в аддитивной форме);
ан взаимодействие, где на одних респондентов свойства режима влияют, а на других - нет.

Эта проблема усугубляется, когда при «живом» администрировании опроса используются несколько режимов. В некоторых опросах используется несколько режимов, что позволяет респондентам выбрать наиболее удобный для них метод. То есть ожидается, что разные «типы» респондентов будут выполнять разные формы на основе своего собственного выбора. В этом случае эффекты режима сложно определить количественно, поскольку случайное распределение респондентов по условию не отражает их предпочтений. Такому эксперименту не хватает внешняя валидность и результаты не будут напрямую обобщаться на ситуации, предлагающие респондентам выбор. Неспособность случайным образом распределить участников по условию (т.е. дать им возможность выбора, тем самым сохраняя внешнюю достоверность) будет означать, что очевидные различия между режимами отражают комбинированный эффект а) разных типов респондентов, выбирающих каждый режим, и б) любых эффектов режима.