Интернет-эксперименты - Web-based experiments

А Интернет-эксперимент или же Интернет-эксперимент является эксперимент что проводится в Интернет. В таких экспериментах Интернет либо " средний с помощью которых можно ориентироваться на более крупные и разнообразные выборки с меньшими административными и финансовыми затратами »или поле исследований в области социальных наук в отдельности ".[1] Психология и Интернет-исследования вероятно, дисциплины, в которых эти эксперименты использовались наиболее широко, хотя ряд других дисциплин, включая политическая наука и экономика также используйте веб-эксперименты. В психологии большинство сетевых экспериментов проводится в области когнитивная психология и социальная психология.[2][3] Эта форма экспериментальной установки становится все более популярной, потому что исследователи могут дешево собирать большие объемы данных из более широкого круга мест и людей. Интернет-эксперимент - это разновидность метод онлайн-исследования. Интернет-эксперименты стали значительно более распространенными после пандемии COVID-19, поскольку исследователи не могли проводить лабораторные эксперименты.[4]

Вступление

Эксперименты - неотъемлемая часть исследований, однако их интеграция с Интернетом была постепенной. Есть три основных категории экспериментов:

  • Контролируемые эксперименты, проводимые в лабораторных условиях, пытаются контролировать все переменные, а затем проверяют единственный эффект.
  • Естественные эксперименты, проводимые после крупномасштабного события, которое было недопустимо трудно или невозможно контролировать, собирают как можно больше переменных, а затем проводят корреляции.
  • Полевые эксперименты, наблюдаемые в естественных условиях, где можно применять меньшее количество средств контроля, имеют преимущество большей внешней достоверности.

Адаптация каждого типа онлайн-эксперимента сталкивается с некоторыми препятствиями.

Преимущества

Интернет-эксперименты значительно дешевле, что потенциально позволяет исследователю:

  • Получите доступ к более разнообразным выборкам, а также к редким или конкретным подгруппам населения[5]
  • Проводите эксперименты быстрее[5]
  • Нанимайте более крупные тематические пулы, которые обеспечивают более высокую статистическую мощность[6][7]
  • Проводите кросс-культурные социальные эксперименты в режиме реального времени[8]

Эти преимущества могут привести к увеличению внешняя валидность и возможность обобщения для исследования. Например, в сетевых экспериментах меньше полагаются на данные, собранные у западных студентов бакалавриата, которые часто используются в качестве предметов исследования по умолчанию в дисциплинах социальных наук.[9] Поскольку участники остаются в своих домах или офисах, пока участвуют в эксперименте, ученые также утверждали, что такие эксперименты более эффективны. экологическая ценность.[5]

Критика и ограничения

Веб-эксперименты могут быть слабее экспериментальный контроль в сравнении с лаборатория -основанные эксперименты, и могут столкнуться с большими трудностями при разработке процедур, обеспечивающих надежность и внутренняя валидность.[10] Сетевые естественные и полевые эксперименты также могут столкнуться с проблемами обобщения результатов за пределами онлайн-контекста, в котором они проводились. Некоторые потенциальные трудности, с которыми сталкиваются веб-эксперименты, включают:

  • Сложность проверки личности испытуемых, участвующих в эксперименте.
  • Экспериментальные инструкции игнорируются или читаются слишком небрежно, что приводит к снижению качества данных[11]
  • Более короткое время принятия решения онлайн-участниками, запускающее процессы инстинктивного и эмоционального мышления, а не когнитивные и рациональные, что может побудить испытуемых в среднем принимать больше просоциальных решений[1][12]
  • Существенные отвлекающие факторы, возникающие в ходе эксперимента без ведома исследователей
  • Субъекты выборочно выбывают из эксперимента, особенно если выбывание коррелировано с независимой переменной (ами).
  • Расхождения в данных из-за скорости и надежности сетевого подключения, типа браузера и компьютера, размера и разрешения экрана и т. Д.[5]
  • Субъекты менее серьезно относятся к эксперименту и ведут себя менее склонно к риску.[13]
  • Субъекты не верят, что они взаимодействуют с настоящими человеческими партнерами.
  • Субъекты беспокойства по поводу компенсации в конце эксперимента или анонимности обработки платежей[14]
  • Непредставительный характер участвующих в основном англоговорящих пользователей компьютеров[5]

Перед лицом такой критики некоторые исследователи утверждали, что кирпича и раствора На эксперименты эти проблемы влияют не меньше, а то и больше.[15][16][17]

Были проведены исследования для проверки внутренней валидности сетевых экспериментов, сравнения экспериментальных условий (онлайн и офлайн) и успешного воспроизведения результатов. Например, Schoeffler et al. (2013) сравнили лабораторные и сетевые результаты (62 и 1168 участников) слухового эксперимента и не обнаружили существенных различий.[18] Парный эксперимент по поведенческой экономике, разделенный на онлайн-среду и традиционную лабораторную среду, дал практически одинаковые результаты.[1] Некомпенсированные и неконтролируемые субъекты на LabintheWild было показано, что они воспроизводят результаты предыдущих лабораторных исследований с сопоставимым качеством данных.[19]

Методологии

Были предложены экспериментальные протоколы для предотвращения или контроля трудностей, связанных с веб-экспериментами. Такие методы, как последовательное сопоставление субъектов, фоновое время и отслеживание использования мыши, а также мгновенная компенсация через PayPal, могут решить многие проблемы, связанные с внутренней достоверностью веб-экспериментов.[1] Эти методы контролируют различия во времени реакции, решают проблемы избирательного истощения, концентрации и отвлечения внимания, сводят к минимуму беспокойство испытуемых о компенсации, повышают уверенность испытуемых в том, что у них есть реальный партнер-человек в эксперименте, и гарантируют, что испытуемые имеют соответствующее понимание инструкции и решение задач в эксперименте.[1]

Ученые также разработали методы уменьшения количества выбывших из школы или их учета, в том числе метод с высокими препятствиями (неблагоприятная по мотивации информация группируется в начале исследования), проверка серьезности (запрос оценки вероятности завершения исследования у участников). и фаза разминки (размещение форм согласия или других материалов до начала исследования, чтобы просеять образцы перед началом исследования).[5]

Примеры

Использование в психологии

В Интернете проводится широкий спектр психологических экспериментов. Список веб-экспериментов дает возможность набирать участников и архивировать прошлые эксперименты (более 700 и растут).[20] Хорошим ресурсом для разработки веб-эксперимента является бесплатный Wextor инструмент, который «динамически создает настраиваемые веб-страницы, необходимые для экспериментальной процедуры» и чрезвычайно прост в использовании.[21] Веб-эксперименты использовались для проверки результатов лабораторных исследований и полевые исследования и проводить новые эксперименты, которые возможны только в режиме онлайн.[5] Кроме того, материалы, созданные для веб-экспериментов, при желании в дальнейшем могут быть использованы в традиционных лабораторных условиях.

Междисциплинарные исследования использование веб-экспериментов растет. Например, ряд исследователей в области психологии и права использовали Интернет для сбора данных. Лора Леветт и Маргарет Булл Ковера исследовали, противостоят ли свидетели-эксперты эффективны в ознакомлении присяжных с ненадежными экспертными доказательствами.[22] Вместо того, чтобы обращать внимание присяжных на недостатки в показаниях другого эксперта, исследователи обнаружили, что присяжные стали более скептически относиться ко всем показаниям экспертов. В ее эксперименте это привело к большему количеству обвинительных приговоров. В исследовании Леветта и Коверы использовалась письменная стенограмма испытания, которое участники затем читают перед принятием решения. Некоторые исследователи критиковали этот тип стимула как недостаточный. экологическая ценность - то есть это не очень похоже на реальное судебное разбирательство. Многие рекомендуют по возможности использовать видео. Исследователи из Нью-Йоркский университет в настоящее время проводят психология и право исследование, которое использует видео уголовного процесса.[23]

Исследователи из Салфордский университет в настоящее время проводят ряд онлайн-исследований для изучения восприятия звука.[24] Звуковые эксперименты в сети особенно трудны из-за отсутствия контроля над звуковоспроизводящим оборудованием.

Салганик, Доддс и Уоттс провели эксперимент по измерению социального влияния, в частности рейтинга популярности песен. Использование Интернета позволило им собрать более 14 000 участников и изучить взаимосвязь между индивидуальным и коллективным поведением.[7]

Использование в экономике

По мере того, как в экономике проводилось больше экспериментов, возникали вопросы о соответствующей методологии и организации исследования. Жером Эргё и Николя Жакме создали «онлайн-лабораторию» для сравнения социальных предпочтений и неприятия риска онлайн и лично. Они проводили оценку неприятия риска, игру «Общественное благо», игру «Доверие», игру «Диктатор» и игру «Ультиматум» для групп как онлайн, так и в лаборатории, чтобы оценить внутреннюю обоснованность сетевых экспериментов в экономике.[1]

Использование в политологии

В ходе онлайн-полевого эксперимента, проведенного на 61 миллионе пользователей Facebook, было проверено, приводит ли получение информации о голосовании, местах для голосования и поведении друзей к поиску политической информации, влияет ли политическое самовыражение и изменяет ли поведение избирателей в реальном мире.[8]

Использование в интернет-исследованиях

Веб-эксперименты имеют особое значение в исследованиях работы онлайн-сообществ. Интернет-исследования, в том числе исследования онлайн-сообществ и социальных сетей, использовали естественные и полевые эксперименты, чтобы понять влияние неформальных вознаграждений на производство сверстников в Википедии,[25][26] а также влияние раннего признания и поддержки на будущие успехи на Kickstarter, Change.org, Эпинионы, и Википедия.[27] В другом эксперименте изучали влияние введения программы интеллектуального распределения задач в Википедии на частоту редактирования.[28]

Рекомендации

  1. ^ а б c d е ж Hergueux, J .; Жакме, Н. (2014). «Социальные предпочтения в онлайн-лаборатории: рандомизированный эксперимент» (PDF). Экспериментальная экономика. 18 (2): 251–283. Дои:10.1007 / s10683-014-9400-5.
  2. ^ Reips, U.-D. (2007). Методология интернет-экспериментов. В A. Joinson, K. McKenna, T. Postmes, & U.-D. Reips (ред.), Oxford Handbook of Internet Psychology (стр. 373-390). Оксфорд: Издательство Оксфордского университета.
  3. ^ Reips, U.-D. И Кранц, Дж. Х. (2010). Проведение настоящих экспериментов в сети. В S. Gosling & J. Johnson, Advanced Internet Methods in the Behavioral Sciences (стр. 193-216). Вашингтон, округ Колумбия: Американская психологическая ассоциация.
  4. ^ Lourenco, Stella F .; Тасими, Арбер (01.08.2020). «Ни один участник не останется позади: ведение науки во время COVID-19». Тенденции в когнитивных науках. 24 (8): 583–584. Дои:10.1016 / j.tics.2020.05.003. ISSN  1364-6613.
  5. ^ а б c d е ж грамм Рейпс, Ульф-Дитрих (2002). «Стандарты интернет-экспериментов» (PDF). Экспериментальная психология. 49 (4): 243–56. Дои:10.1026/1618-3169.49.4.243. PMID  12455331.
  6. ^ Kramer, A. D. I .; Guillory, J. E .; Хэнкок, Дж. Т. (2014). «Экспериментальные доказательства массового эмоционального заражения через социальные сети». Труды Национальной академии наук. 111 (24): 8788–8790. Bibcode:2014PNAS..111.8788K. Дои:10.1073 / pnas.1320040111. ЧВК  4066473. PMID  24889601.
  7. ^ а б Салганик, М. Дж.; Dodds, P. S .; Уоттс, Д. Дж. (2006). «Экспериментальное исследование неравенства и непредсказуемости на искусственном культурном рынке». Наука. 311 (5762): 854–856. Bibcode:2006Научный ... 311..854С. Дои:10.1126 / science.1121066. PMID  16469928.
  8. ^ а б Bond, R.M .; Fariss, C.J .; Jones, J. J .; Kramer, A. D. I .; Marlow, C .; Settle, J. E .; Фаулер, Дж. Х. (2012). «61-миллионный эксперимент по социальному влиянию и политической мобилизации». Природа. 489 (7415): 295–298. Bibcode:2012Натура 489..295Б. Дои:10.1038 / природа11421. ЧВК  3834737. PMID  22972300.
  9. ^ Henrich, J .; Heine, S.J .; Норензаян, А. (2010). «Самые странные люди в мире?». Поведенческие науки и науки о мозге. 33 (2–3): 61–83. Дои:10.1017 / s0140525x0999152x. PMID  20550733.
  10. ^ Хоффман, М., и Морган, Дж. (2011). Кто непослушный? Кто милый? Социальные предпочтения в онлайн-индустрии. Рабочий документ Калифорнийского университета в Беркли.
  11. ^ Anderhub, V .; Müller, R .; Шмидт, К. (2001). «Планирование и оценка экономического эксперимента через Интернет». Журнал экономического поведения и организации. 46 (2): 227–247. Дои:10.1016 / s0167-2681 (01) 00195-0.
  12. ^ Канеман, Д. (2003). «Карты ограниченной рациональности: Психология для поведенческой экономики». Американский экономический обзор.
  13. ^ Шавит, Т .; Sonsino, D .; Бензион, У. (2001). «Сравнительное исследование лотерей-оценка в классе и в Интернете». Журнал экономической психологии.
  14. ^ Eckel, C.C .; Уилсон, Р. К. (2006). «Интернет-предупреждения: экспериментальные игры с Интернет-партнерами». Экспериментальная экономика.
  15. ^ Reips, U.-D. (1996, октябрь). Экспериментируем во всемирной паутине. Документ, представленный на конференции Общества компьютеров в психологии 1996 г. в Чикаго.
  16. ^ «Виртуальные лаборатории: есть ли мудрость в толпе?». Новый ученый. 16 марта 2007 г.
  17. ^ http://www.apa.org/monitor/apr00/research.html
  18. ^ Schoeffler et al. (2013). "Эксперимент по оценке количества инструментов в полифонической музыке: сравнение результатов интернета и лабораторных исследований"
  19. ^ Райнеке, Катарина; Гайош, Кшиштоф З. (01.01.2015). LabintheWild: проведение крупномасштабных онлайн-экспериментов с некомпенсированными образцами. Материалы 18-й конференции ACM по совместной работе с компьютерной поддержкой и социальным вычислениям. CSCW '15. Нью-Йорк, Нью-Йорк, США: ACM. С. 1364–1378. Дои:10.1145/2675133.2675246. ISBN  9781450329224.
  20. ^ http://wexlist.net
  21. ^ "Веб-сервер WEXTOR".
  22. ^ Леветт; Ковера (2008). «Эффективность противодействия свидетелям-экспертам для информирования присяжных о ненадежных экспертных доказательствах». Закон и человеческое поведение. 32 (4): 363–74. Дои:10.1007 / s10979-007-9113-9. PMID  17940854.
  23. ^ Вирджиния против Макнамара
  24. ^ "Интернет-звуковые эксперименты | психоакустические тесты Салфордского университета".
  25. ^ Рестиво, Майкл; Rijt, Arnout van de (29 марта 2012 г.). «Экспериментальное исследование неформальных вознаграждений в коллегиальном производстве». PLOS ONE. 7 (3): e34358. Bibcode:2012PLoSO ... 734358R. Дои:10.1371 / journal.pone.0034358. ISSN  1932-6203. ЧВК  3315525. PMID  22479610.
  26. ^ Чжу, Хайи; Чжан, Эми; Он, Цзипин; Краут, Роберт Э .; Киттур, Аникет (1 января 2013 г.). Влияние отзывов коллег на вклад: полевой эксперимент в Википедии. Материалы конференции SIGCHI по человеческому фактору в вычислительных системах. ЧИ '13. Нью-Йорк, Нью-Йорк, США: ACM. С. 2253–2262. Дои:10.1145/2470654.2481311. ISBN  9781450318990.
  27. ^ Рийт, Арнут ван де; Канг, Сунг Мун; Рестиво, Майкл; Патил, Акшай (13 мая 2014 г.). «Полевые эксперименты динамики успеха-размножения-успеха». Труды Национальной академии наук. 111 (19): 6934–6939. Bibcode:2014ПНАС..111.6934В. Дои:10.1073 / pnas.1316836111. ISSN  0027-8424. ЧВК  4024896. PMID  24778230.
  28. ^ Косли, Дэн; Франковски, Дэн; Тервин, Лорен; Ридл, Джон (01.01.2007). SuggestBot: Использование интеллектуальной маршрутизации задач, чтобы помочь людям найти работу в Википедии. Материалы 12-й Международной конференции по интеллектуальным пользовательским интерфейсам. IUI '07. Нью-Йорк, Нью-Йорк, США: ACM. С. 32–41. Дои:10.1145/1216295.1216309. ISBN  978-1595934819.

внешняя ссылка