Delphi метод - Delphi method

В Delphi метод или же Техника Дельфи (/ˈdɛлжаɪ/ DEL-fy; также известный как Estimate-Talk-Estimate или ETE) - это метод или метод структурированной коммуникации, первоначально разработанный как систематический, интерактивный прогнозирование метод, который полагается на группу экспертов.[1][2][3][4] Этот метод также можно адаптировать для использования на личных встречах, и тогда он будет называться mini-Delphi или Estimate-Talk-Estimate (ETE). Delphi широко используется для бизнес-прогнозирования и имеет определенные преимущества перед другим подходом к структурированному прогнозированию. рынки предсказаний.[5]

Delphi основан на том принципе, что прогнозы (или решения) от структурированной группы людей более точны, чем от неструктурированных групп.[6] Эксперты отвечают на анкеты в два и более раундов. После каждого раунда помощник или сменить агента[7] предоставляет анонимное изложение прогнозов экспертов из предыдущего раунда, а также причин, по которым они обосновали свои заключения. Таким образом, экспертам рекомендуется пересмотреть свои предыдущие ответы в свете ответов других членов их комиссии. Считается, что в ходе этого процесса диапазон ответов уменьшится, и группа будет сходиться к «правильному» ответу. Наконец, процесс останавливается после заранее определенного критерия остановки (например, количества раундов, достижения консенсуса, стабильности результатов) и иметь в виду или же медиана результаты финальных раундов определяют результаты.[8]

Особое внимание следует уделять формулировке тезисов Дельфи, а также определению и отбору экспертов, чтобы избежать методологических недостатков, которые серьезно угрожают обоснованности и надежности результатов.[9][10]

История

Название Delphi происходит от Дельфийский оракул, хотя авторы метода были недовольны пророческим подтекстом этого имени, «немного попахивающим оккультизмом».[11] Метод Дельфи предполагает, что групповые суждения более достоверны, чем индивидуальные.

Метод Дельфи был разработан в начале Холодная война прогнозировать влияние технологий на военное дело.[12] В 1944 г. Генерал Генри Х. Арнольд заказал создание отчета по Воздушный корпус армии США о будущих технологических возможностях, которые могут быть использованы военными.

Были испробованы разные подходы, но недостатки традиционных прогнозирование методы, такие как теоретический подход, количественные модели или экстраполяция тенденции, быстро стала очевидной в областях, где точные научные законы еще не установлены. Для борьбы с этими недостатками был разработан метод Дельфи. Проект RAND в 1950-1960-е гг. (1959 г.) Олаф Хельмер, Норман Далки и Николас Решер.[13] С тех пор он используется вместе с различными модификациями и переформулировками, такими как Имен-Дельфы процедура.[14]

Экспертов попросили высказать свое мнение о вероятности, частоте и интенсивности возможных атак противника. Другие эксперты могли оставлять отзывы анонимно. Этот процесс повторялся несколько раз, пока не был достигнут консенсус.

Ключевые характеристики

Коммуникационная структура метода Delphi

Следующие ключевые характеристики метода Delphi помогают участникам сосредоточиться на текущих вопросах и отделить Delphi от других методологий: в этом методе группа экспертов набирается как внутри, так и за пределами организации. В состав комиссии входят специалисты, обладающие знаниями в области, требующей принятия решений. Каждого эксперта просят делать анонимные прогнозы.

Анонимность участников

Обычно все участники остаются анонимными. Их личность не раскрывается даже после завершения окончательного отчета. Это предотвращает доминирование авторитета, личности или репутации одних участников над другими в процессе. Возможно, это также освобождает участников (до некоторой степени) от их личных предубеждений, сводит к минимуму "побочный эффект " или же "эффект ореола ", позволяет свободное выражение мнений, поощряет открытую критику и облегчает признание ошибок при пересмотре ранее вынесенных суждений.

Структурирование информационного потока

Первоначальные отзывы экспертов собираются в виде ответов на анкеты и их комментариев к этим ответам. Директор панели контролирует взаимодействие между участниками, обрабатывая информацию и отфильтровывая нерелевантный контент. Это позволяет избежать негативных последствий личных панельных дискуссий и решает обычные проблемы групповая динамика.

Регулярная обратная связь

Метод Delphi позволяет участникам комментировать ответы других, прогресс группы в целом, а также пересматривать свои собственные прогнозы и мнения в режиме реального времени.

Роль фасилитатора

Человек, координирующий метод Delphi, обычно известен как помощник или Лидера, и облегчает ответы их группа экспертов, которые выбраны по той причине, что обычно они придерживаются определенного мнения или взгляда. Фасилитатор рассылает анкеты, опросы и т. Д., И, если группа экспертов соглашается, они следуют инструкциям и представляют свое мнение. Ответы собираются и анализируются, после чего определяются общие и противоречивые точки зрения. Если консенсус не достигнут, процесс продолжается через тезис и антитезис, постепенно продвигаясь к синтезу и достижению консенсуса.

В течение последних десятилетий фасилитаторы использовали множество различных критериев и пороговых значений для измерения степени согласия или несогласия. Подробный обзор литературы и краткое изложение приведены в статье фон дер Грахта.[15]

Приложения

Использование в прогнозировании

Первые применения метода Дельфи были в области прогнозирования науки и технологий. Целью этого метода было объединить мнения экспертов о вероятности и ожидаемом времени разработки конкретной технологии в одном индикаторе. Один из первых таких отчетов, подготовленный в 1964 году Гордоном и Хелмером, оценил направление долгосрочных тенденций в развитии науки и технологий, охватывая такие темы, как научные открытия, контроль населения, автоматизация, космический прогресс, предотвращение войн и системы оружия. Другие прогнозы в области технологий касались систем «автомобиль-шоссе», промышленных роботов, интеллектуального Интернета, широкополосных соединений и технологий в образовании.

Позже метод Дельфи был применен в других областях, особенно в тех, которые связаны с вопросами государственной политики, такими как экономические тенденции, здравоохранение и образование. Он также успешно и с высокой точностью применялся в бизнес-прогнозировании. Например, в одном случае, описанном Basu и Schroeder (1977),[16] Метод Delphi предсказал продажи нового продукта в течение первых двух лет с погрешностью 3–4% по сравнению с фактическими продажами. Количественные методы давали ошибки на уровне 10–15%, а традиционные методы неструктурированного прогноза имели ошибки около 20%. (Это только один пример; общая точность техники неоднозначна.)

Метод Дельфи также использовался в качестве инструмента для реализации подходов с участием многих заинтересованных сторон для разработки политики на основе широкого участия в развивающихся странах. Правительства стран Латинской Америки и Карибского бассейна успешно использовали метод Дельфи в качестве открытого подхода государственного и частного секторов для определения наиболее неотложных проблем для своих региональных ИКТ в целях развития. Планы действий eLAC.[17] В результате правительства широко признали ценность коллективного разума со стороны гражданского общества, академических кругов и частного сектора - участников Delphi, особенно в области быстрых изменений, таких как технологическая политика.

Использование в идентификации участия в патентах

В начале 1980-х Джеки Аверман из Jackie Awerman Associates, Inc. разработал модифицированный метод Delphi для определения ролей различных участников в создании продукта, отвечающего требованиям патента. (Корпорация Epsilon, Реактор химического осаждения из паровой фазы) Затем результаты были использованы патентными поверенными для определения процента распределения бонусов к общему удовлетворению всех членов команды.[нужна цитата ]

Использование в разработке политики

Начиная с 1970-х годов использование техники Delphi при разработке государственной политики вводит ряд методологических новшеств. Особенно:

  • необходимость осмотреть несколько видов предметов (не только прогнозирование предметы, но, как правило, проблема Предметы, Цель предметы и вариант items) приводит к введению различных шкал оценки, которые не используются в стандартном Delphi. К ним часто относятся желательность, осуществимость (технические и политические) и вероятность, которые аналитики могут использовать для описания различных сценариев: желанный сценарий (от желательности), потенциал сценарий (из осуществимости) и ожидал сценарий (от вероятности);
  • сложность вопросов, возникающих при формировании государственной политики, имеет тенденцию к увеличению веса аргументов участников дискуссии, таких как часто запрашиваемые за и против каждого пункта наряду с новыми пунктами для рассмотрения группой;
  • Аналогичным образом, методы измерения панельных оценок имеют тенденцию к большей сложности, например, многомерное масштабирование.

Дальнейшие инновации связаны с использованием компьютерных (а позже и сетевых) конференций Delphi. По словам Туроффа и Хильца,[18] в компьютерном Delphis:

  • итерационная структура, используемая в статье Delphis, которая разделена на три или более дискретных раунда, может быть заменена процессом непрерывного (бесконтактного) взаимодействия, что позволяет участникам дискуссии изменять свои оценки в любое время;
  • ответ статистической группы может обновляться в режиме реального времени и отображаться всякий раз, когда член комиссии дает новую оценку.

По словам Болоньини,[19] веб-интерфейс Delphis предлагает две дополнительные возможности, актуальные в контексте интерактивного определения политики и электронная демократия. Это:

Веб-структура связи (Hyperdelphi).[19]
  • привлечение большого количества участников,
  • использование двух или более панелей, представляющих разные группы (например, лиц, определяющих политику, экспертов, граждан), которым администратор может давать задачи, отражающие их различные роли и опыт, и заставлять их взаимодействовать в рамках специальных коммуникационных структур. Например, политическое сообщество участники (политики и эксперты) могут взаимодействовать в рамках главная конференция панели, в то время как они получают входы от виртуальное сообщество (граждане, ассоциации и т. д.), участвующие в побочная конференция. Эти сетевые переменные коммуникационные структуры, которые он называет Hyperdelphi (HD), призваны сделать конференции Delphi «более гибкими и адаптированными к гипертекстуальной и интерактивной природе цифровых коммуникаций».

Одним из успешных примеров (частично) веб-политики Delphi является пятиэтапное упражнение Delphi (с 1454 вкладами) по созданию Планы действий eLAC в Латинской Америке. Считается, что это наиболее масштабное онлайн-мероприятие по форсайту формирования политики с участием всех заинтересованных сторон в истории межправительственных процессов в развивающихся странах в настоящее время.[17] В дополнение к конкретному руководству по политике, авторы перечисляют следующие извлеченные уроки, включая: «(1) потенциал методов Политики Delphi для обеспечения прозрачности и подотчетности в процессе принятия государственных решений, особенно в развивающихся странах; (2) полезность предвидения упражнения по развитию межучрежденческих сетей в сообществе разработчиков; (3) полезность включения упражнений в форсайте в установленные механизмы представительной демократии и международной многосторонности, такие как ООН; (4) потенциал онлайн-инструментов для облегчения участия в ресурсах - дефицитные развивающиеся страны и (5) ресурсоэффективность, проистекающая из масштабов международного форсайта, и, следовательно, его адекватность для регионов с дефицитом ресурсов ».[17]

Использование в правилах отчетности

Руководство по разработке руководящих принципов отчетности в 2010 г. [20] рекомендуется использовать метод Delphi для разработки руководств по отчетности. Однако менее 30% руководств по отчетности были разработаны с использованием метода Дельфи согласно систематическим обзорам 2015 г. [21] и 2020.[22] Подход Delphi успешно применялся для улучшения согласованности между экспертами в итеративных рейтинговых упражнениях по результатам клинических испытаний с использованием межэкспертной каппа-статистики в качестве показателя результатов.[23]

Онлайн-системы Delphi

Основная статья: Delphi в реальном времени

Некоторые прогнозы Delphi выполняются с использованием веб-сайтов, которые позволяют проводить процесс в режиме реального времени. Например, Проект TechCast использует группу из 100 экспертов по всему миру для прогнозирования достижений во всех областях науки и технологий. Другой пример - Проект Горизонт, где образовательные футуристы сотрудничают в Интернете, используя метод Delphi, чтобы предложить технологические достижения, на которые следует обратить внимание в образовании в ближайшие несколько лет.

Вариации

Традиционно метод Delphi был нацелен на достижение консенсуса относительно наиболее вероятного будущего путем итераций. Другие версии, такие как Политика Delphi,[24][25] Вместо этого это метод поддержки принятия решений, направленный на структурирование и обсуждение различных взглядов на предпочтительное будущее. В Европе в более поздних веб-экспериментах использовался метод Delphi в качестве средства коммуникации для интерактивных принимать решение и электронная демократия.[26]Аргумент Delphi, разработанный Осмо Кууси, фокусируется на продолжающемся обсуждении и поиске соответствующих аргументов, а не на выходе. Политика дезагрегирования Delphi, разработанная Петри Тапио, использует кластерный анализ как систематический инструмент для построения различных сценариев будущего в последнем раунде Delphi.[27] Взгляды респондента на вероятное и предпочтительное будущее рассматриваются как отдельные дела. Компьютеризация Argument Delphi относительно сложна из-за нескольких проблем, таких как разрешение аргументов, агрегирование аргументов и оценка аргументов. Компьютеризация Argument Delphi, разработанная Сади Эвреном Секером, предлагает решения таких проблем.[28]

Точность

Сегодня метод Дельфи является широко распространенным инструментом прогнозирования и успешно используется в тысячах исследований в различных областях, от прогнозирования технологий до прогнозирования. злоупотребление наркотиками.[29]В целом послужной список метода Delphi неоднозначен. Было много случаев, когда метод давал плохие результаты. Тем не менее, некоторые авторы связывают это с плохим применением метода, а не с недостатками самого метода.[нужна цитата ] Также необходимо понимать, что в таких областях, как прогнозирование науки и технологий, степень неопределенности настолько велика, что точные и всегда верные прогнозы невозможны, поэтому следует ожидать высокой степени ошибок.

Особая слабость метода Дельфи заключается в том, что будущее развитие не всегда правильно предсказывается консенсусом экспертов. Этот недостаток в вопросе невежества очень важен. Если участники дискуссии дезинформированы о теме, использование Delphi может только добавить уверенности в их незнание.[30]

Одной из первых проблем метода была его неспособность делать сложные прогнозы с множеством факторов. Потенциальные будущие результаты обычно рассматривались так, как если бы они не влияли друг на друга. Позже для решения этой проблемы было разработано несколько расширений метода Delphi, например анализ перекрестного воздействия, который учитывает возможность того, что возникновение одного события может изменить вероятности других событий, охваченных опросом. Тем не менее, метод Дельфи может наиболее успешно использоваться для прогнозирования одиночных скалярных индикаторов.


Delphi против рынков прогнозов

Delphi имеет характеристики, аналогичные рынки предсказаний поскольку оба являются структурированными подходами, которые объединяют различные мнения групп. Тем не менее, есть различия, которые могут иметь решающее значение для их относительной применимости к различным проблемам.[5]

Некоторые преимущества рынки предсказаний проистекают из возможности стимулировать участие.

  1. Они могут мотивировать людей участвовать в течение длительного периода времени и раскрывать свои истинные убеждения.
  2. Они автоматически собирают информацию и мгновенно включают новую информацию в прогноз.
  3. Участников не нужно отбирать и набирать вручную фасилитатором. Они сами решают, участвовать ли им, если считают, что их личная информация еще не включена в прогноз.

У Delphi есть следующие преимущества перед рынками предсказаний:

  1. Участники раскрывают свои рассуждения
  2. Проще сохранить конфиденциальность
  3. Потенциально более быстрые прогнозы при наличии экспертов.
  4. Delphi применима в ситуациях, когда участвующие ставки могут повлиять на стоимость валюты, используемой в ставках (например, ставка на падение доллара, сделанная в долларах, может иметь искаженные коэффициенты).

Более поздние исследования также были сосредоточены на объединении как техники Delphi, так и рынков предсказаний. В частности, в исследовании на Deutsche Börse элементы метода Delphi были интегрированы в рынок прогнозирования.[31]

Смотрите также

Рекомендации

  1. ^ Далки, Норман; Хельмер, Олаф (1963). «Экспериментальное применение метода Дельфи с использованием экспертов». Наука управления. 9 (3): 458–467. Дои:10.1287 / mnsc.9.3.458.
  2. ^ Бернис Б. Браун (1968). «Процесс Delphi: Методология, используемая для выяснения мнений экспертов.»: Более ранний документ, опубликованный RAND (Документ №: P-3925, 1968, 15 страниц)
  3. ^ Сакман, Х. (1974), «Оценка Delphi: мнение экспертов, прогнозирование и групповой процесс», R-1283-PR, апрель 1974 года. Браун, Томас, «Эксперимент в области вероятностного прогнозирования», R-944-ARPA, 1972
  4. ^ Гарольд А. Линстон, Мюррей Турофф (1975), Метод Delphi: методы и приложения, Ридинг, Массачусетс: Эддисон-Уэсли, ISBN  978-0-201-04294-8, заархивировано из оригинал на 2008-05-20
  5. ^ а б Грин, Армстронг и Грефе (2007): Методы получения прогнозов от групп: сравнение рынков Delphi и прогнозирования. Форсайт: Международный журнал прикладного прогнозирования (Осень 2007 г.). Формат PDF[1]
  6. ^ Роу и Райт (2001): Мнения экспертов по прогнозированию. Роль техники Дельфи. В: Армстронг (ред.): Принципы прогнозирования: Справочник исследователей и практиков, Бостон: Kluwer Academic Publishers.
  7. ^ Милбрей В. Маклафлин (1990), Новое исследование Rand Change Agent: макро-перспективы и микро-реальности (PDF), Стэнфорд, Калифорния: Стэнфордский университет
  8. ^ Роу и Райт (1999): Техника Дельфи как инструмент прогнозирования: проблемы и анализ. Международный журнал прогнозирования, Volume 15, Issue 4, October 1999.
  9. ^ Markmann, C. et al. (2020) Улучшение формулировки вопросов в опросах типа Delphi: анализ влияния абстрактного языка и количества информации на поведение ответа. В: Фьючерсы и Форсайт. e56, DOI: 10.1002 / ffo2.56.
  10. ^ Mauksch et al. (2020) Кто такой знаток предвидения? Обзор методов идентификации. В: Технологическое прогнозирование и социальные изменения. Vol. 154, 119982, г. DOI: 10.1016 / j.techfore.2020.119982.
  11. ^ Адлер, Майкл и Эрио Зильо (1996) Взгляд в Oracle: метод Delphi и его применение в социальной политике и здравоохранении, (Издательство Джессики Кингсли, 1996). ([2] )
  12. ^ "JVTE v15n2: Модифицированная техника Delphi - вращательная модификация", Журнал профессионально-технического образования, Volume 15 Number 2, Spring 1999, web: VT-edu-JVTE-v15n2: техники Delphi, разработанной Олафом Хелмером и Норманом Далки.
  13. ^ Решер (1998): Предсказание будущего(Олбани, штат Нью-Йорк: Государственный университет Нью-Йорка, 1998 г.). ([3], [4], [5] )
  14. ^ Пассиг, Дэвид (1997) "Imen Delphi: Вариант Delphi Процедура возникновения". Организация человека: журнал Общества прикладной антропологии, Южный методистский университет. Даллас, Техас. Весна, 56 (1), 53-63
  15. ^ фон дер Грахт, Хайко (2012). «Измерение консенсуса в исследованиях Delphi - обзор и значение для обеспечения качества в будущем». Технологическое прогнозирование и социальные изменения. 79 (8): 1525–1536. Дои:10.1016 / j.techfore.2012.04.013.
  16. ^ Басу, Шанкар; Роджер Г. Шредер (май 1977 г.). «Включение суждений в прогнозы продаж: применение метода Delphi в компании American Hoist & Derrick». Интерфейсы. 7 (3): 18–27. Дои:10.1287 / inte.7.3.18.
  17. ^ а б c Гильберт, Мартин; Майлз, Ян; Отмер, Джулия (2009). «Инструменты форсайта для разработки политики с участием общественности в межправительственных процессах в развивающихся странах: уроки, извлеченные из политических приоритетов eLAC Delphi» (PDF). Технологическое прогнозирование и социальные изменения. 15 (2): 880–896. Дои:10.1016 / j.techfore.2009.01.001.
  18. ^ Мюррей Турофф, Старр Роксанна Хильц, «Компьютерные процессы Delphi», в книге Майкла Адлера, Эрио Зиглио (ред.), Вглядываясь в Oracle, op. соч.
  19. ^ а б Маурицио Болоньини (2001), Democrazia elettronica. Metodo Delphi e politiche pubbliche (Электронная демократия. Метод Delphi и формирование государственной политики) (на итальянском языке), Рим: Carocci Editore, ISBN  978-88-430-2035-5. Резюме также есть в Джером С. Гленн, Теодор Дж. Гордон (редакторы) (2009), Проект тысячелетия. Методология исследования фьючерсов, Нью-Йорк: Амерский совет Организации Объединенных Наций, ISBN  978-0981894119CS1 maint: дополнительный текст: список авторов (связь), гл. 23.
  20. ^ Moher, D; Schulz, KF; Симера, я; Альтман, Д.Г. (2010). «Руководство для разработчиков руководств по отчетности о медицинских исследованиях». PLOS Медицина. 7 (2): e1000217. Дои:10.1371 / journal.pmed.1000217. ЧВК  2821895. PMID  20169112.
  21. ^ Ван, Х; Чен, Y; Ян, N; Дэн, Вт; Ван, Q; Ли, Н; Яо, L; Wei, D; Чен, G; Ян, К. (2015). «Методология и качество отчетности руководящих принципов отчетности: систематический обзор». BMC Методология медицинских исследований. 15 (74): 74. Дои:10.1186 / s12874-015-0069-z. ЧВК  4579604. PMID  26395179.
  22. ^ Банно, М; Цудзимото, Y; Катаока, Й (2020). «Большинство руководств по отчетности разработаны не с использованием метода Дельфи: систематический обзор руководящих принципов отчетности». Журнал клинической эпидемиологии. 124: 50–57. Дои:10.1016 / j.jclinepi.2020.04.010. PMID  32302679.
  23. ^ Петцольд, Аксель; Biousse, Валери; Бурштын, Лулу; Костелло, Фиона; Крам, Элисон; Дигре, Кэтлин; Фрейзер, Клэр; Фрейзер, Дж. Алекс; Кац, Брэдли; Юркуте, Неринга; Ньюман, Нэнси; Лаутруп-Баттистини, Джетте; Лоулор, Митчелл; Лискова, Петра; Лоренц, Биргит; Мальмквист, Лассе; Перагалло, Джейсон; Сибони, Патрик; Субраманиан, Прем; Рейдак, Роберт; Новомейска, Катаржина; Туиту, Валери; Уорнер, Джудит; Вегенер, Марианна; Вонг, Суй; Ю-Вай-Ман, Патрик; Хаманн, Штеффен (16 июля 2020 г.). «Мультиратерная проверка перипапиллярных гиперрефлективных овоидных массоподобных структур (PHOMS)». Нейроофтальмология: 1–2. Дои:10.1080/01658107.2020.1760891.
  24. ^ Турофф, Мюррей. «Дизайн политики Delphi» (PDF). Технологическое прогнозирование и социальные изменения. 2 (2): 1970.
  25. ^ Майкл Адлер, Эрио Зильо (ред.) (1996), Взгляд в Oracle: метод Delphi и его применение в социальной политике и здравоохранении, Лондон: Kingsley Publishers, ISBN  978-1-85302-104-6CS1 maint: дополнительный текст: список авторов (связь)
  26. ^ Маурицио Болоньини (2001), Democrazia elettronica. Metodo Delphi e politiche pubbliche (Электронная демократия. Метод Delphi и формирование государственной политики) (на итальянском языке), Рим: Carocci Editore, ISBN  978-88-430-2035-5. Примером приложения электронной демократии является DEMOS (онлайн-система посредничества Delphi), прототип которой был представлен на 3-м Всемирном форуме электронной демократии в 2002 году.
  27. ^ Тапио, П. (2003). «Дезагрегативная политика Delphi: Использование кластерного анализа как инструмента для систематического формирования сценария». Технологическое прогнозирование и социальные изменения. 70 (1): 83–101. Дои:10.1016 / S0040-1625 (01) 00177-9.
  28. ^ Секер, Сади Эврен (2015). «Компьютеризированная методика аргументации Delphi». Доступ IEEE. 3 (2): 368–380. Дои:10.1109 / ACCESS.2015.2424703.
  29. ^ Метод Дельфи: методы и приложения, Гарольд А. Линстон и Мюррей Турофф, редакторы © 2002, Мюррей Турофф и Гарольд Линстон, TOC III.B.3. Национальная политика в отношении злоупотребления наркотиками Delphi: отчет о ходе работы и полученные на сегодняшний день результаты, ИРЕН ЭНН ДЖИЛЛСОН {http://is.njit.edu/pubs/delphibook/ch3b3.html
  30. ^ Грин, К. С., Армстронг, Дж. С., и Грефе, А. (2007). Методы получения прогнозов от групп: сравнение рынков Delphi и прогнозов. Форсайт: Международный журнал прикладного прогнозирования, 8, 17–20. [6]
  31. ^ Прокеш, Тобиас; фон дер Грахт, Хайко; Воленберг, Хольгер (2015). «Интеграция рынка прогнозирования и методологии Delphi в систему поддержки форсайта - идеи из онлайн-игры». Технологическое прогнозирование и социальные изменения. 97: 47–64. Дои:10.1016 / j.techfore.2014.02.021.

внешняя ссылка