Быстрые и бережливые деревья - Fast-and-frugal trees

При изучении принимать решение, включая дисциплины психология, искусственный интеллект, и Наука управления, а скромное дерево это тип дерево классификации или же Древо решений. Как показано на рисунке 1, который будет подробно объяснен позже, деревья быстрого и бережливого обращения представляют собой простые графические структуры, которые задают по одному вопросу за раз. Цель состоит в том, чтобы классифицировать объект (на рисунке 1: пациент с подозрением на сердечное заболевание) в категорию с целью принятия решения (на рисунке 1 есть две возможности: пациенту назначена обычная койка для медсестер или пациенту неотложная помощь) . В отличие от других деревьев классификации и решений, таких как Лео Брейман КОРЗИНА,^[1] «быстрые и бережливые» деревья были определены как намеренно простые, как в их построении, так и в исполнении, и быстро работают с небольшим количеством информации. Например, дерево на Рисунке 1 задает от одного до трех вопросов.

Деревья быстрой экономии были представлены и концептуализированы в 2003 г. Лаура Мартиньон, Витауч, Такезава и Форстер ^[2] и составляют семью простых эвристика в традициях Герд Гигеренцер и Герберт А. Саймон Взгляд на формальные модели эвристики. До того, как в 2003 году был изобретен термин «деревья быстрого и бережливого», эти модели эвристики использовались в нескольких контекстах без явной концептуализации или определения как таковые. ^[GM] ^[MH] ^[DA] ^[DH] ^[FZBM].

В задачах, где необходимо принять двоичное решение или классификацию (например, врач должен решить, назначить ли пациента с сильной болью в груди в отделение коронарной терапии или на обычную койку), есть m реплики (это терминология, используемая в психологии для того, что называется функциями в искусственном интеллекте и атрибутами в науке управления), доступная для принятия такого решения, БПФ определяется следующим образом:

Дерево быстрого и бережливого - это дерево решений, которое имеет m + 1 выход, с одним выходом для каждой из первых m -1 реплик и двумя выходами для последней реплики.

С математической точки зрения деревья быстрого и бережливого обращения можно рассматривать как лексикографический эвристики или в виде линейных моделей с некомпенсирующими весами, что было доказано Мартиньоном, Кацикопулосом и Войком в 2008 г. ^[MKW]. Их формальные свойства и конструкция также были проанализированы Луаном, Шулером и Гигеренцером в 2011 году с помощью теории обнаружения сигналов. ^[3] ^[LSG].

Как работает бережливое дерево

В этом разделе описывается, как построить и использовать дерево быстрого и бережливого обращения.

Строительство

Напомним, что основными элементами для создания двоичной классификации являются реплики, которые здесь предполагаются двоичными. В дереве быстрой и бережливой обработки реплики ранжируются: по одной реплике на каждом уровне дерева и выходному узлу на каждом уровне (за исключением двух выходных узлов для последней реплики на последнем уровне дерева). Каждый раз, когда используется реплика, задается вопрос о ее значении. Ответы на вопросы могут немедленно привести к выходу, или они могут привести к следующему вопросу (и, в конечном итоге, к выходу). Характерным свойством деревьев быстрого и бережливого обращения является то, что на каждый вопрос существует по крайней мере один возможный ответ, ведущий к выходу.

В литературе по деревьям быстрого и бережливого использования было предложено много различных алгоритмов. ^[2]^[MKW] ^[LSG]^[4] для (1) упорядочивания реплик и (2) решения, какой из возможных ответов на вопрос о реплике ведет сразу к выходу. Обратите внимание, что если (1) и (2) выполнены, дерево быстрой и бережливой работы полностью определено. Часто для того, чтобы конструкция была простой и интуитивно понятной, алгоритмы используют (1) простые меры «качества» реплики (например, корреляцию между репликой и категорией, рассматривая каждую реплику независимо от других реплик) и (2) делают простой выбор в отношении выходов (например, принимать решение о каждом выходе независимо от других выходов), но также были предложены более сложные алгоритмы.

Исполнение

Чтобы использовать быстрое и экономное дерево, начните с корня и проверяйте по одному сигналу за раз. На каждом шаге одним из возможных результатов является узел выхода, который позволяет принять решение (или действие) - если выход достигнут, остановитесь; в противном случае продолжайте, пока не достигнете выхода. вы выходите, остановитесь; в противном случае продолжайте и задавайте больше вопросов, пока не дойдете до выхода.

Рис. 1. Дерево быстрой и бережливой терапии, которое помогает врачам отделения неотложной помощи решить, направить ли пациента на обычную койку или в отделение коронарной терапии (Green & Mehr, 1997). ^[GM].

На рис. 1 показано дерево «быстрых и бережливых» для классификации пациента как пациента с «высоким риском» сердечного инсульта и, следовательно, его необходимо отправить в «отделение коронарной терапии», или как пациента с «низким риском» и, следовательно, его необходимо отправить в «обычная кровать для кормящих» ^[GM] (Грин и Мехр, 1997).

Рассмотрим трех пациентов: Джона, Мэри и Джека:

Джон имеет Сегмент ST Таким образом, изменения классифицируются как «высокий риск» и отправляются в отделение коронарной терапии без учета других сигналов.
Мэри не имеет Сегмент ST изменений, ее основной жалобой является боль в груди, но нет ни одного из оставшихся пяти факторов, поэтому она классифицируется как «низкий риск» и отправляется на обычную койку после проверки всех трех сигналов.
У Джека нет Сегмент ST изменения и отсутствие боли в груди в качестве его основной жалобы, поэтому классифицируется как «низкий риск» и направляется на обычную кровать для кормления с учетом этих двух сигналов.

Спектакль

Точность и надежность в исследованиях Ласки и Мартиньона (2014) было показано, что их можно сравнить с байесовскими тестами.^[LM]. Обширные исследования, сравнивающие производительность быстрых и бережливых деревьев с производительностью алгоритмов классификации, используемых в статистике и машинном обучении, таких как наивный байесовский анализ, CART, случайные леса и логистическая регрессия, также были проведены с использованием десятков реальных наборы данных ^[WHM]^[MKW].^[4]

Анализ обнаружения сигналов от деревьев быстрого и бережливого использования

Деревья быстрого и бережливого использования используются для выполнения бинарных классификаций или решений. В психологии, медицине и других областях теория обнаружения сигналов (или теория обнаружения ) была классической теорией, в рамках которой анализируются такие задачи.

Теория предполагает, что существует две категории событий или людей (например, люди с проблемами сердца и без них), из которых категория, более важная для нас, называется «сигналом», а другая - «шумом». Они различаются по своему распределению по шкале наблюдения, которую мы можем назвать «свидетельством», при этом распределение сигналов имеет более высокое среднее значение. После сбора доказательств можно сделать две возможные классификации, а именно «сигнал» или «шум». Это приводит к четырем возможным исходам: попадание (классифицируется как «сигнал», когда это действительно сигнал), правильное отклонение (классифицируется как «шум», когда это действительно шум), промах (классифицируется как «шум», когда он на самом деле является сигналом). сигнал) и ложная тревога (классифицируется как «сигнал», когда на самом деле это шум). Чтобы максимизировать общую точность или ожидаемую ценность классификации, теория утверждает, что нам необходимо тщательно выбирать критерий классификации на шкале доказательств, выше которой мы принимаем «сигнальное» решение, а ниже - «шум». В частности, когда цена промаха очень высока (т. Е. Классифицирует пациента с сердечной проблемой как нормального), необходимо выбрать более низкий, более «либеральный» критерий (т. Е. Влево по шкале доказательств), тогда как когда цена ложной тревоги очень высока (например, классификация невиновного человека как виновного в убийстве), более высокий, более «консервативный» критерий будет лучше. Это означает, что хороший человек, принимающий решения, должен быть предвзятым в большинстве реальных ситуаций; это наиболее важный и актуальный вывод из теории обнаружения сигналов для классификации и принятия решений.

Рисунок 2. Верхняя часть рисунка иллюстрирует предположения теории обнаружения сигналов в задаче двоичного решения. Три вертикальные линии представляют три критерия принятия решения, которые могут принять агент и лицо, принимающее решение. В нижнем разделе показаны четыре возможных БПФ, которые могут быть построены при обращении к трем функциям в фиксированном порядке. Основываясь на классификациях, на которые указывают первые два выхода, деревья именуются слева направо: FFTss, FFTsn, FFTns и FFTnn. Стрелки, соединяющие части рисунка, указывают примерно расположение четырех критериев решения БПФ, когда они используются для создания двоичной s / n (для сигнала и шума, соответственно) классификации или решения. Среди этих четырех критериев FFTss является наиболее либеральным, а FFTnn - наиболее консервативным. Критерии решения FFTsn и FFTns менее экстремальны, чем два других, причем FFTsn более либеральны, чем FFTns.

В 2011 году Луан, Скулер и Гигеренцер проанализировали характеристики деревьев быстрого и бережливого использования с точки зрения теории обнаружения сигналов. Из этого анализа можно сделать несколько важных выводов. Во-первых, выбор структуры выхода из дерева быстрого и экономного соответствует установке критерия принятия решения при обнаружении сигнала. Вкратце, чем раньше у бережливого дерева появляется «сигнальный выход», тем более либеральным является дерево. Относительные предубеждения двух деревьев быстрого и бережливого производства определяются первым выходом, в котором они различаются, причем тот, у которого есть «сигнальный выход», обозначенный буквой «s», всегда более либерален, чем тот, у которого есть «шум выход »- обозначается буквой« n »(рисунок 2). Например, FFTsnnn (здесь снова s = "Выход сигнала", n = "выход шума") более сильно смещен, чем FFTnss. Этот принцип называется «лексикографической ошибкой принятия решений» для деревьев быстрого и бережливого производства.

Во-вторых, серия симуляций показывает, что деревья быстрой и бережливой работы с разными структурами выхода приведут к разному - иногда совершенно разному - ожидаемому значению решения, если последствия промаха и ложной тревоги различаются. Следовательно, при построении и применении дерева быстрого и бережливого подхода необходимо выбрать структуру выхода, которая хорошо соответствует структуре результатов решения задачи.

В-третьих, общая чувствительность бережливого дерева, то есть то, насколько хорошо дерево может отличить сигнал от шума и которая может быть измерена с помощью d ’или A’ от обнаружение сигнала теория - зависит от свойств реплик, составляющих дерево, таких как среднее значение и дисперсия чувствительности реплик и корреляции между репликами среди реплик, но не сильно зависит от структуры выхода дерева. И, наконец, производительность быстрых и бережливых деревьев надежна и сопоставима с гораздо более сложными алгоритмами принятия решений, разработанными в теории обнаружения сигналов, включая анализ идеального наблюдателя модель и оптимальная модель последовательной выборки. В контексте прогнозов вне выборки деревья быстрой и бережливой работы лучше всего работают по сравнению с другими моделями, когда размер обучающей выборки относительно невелик (например, менее 80 испытаний).

Рис. 3. Дерево быстроты и бережливости, которое может помочь солдатам, дислоцированным в Афганистане, различать, движется ли машина, приближающаяся к контрольно-пропускному пункту, гражданскими лицами или потенциальными террористами-смертниками (Keller & Katsikopoulos, 2016) ^[KK].

Рис. 4. Деревья бережливости, которые описывают, как человек решает, прощать ли другому человеку преступление, которое последний совершил во время социальных взаимодействий (слева; Tan, Luan, & Katsikopoulos, 2017) ^[TLK] и как британские судьи решают, выносить ли карательное решение об освобождении под залог (верно. Дхами, 2003) ^[D].

Вычислительная поддержка

В 2017 году Филлипс, Нет, Войк и Гайсмайер ^[PNWG] представил пакет R FFTrees, размещенный на CRAN (с сопутствующее приложение ), который конструирует, графически отображает и оценивает количественно быстрые и экономные деревья удобными для пользователя способами.

Еще несколько примеров экономичных деревьев

Было много применений деревьев быстрого и бережливого как для предписания того, как следует принимать решение, так и для описания того, как люди на самом деле принимают решения. Помимо медицины, примером их предписывающего применения является инструктаж солдат, дислоцированных в Афганистане, как отличить автомобиль, приближающийся к контрольно-пропускному пункту, за рулем гражданских лиц или потенциальных террористов-смертников. ^[5] ^[KK]; дерево проиллюстрировано на рисунке 3. Два примера описательного использования деревьев поспешности и бережливости показаны на рисунке 4. Деревья слева и справа описывают, соответственно, как человек решает, простить ли другому человеку преступление последнее совершено во время социальных взаимодействий ^[TLK] и как британские судьи выносят решение о залоге или тюремном заключении ^[D]. В общем, деревья быстроты и бережливости могут применяться для помощи или моделирования любых бинарных процессов принятия решений, которые включают несколько сигналов.

Статьи по теме и другие источники

GM.

Грин и Мехр, 1997 г. Грин, Л. и Мехр, Д. Р. (1997). Что меняет решения врачей о госпитализации в коронарное отделение? Журнал семейной практики, 45 (3), 219–226.

MH.

Мартиньон и Хоффраге 2002 Быстро, экономно и точно: простые эвристики для парного сравнения

DA.

Дами, М. К., и Эйтон, П. 2001. Быстро и бережливо бросать и сажать в тюрьму. Журнал принятия поведенческих решений, 14 (2), 141-168.

DH.

Дами и Харрис, 2001 Быстрая и экономная модель человеческого суждения в сравнении с регрессионной. Мышление и рассуждение, 7 (1), 5-27.

FZBM.

Фишер, Штайнер, Цуколь, Бергер, Мартиньон Использование простой эвристики для целевого назначения макролидов детям с внебольничной пневмонией. Архивы педиатрии и подростковой медицины, 156 (10), 1005-1008.

MKW.

Мартиньон, Кацикопулос и Войке, 2008 г. Категоризация с ограниченными ресурсами: семейство простых эвристик

Д.

Дхами, М. К. (2003). Психологические модели принятия профессиональных решений. Психологическая наука, 14, 175–180.

МСУ.

Луан, школьник и Гигеренцер, 2011 г. Анализ с обнаружением сигналов для деревьев быстрого и бережливого использования.

LM.

Ласки и Мартиньон, 2014 Сравнение бережливых деревьев и байесовских сетей для оценки рисков.

KK.

Келлер, Н. и Кацикопулос, К. В. (2016) - О роли психологической эвристики в оперативном исследовании; и демонстрация операций по обеспечению военной стабильности. Европейский журнал операционных исследований, 249, 1063–1073.

TLK.

Тан, Дж. Х., Луан, С., и Кацикопулос, К. В. (2017). Подход с обнаружением сигналов к моделированию решений о прощении. Эволюция и человеческое поведение, 38, 21–38.

WHM.

Войк, Хоффраге и Мартиньон, 2017 - Интеграция и тестирование естественных частот, наивных байесовских и быстрых и экономных деревьев.

PNWG.

Филлипс, Нет, Войк и Гайсмайер, 2017. FFTrees: набор инструментов для создания, визуализации и оценки деревьев быстрых и экономных решений. Суждение и принятие решений, 12 (4), 344–368.