Индуктивное смещение - Inductive bias

В индуктивное смещение (также известен как предвзятость обучения) алгоритма обучения - это набор предположений, которые учащийся использует для прогнозирования выходных данных заданных входных данных, с которыми он не сталкивался.[1]

В машинное обучение, одна цель - построить алгоритмы, способные учиться прогнозировать определенный целевой результат. Для этого в алгоритме обучения представлены некоторые обучающие примеры, которые демонстрируют предполагаемое соотношение входных и выходных значений. Затем предполагается, что учащийся приблизит правильный результат, даже для примеров, которые не были показаны во время обучения. Без дополнительных предположений эта проблема не может быть решена, поскольку невидимые ситуации могут иметь произвольное выходное значение. Необходимые предположения о характере целевой функции включены во фразу индуктивное смещение.[1][2]

Классическим примером индуктивного смещения является бритва Оккама, предполагая, что самая простая непротиворечивая гипотеза о целевой функции на самом деле является лучшей. Здесь последовательный означает, что гипотеза учащегося дает правильные результаты для всех примеров, которые были даны алгоритму.

Подходы к более формальному определению индуктивного смещения основаны на математическая логика. Здесь индуктивная погрешность - это логическая формула, которая вместе с данными обучения логически влечет за собой гипотезу, выдвинутую учащимся. Однако этот строгий формализм не работает во многих практических случаях, когда индуктивное смещение может быть дано только как приблизительное описание (например, в случае искусственные нейронные сети ), или нет вообще.

Типы

Ниже приводится список распространенных индуктивных предубеждений в алгоритмах машинного обучения.

  • Максимум условная независимость: если гипотеза может быть выражена Байесовский рамки, постарайтесь максимизировать условную независимость. Это смещение, используемое в Наивный байесовский классификатор.
  • Минимум перекрестная проверка ошибка: при попытке выбрать среди гипотез выберите гипотезу с наименьшей ошибкой перекрестной проверки. Хотя может показаться, что перекрестная проверка лишена предвзятости, "нет бесплатного обеда" теоремы показывают, что перекрестная проверка должна быть необъективной.
  • Максимальная маржа: при рисовании границы между двумя классами попытайтесь максимизировать ширину границы. Это смещение, используемое в опорные векторные машины. Предполагается, что отдельные классы обычно разделяются широкими границами.
  • Минимальная длина описания: при формировании гипотезы постарайтесь минимизировать длину описания гипотезы. Предполагается, что более простые гипотезы с большей вероятностью окажутся верными. Увидеть бритва Оккама.
  • Минимальные возможности: если нет веских доказательств того, что особенность полезно, его следует удалить. Это предположение, лежащее в основе выбор функции алгоритмы.
  • Ближайшие соседи: предположим, что в большинстве случаев в небольшом районе в пространство функций принадлежат к одному классу. Учитывая случай, когда класс неизвестен, предположите, что он принадлежит к тому же классу, что и большинство в его непосредственной близости. Это смещение, используемое в алгоритм k-ближайших соседей. Предполагается, что расположенные рядом корпуса относятся к одному классу.

Сдвиг предвзятости

Хотя большинство алгоритмов обучения имеют статическое смещение, некоторые алгоритмы предназначены для изменения его смещения по мере накопления большего количества данных.[3] Это не позволяет избежать смещения, поскольку сам процесс смещения смещения должен иметь смещение.

Смотрите также

использованная литература

  1. ^ а б Митчелл, Т. М. (1980), Необходимость предвзятости при обучении обобщениям, CBM-TR 5-110, Нью-Брансуик, Нью-Джерси, США: Университет Рутгерса, CiteSeerX  10.1.1.19.5466
  2. ^ DesJardins, M .; Гордон, Д. Ф. (1995), Оценка и выбор систематических ошибок в машинном обучении, Журнал машинного обучения, 5: 1-17
  3. ^ Утгофф, П. Э. (1984), Изменение предвзятости для индуктивного изучения концепций, Нью-Брансуик, Нью-Джерси, США: докторская диссертация, факультет компьютерных наук, Университет Рутгерса, ISBN  9780934613002