Hyperprior - Hyperprior

В Байесовская статистика, а гиперприор это предварительное распространение на гиперпараметр, то есть от параметра предварительное распространение.

Как и в случае с термином гиперпараметр, использование гипер заключается в том, чтобы отличить его от предшествующего распределения параметра модели для базовой системы. Особенно они возникают при использовании сопряженные приоры.

Например, если вы используете бета-распространение для моделирования распределения параметра п из Распределение Бернулли, тогда:

• Распределение Бернулли (с параметром п) это модель базовой системы;
• п это параметр базовой системы (распределение Бернулли);
• Бета-распределение (с параметрами α и β) это прежний распределение п;
• α и β являются параметрами априорного распределения (бета-распределение), следовательно, гиперпараметры;
• Предварительное распределение α и β таким образом гиперприор.

В принципе, можно повторить вышеизложенное: если сам гиперприор имеет гиперпараметры, их можно назвать гипергиперпараметрами и т. Д.

Аналогичным образом можно назвать апостериорное распределение по гиперпараметру гиперпостальным, и, если они принадлежат к одному семейству, назвать их сопряженными гиперраспределениями или сопряженными гиперприорами. Однако это быстро становится очень абстрактным и удаленным от исходной проблемы.

Цель

Гиперприоры, как и сопряженные априорные числа, обеспечивают удобство вычислений - они не изменяют процесс байесовского вывода, а просто позволяют проще описывать и вычислять с помощью априорного.

Неопределенность

Во-первых, использование гиперприора позволяет выразить неопределенность в гиперпараметре: принятие фиксированного априорного значения является предположением, изменение гиперпараметра априорного значения позволяет провести анализ чувствительности на основе этого предположения, а использование распределения по этому гиперпараметру позволяет выразить неопределенность в этом предположении: «предположим, что априор имеет такую ​​форму (это параметрическое семейство), но мы не уверены в том, какими именно должны быть значения параметров».

Распределение смеси

Говоря более абстрактно, если используется гиперприор, то априорное распределение (по параметру базовой модели) само по себе является плотность смеси: это средневзвешенное значение различных априорных распределений (по разным гиперпараметрам), причем гиперприор является взвешиванием. Это добавляет дополнительные возможные распределения (помимо используемого параметрического семейства), поскольку параметрические семейства распределений обычно не выпуклые множества - поскольку плотность смеси равна выпуклое сочетание дистрибутивов, это вообще будет врать за пределами Например, смесь двух нормальных распределений не является нормальным распределением: если взять разные средние (достаточно отдаленные) и смешать 50% каждого из них, получится бимодальное распределение, которое, таким образом, не является нормальным. Фактически, выпуклая оболочка нормальных распределений является плотной во всех распределениях, поэтому в некоторых случаях вы можете сколь угодно точно аппроксимировать данный априор, используя семейство с подходящим гиперприором.

Что делает этот подход особенно полезным, так это использование конъюгированных априорных значений: отдельные конъюгированные априорные элементы легко вычисляются апостериорами, и, таким образом, смесь конъюгированных априорных значений представляет собой одну и ту же смесь апостериорных значений: нужно только знать, как каждое из них сопряжено с предшествующими изменениями. Prior может быть слишком ограничительным, но использование смеси сопряженных априорных значений может дать желаемое распределение в форме, которую легко вычислить. Это похоже на разложение функции по собственным функциям - см. Сопряженный априор: аналогия с собственными функциями.

Динамическая система

Гиперприор - это распределение на пространстве возможных гиперпараметров. Если кто-то использует сопряженные априорные значения, то это пространство сохраняется за счет перехода к апостериорным - таким образом, по мере поступления данных распределение изменяется, но остается в этом пространстве: по мере поступления данных распределение развивается как динамическая система (каждая точка пространства гиперпараметров эволюционирует в обновленные гиперпараметры), с течением времени сходятся, как сходится само предшествующее.

Рекомендации

• Бернардо, Дж. М .; Смит, А. Ф. М. (2000). Байесовская теория. Нью-Йорк: Вили. ISBN  0-471-49464-X.