Гиперпараметр - Hyperparameter

Эта статья о гиперпараметрах в байесовской статистике. Не следует путать с Гиперпараметр (машинное обучение).

В Байесовская статистика, а гиперпараметр является параметром предварительное распространение; термин используется, чтобы отличить их от параметров модели для анализируемой системы.

Например, если вы используете бета-распространение для моделирования распределения параметра п из Распределение Бернулли, тогда:

• п является параметром базовой системы (распределение Бернулли), и
• α и β являются параметрами априорного распределения (бета-распределение), следовательно, гиперпараметры.

Можно взять одно значение для данного гиперпараметра, или можно выполнить итерацию и взять распределение вероятностей для самого гиперпараметра, называемое гиперприор.

Цель

Часто используется априор, происходящий от параметрическая семья распределений вероятностей - это сделано частично для наглядности (чтобы можно было записать распределение и выбрать форму, изменяя гиперпараметр, а не пытаться создать произвольную функцию), и частично, чтобы можно было отличаться гиперпараметр, особенно в методе сопряженные приоры, или для Анализ чувствительности.

Сопряженные приоры

Основная статья: Конъюгировать приор

При использовании сопряженного априорного распределения апостериорное распределение будет из того же семейства, но будет иметь разные гиперпараметры, которые отражают добавленную информацию из данных: с субъективной точки зрения, убеждения были обновлены. Для общего априорного распределения это очень сложно с вычислительной точки зрения, и апостериорное распределение может иметь необычную или трудно описываемую форму, но с сопряженным априорным распределением обычно существует простая формула, связывающая значения гиперпараметров апостериорного распределения со значениями гиперпараметры априорного, и, таким образом, вычисление апостериорного распределения очень просто.

Анализ чувствительности

Основная статья: Анализ чувствительности

Основное беспокойство пользователей байесовской статистики и критика со стороны критиков - это зависимость апостериорного распределения от априорного. Гиперпараметры решают эту проблему, позволяя легко изменять их и видеть, как апостериорное распределение (и различные его статистические данные, такие как достоверные интервалы ) различаются: можно увидеть, как чувствительный выводы основаны на предыдущих предположениях, и процесс называется Анализ чувствительности.

Точно так же можно использовать предварительное распределение с диапазоном для гиперпараметра, возможно, отражающим неопределенность в правильности до взятия, и отразить это в диапазоне для окончательной неопределенности.^[1]

Гиперприоры

Основная статья: Hyperprior

Вместо использования одного значения для данного гиперпараметра можно вместо этого рассмотреть распределение вероятностей самого гиперпараметра; это называется "гиперприор. »В принципе, это можно повторить, называя параметры гиперприора« гипергиперпараметрами »и так далее.

Смотрите также

• Эмпирический метод Байеса

Рекомендации

1. Джулио Д'Агостини, Чисто субъективная оценка априорных вероятностей, в Байесовский вывод при обработке экспериментальных данных: принципы и основные приложения

дальнейшее чтение

• Bernardo, J.M .; Смит, А. Ф. М. (2000). Байесовская теория. Нью-Йорк: Вили. ISBN  0-471-49464-X.
• Гельман, А.; Хилл, Дж. (2007). Анализ данных с использованием регрессии и многоуровневых / иерархических моделей. Нью-Йорк: Издательство Кембриджского университета. С. 251–278. ISBN  978-0-521-68689-1.
• Крушке, Дж. К. (2010). Выполнение байесовского анализа данных: учебное пособие с R и BUGS. Академическая пресса. С. 241–264. ISBN  978-0-12-381485-2.