Информация Fisher - Fisher information

В математическая статистика, то Информация Fisher (иногда просто называют Информация^[1]) - способ измерения количества Информация что наблюдаемый случайная переменная Икс несет в себе неизвестный параметр θ распределения, моделирующего Икс. Формально это отклонение из счет, или ожидаемое значение из наблюдаемая информация. В Байесовская статистика, то асимптотическое распределение из задний Режим зависит от информации Fisher, а не от прежний (согласно Теорема Бернштейна – фон Мизеса, чего ожидал Лаплас за экспоненциальные семейства ).^[2] Роль информации Фишера в асимптотической теории оценка максимального правдоподобия было подчеркнуто статистиком Рональд Фишер (после некоторых первоначальных результатов Фрэнсис Исидро Эджворт ). Информация Фишера также используется при вычислении Джеффрис приор, который используется в байесовской статистике.

Информационная матрица Фишера используется для расчета ковариационные матрицы связана с максимальная вероятность оценки. Его также можно использовать при составлении статистики тестов, например Тест Вальда.

Было показано, что статистические системы научного характера (физические, биологические и т. Д.), Функции правдоподобия которых подчиняются инвариантности сдвига, подчиняются максимальной информации Фишера.^[3] Уровень максимума зависит от характера ограничений системы.

Определение

Информация Фишера - это способ измерения количества информации, которую можно наблюдать. случайная переменная Икс несет о неизвестном параметр θ на котором вероятность Икс зависит от. Позволять ж(Икс; θ) быть функция плотности вероятности (или же функция массы вероятности ) за Икс зависит от стоимости θ. Он описывает вероятность того, что мы наблюдаем данный результат Икс, данный известная стоимость θ. Если ж резко пик по отношению к изменению θ, легко указать "правильное" значение θ из данных или, что то же самое, что данные Икс предоставляет много информации о параметре θ. Если вероятность ж плоский и разложенный, то потребуется много образцов Икс для оценки действительной «истинной» стоимости θ который бы быть полученным с использованием всей выборки. Это предполагает изучение некой дисперсии по отношению к θ.

Формально частная производная относительно θ из натуральный логарифм функции правдоподобия называется счет. При определенных условиях регулярности, если θ является истинным параметром (т.е. Икс фактически распространяется как ж(Икс; θ)), можно показать, что ожидаемое значение (первый момент ) оценки, оцененной при истинном значении параметра ${\displaystyle \theta }$, равно 0:^[4]

${\displaystyle {\begin{aligned}&\operatorname {E} \left[\left.{\frac {\partial }{\partial \theta }}\log f(X;\theta )\right|\theta \right]\\[3pt]={}&\int {\frac {{\frac {\partial }{\partial \theta }}f(x;\theta )}{f(x;\theta )}}f(x;\theta )\,dx\\[3pt]={}&{\frac {\partial }{\partial \theta }}\int f(x;\theta )\,dx\\[3pt]={}&{\frac {\partial }{\partial \theta }}1=0.\end{aligned}}}$

В отклонение оценки определяется как Информация Fisher:^[5]

${\displaystyle {\mathcal {I}}(\theta )=\operatorname {E} \left[\left.\left({\frac {\partial }{\partial \theta }}\log f(X;\theta )\right)^{2}\right|\theta \right]=\int \left({\frac {\partial }{\partial \theta }}\log f(x;\theta )\right)^{2}f(x;\theta )\,dx,}$

Обратите внимание, что ${\displaystyle 0\leq {\mathcal {I}}(\theta )}$. Случайная величина, несущая высокую информацию Фишера, означает, что абсолютное значение оценки часто бывает высоким. Информация Фишера не является функцией конкретного наблюдения, поскольку случайная величина Икс был усреднен.

Если бревнож(Икс; θ) дважды дифференцируема по θ, а при определенных условиях регулярности^[4] тогда информация Фишера также может быть записана как^[6]

${\displaystyle {\mathcal {I}}(\theta )=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log f(X;\theta )\right|\theta \right],}$

поскольку

${\displaystyle {\frac {\partial ^{2}}{\partial \theta ^{2}}}\log f(X;\theta )={\frac {{\frac {\partial ^{2}}{\partial \theta ^{2}}}f(X;\theta )}{f(X;\theta )}}-\left({\frac {{\frac {\partial }{\partial \theta }}f(X;\theta )}{f(X;\theta )}}\right)^{2}={\frac {{\frac {\partial ^{2}}{\partial \theta ^{2}}}f(X;\theta )}{f(X;\theta )}}-\left({\frac {\partial }{\partial \theta }}\log f(X;\theta )\right)^{2}}$

и

${\displaystyle \operatorname {E} \left[\left.{\frac {{\frac {\partial ^{2}}{\partial \theta ^{2}}}f(X;\theta )}{f(X;\theta )}}\right|\theta \right]={\frac {\partial ^{2}}{\partial \theta ^{2}}}\int f(x;\theta )\,dx=0.}$

Таким образом, информацию Фишера можно рассматривать как кривизну кривая поддержки (график логарифма правдоподобия). Недалеко от максимальная вероятность оценка, поэтому низкая информация Фишера указывает на то, что максимум кажется «тупым», то есть максимум неглубоким и есть много близких значений с аналогичной логарифмической вероятностью. И наоборот, высокая информация Фишера указывает на резкость максимума.

Расхождение в определении

Существует две версии определения информации Фишера. Некоторые книги и заметки определяют

${\displaystyle {\cal {I}}(\theta ):=\operatorname {E} \left[-{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log f(X\mid \theta )\right]}$

куда ${\displaystyle \log f(X\mid \theta )}$ является логарифмической вероятностью для одного наблюдения, тогда как другие определяют

${\displaystyle {\cal {I}}(\theta ):=\operatorname {E} \left[-{\frac {\partial ^{2}}{\partial \theta ^{2}}}\ell (X\mid \theta )\right]}$ куда ${\displaystyle \ell }$ - функция логарифма правдоподобия для всех наблюдений.

В некоторых учебниках может даже использоваться один и тот же символ ${\displaystyle {\cal {I}}(\theta )}$ для обозначения обеих версий по разным темам (например, книга, которая определяет ${\displaystyle {\cal {I}}(\theta )}$ быть версией с полным наблюдением при обсуждении нижней границы Крамера – Рао и может по-прежнему позволять тому же символу относиться к версии с одним наблюдением при представлении асимптотического нормального распределения оценки максимального правдоподобия). Следует быть осторожным со значением ${\displaystyle {\cal {I}}(\theta )}$ в конкретном контексте; однако, если данные i.i.d. разница между двумя версиями просто фактор ${\displaystyle n}$, количество точек данных в выборке.

Неформальный вывод границы Крамера – Рао

В Граница Крамера – Рао^[7][8] утверждает, что инверсия информации Фишера является нижней границей дисперсии любого объективный оценщик из θ. H.L. Van Trees (1968) и Б. Рой Фриден (2004) предлагают следующий метод получения Граница Крамера – Рао, результат, который описывает использование информации Фишера.

Неформально мы начнем с рассмотрения объективный оценщик ${\displaystyle {\hat {\theta }}(X)}$. Математически «беспристрастный» означает, что

${\displaystyle \operatorname {E} \left[\left.{\hat {\theta }}(X)-\theta \right|\theta \right]=\int \left({\hat {\theta }}(x)-\theta \right)\,f(x;\theta )\,dx=0{\text{ regardless of the value of }}\theta .}$

Это выражение равно нулю независимо от θ, поэтому его частная производная по θ также должен быть равен нулю. Посредством правило продукта, эта частная производная также равна

${\displaystyle 0={\frac {\partial }{\partial \theta }}\int \left({\hat {\theta }}(x)-\theta \right)\,f(x;\theta )\,dx=\int \left({\hat {\theta }}(x)-\theta \right){\frac {\partial f}{\partial \theta }}\,dx-\int f\,dx.}$

Для каждого θ, функция правдоподобия является функцией плотности вероятности, и поэтому ${\displaystyle \int f\,dx=1}$. Базовое вычисление подразумевает, что

${\displaystyle {\frac {\partial f}{\partial \theta }}=f\,{\frac {\partial \log f}{\partial \theta }}.}$

Используя эти два факта выше, мы получаем

${\displaystyle \int \left({\hat {\theta }}-\theta \right)f\,{\frac {\partial \log f}{\partial \theta }}\,dx=1.}$

Факторизация подынтегральной функции дает

${\displaystyle \int \left(\left({\hat {\theta }}-\theta \right){\sqrt {f}}\right)\left({\sqrt {f}}\,{\frac {\partial \log f}{\partial \theta }}\right)\,dx=1.}$

Возводя выражение в интеграл в квадрат, Неравенство Коши – Шварца дает

${\displaystyle 1={\biggl (}\int \left[\left({\hat {\theta }}-\theta \right){\sqrt {f}}\right]\cdot \left[{\sqrt {f}}\,{\frac {\partial \log f}{\partial \theta }}\right]\,dx{\biggr )}^{2}\leq \left[\int \left({\hat {\theta }}-\theta \right)^{2}f\,dx\right]\cdot \left[\int \left({\frac {\partial \log f}{\partial \theta }}\right)^{2}f\,dx\right].}$

Второй фактор в квадратных скобках определяется как информация Фишера, а первый фактор в квадратных скобках - это ожидаемая среднеквадратичная ошибка оценки. ${\displaystyle {\hat {\theta }}}$. Переставляя, неравенство говорит нам, что

${\displaystyle \operatorname {Var} \left({\hat {\theta }}\right)\geq {\frac {1}{{\mathcal {I}}\left(\theta \right)}}.}$

Другими словами, точность, с которой мы можем оценить θ фундаментально ограничен информацией Фишера о функции правдоподобия.

Однопараметрический эксперимент Бернулли

А Бернулли суд случайная величина с двумя возможными исходами: «успех» и «неудача», при этом вероятность успеха составляет θ. Результат можно представить как результат подбрасывания монеты с вероятностью выпадения орла. θ и вероятность выпадения хвостов 1 − θ.

Позволять Икс быть судом Бернулли. Информация Fisher, содержащаяся в Икс можно рассчитать как

${\displaystyle {\begin{aligned}{\mathcal {I}}(\theta )&=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log \left(\theta ^{X}(1-\theta )^{1-X}\right)\right|\theta \right]\\[5pt]&=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\left(X\log \theta +(1-X)\log(1-\theta )\right)\right|\theta \right]\\[5pt]&=\operatorname {E} \left[\left.{\frac {X}{\theta ^{2}}}+{\frac {1-X}{(1-\theta )^{2}}}\right|\theta \right]\\[5pt]&={\frac {\theta }{\theta ^{2}}}+{\frac {1-\theta }{(1-\theta )^{2}}}\\[5pt]&={\frac {1}{\theta (1-\theta )}}.\end{aligned}}}$

Поскольку информация Fisher является аддитивной, информация Fisher, содержащаяся в п независимый Бернулли испытания следовательно является

${\displaystyle {\mathcal {I}}(\theta )={\frac {n}{\theta (1-\theta )}}.}$

Это обратное отклонение среднего числа успехов в п Бернулли испытания, поэтому в данном случае оценка Крамера – Рао является равенством.

Матричная форма

Когда есть N параметры, так что θ является N × 1 вектор ${\displaystyle \theta ={\begin{bmatrix}\theta _{1}&\theta _{2}&\dots &\theta _{N}\end{bmatrix}}^{\textsf {T}},}$ тогда информация Фишера принимает форму N × N матрица. Эта матрица называется Информационная матрица Фишера (FIM) и имеет типовой элемент

${\displaystyle {\bigl [}{\mathcal {I}}(\theta ){\bigr ]}_{i,j}=\operatorname {E} \left[\left.\left({\frac {\partial }{\partial \theta _{i}}}\log f(X;\theta )\right)\left({\frac {\partial }{\partial \theta _{j}}}\log f(X;\theta )\right)\right|\theta \right].}$

FIM - это N × N положительно полуопределенная матрица. Если он положительно определен, то он определяет Риманова метрика на N-размерный пространство параметров. Тема информационная геометрия использует это для подключения информации Fisher к дифференциальная геометрия, и в этом контексте этот показатель известен как Информационная метрика Fisher.

При определенных условиях регулярности информационная матрица Фишера также может быть записана как

${\displaystyle {\bigl [}{\mathcal {I}}(\theta ){\bigr ]}_{i,j}=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta _{i}\,\partial \theta _{j}}}\log f(X;\theta )\right|\theta \right]\,.}$

Результат интересен в нескольких отношениях:

• Его можно получить как Гессен из относительная энтропия.
• Его можно понимать как метрику, индуцированную Евклидова метрика, после соответствующей замены переменной.
• В комплекснозначной форме это Метрика Фубини – Этюд.
• Это ключевая часть доказательства Теорема Уилкса, что позволяет оценить доверительную область для оценка максимального правдоподобия (для тех условий, для которых он применяется) без необходимости Принцип правдоподобия.
• В случаях, когда аналитические расчеты FIM выше затруднены, можно сформировать среднее из простых оценок Монте-Карло для Гессен функции отрицательного логарифма правдоподобия как оценки FIM.^[9][10][11] Оценки могут быть основаны на значениях функции отрицательного логарифмического правдоподобия или градиента функции отрицательного логарифма правдоподобия; не требуется аналитического вычисления гессиана функции отрицательного логарифмического правдоподобия.

Ортогональные параметры

Мы говорим, что два параметра θ_я и θ_j ортогональны, если элемент яй ряд и j-й столбец информационной матрицы Фишера равен нулю. С ортогональными параметрами легко иметь дело в том смысле, что их оценки максимального правдоподобия независимы и могут быть рассчитаны отдельно. При решении исследовательских задач исследователь часто тратит некоторое время на поиски ортогональной параметризации плотностей, задействованных в проблеме.^{[нужна цитата ]}

Сингулярная статистическая модель

Смотрите также: Регулярная параметрическая модель

Если информационная матрица Фишера положительно определена для всех θ, то соответствующий статистическая модель как говорят обычный; в противном случае говорят, что статистическая модель единственное число.^[12] Примеры сингулярных статистических моделей включают следующее: нормальные смеси, биномиальные смеси, полиномиальные смеси, байесовские сети, нейронные сети, радиальные базисные функции, скрытые марковские модели, стохастические контекстно-свободные грамматики, регрессии с пониженным рангом, машины Больцмана.

В машинное обучение, если статистическая модель разработана так, что она извлекает скрытую структуру из случайного явления, то она естественно становится сингулярной.^[13]

Многомерное нормальное распределение

FIM для N-variate многомерное нормальное распределение, ${\displaystyle \,X\sim N\left(\mu (\theta ),\,\Sigma (\theta )\right)}$ имеет особую форму. Пусть K-мерный вектор параметров быть ${\displaystyle \theta ={\begin{bmatrix}\theta _{1}&\dots &\theta _{K}\end{bmatrix}}^{\textsf {T}}}$ а вектор случайных нормальных величин равен ${\displaystyle X={\begin{bmatrix}X_{1}&\dots &X_{N}\end{bmatrix}}^{\textsf {T}}}$. Предположим, что средние значения этих случайных величин равны ${\displaystyle \,\mu (\theta )={\begin{bmatrix}\mu _{1}(\theta )&\dots &\mu _{N}(\theta )\end{bmatrix}}^{\textsf {T}}}$, и разреши ${\displaystyle \,\Sigma (\theta )}$ быть ковариационная матрица. Тогда для ${\displaystyle 1\leq m,\,n\leq K}$, (м, п) запись в FIM:^[14]

${\displaystyle {\mathcal {I}}_{m,n}={\frac {\partial \mu ^{\textsf {T}}}{\partial \theta _{m}}}\Sigma ^{-1}{\frac {\partial \mu }{\partial \theta _{n}}}+{\frac {1}{2}}\operatorname {tr} \left(\Sigma ^{-1}{\frac {\partial \Sigma }{\partial \theta _{m}}}\Sigma ^{-1}{\frac {\partial \Sigma }{\partial \theta _{n}}}\right),}$

куда ${\displaystyle (\cdot )^{\textsf {T}}}$ обозначает транспонировать вектора, ${\displaystyle \operatorname {tr} (\cdot )}$ обозначает след из квадратная матрица, и:

${\displaystyle {\begin{aligned}{\frac {\partial \mu }{\partial \theta _{m}}}&={\begin{bmatrix}{\frac {\partial \mu _{1}}{\partial \theta _{m}}}&{\frac {\partial \mu _{2}}{\partial \theta _{m}}}&\cdots &{\frac {\partial \mu _{N}}{\partial \theta _{m}}}\end{bmatrix}}^{\textsf {T}};\\{\frac {\partial \Sigma }{\partial \theta _{m}}}&={\begin{bmatrix}{\frac {\partial \Sigma _{1,1}}{\partial \theta _{m}}}&{\frac {\partial \Sigma _{1,2}}{\partial \theta _{m}}}&\cdots &{\frac {\partial \Sigma _{1,N}}{\partial \theta _{m}}}\\[5pt]{\frac {\partial \Sigma _{2,1}}{\partial \theta _{m}}}&{\frac {\partial \Sigma _{2,2}}{\partial \theta _{m}}}&\cdots &{\frac {\partial \Sigma _{2,N}}{\partial \theta _{m}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial \Sigma _{N,1}}{\partial \theta _{m}}}&{\frac {\partial \Sigma _{N,2}}{\partial \theta _{m}}}&\cdots &{\frac {\partial \Sigma _{N,N}}{\partial \theta _{m}}}\end{bmatrix}}.\end{aligned}}}$

Обратите внимание, что особый, но очень распространенный случай - это случай, когда${\displaystyle \Sigma (\theta )=\Sigma }$, постоянная. потом

${\displaystyle {\mathcal {I}}_{m,n}={\frac {\partial \mu ^{\textsf {T}}}{\partial \theta _{m}}}\Sigma ^{-1}{\frac {\partial \mu }{\partial \theta _{n}}}.\ }$

В этом случае информационная матрица Фишера может быть отождествлена ​​с матрицей коэффициентов нормальные уравнения из наименьших квадратов теория оценки.

Другой частный случай возникает, когда среднее значение и ковариация зависят от двух разных векторных параметров, скажем, β и θ. Это особенно популярно при анализе пространственных данных, который часто использует линейную модель с коррелированными остатками. В этом случае,^[15]

${\displaystyle {\mathcal {I}}(\beta ,\theta )=\operatorname {diag} \left({\mathcal {I}}(\beta ),{\mathcal {I}}(\theta )\right)}$

куда

${\displaystyle {\begin{aligned}{\mathcal {I}}{(\beta )_{m,n}}&={\frac {\partial \mu ^{\textsf {T}}}{\partial \beta _{m}}}\Sigma ^{-1}{\frac {\partial \mu }{\partial \beta _{n}}},\\[5pt]{\mathcal {I}}{(\theta )_{m,n}}&={\frac {1}{2}}\operatorname {tr} \left(\Sigma ^{-1}{\frac {\partial \Sigma }{\partial \theta _{m}}}{\Sigma ^{-1}}{\frac {\partial \Sigma }{\partial \theta _{n}}}\right)\end{aligned}}}$

Характеристики

Правило цепи

Подобно энтропия или же взаимная информация, информация Фишера также обладает Правило цепи разложение. В частности, если Икс и Y являются совместно распределенными случайными величинами, отсюда следует, что:^[16]

${\displaystyle {\mathcal {I}}_{X,Y}(\theta )={\mathcal {I}}_{X}(\theta )+{\mathcal {I}}_{Y\mid X}(\theta ),}$

куда ${\displaystyle {\mathcal {I}}_{Y\mid X}(\theta )}$ информация Фишера о Y относительно ${\displaystyle \theta }$ рассчитывается относительно условной плотности Y учитывая конкретное значениеИкс = Икс.

Как особый случай, если две случайные величины равны независимый, информация, полученная от двух случайных величин, представляет собой сумму информации от каждой случайной величины отдельно:

${\displaystyle {\mathcal {I}}_{X,Y}(\theta )={\mathcal {I}}_{X}(\theta )+{\mathcal {I}}_{Y}(\theta ).}$

Следовательно, информация в случайной выборке п независимые и одинаково распределенные наблюдения п раз больше информации в выборке размером 1.

Достаточная статистика

Информация предоставлена достаточная статистика такой же, как у образца Икс. Это можно увидеть, используя Критерий факторизации Неймана для достаточной статистики. Если Т(Икс) достаточно для θ, тогда

${\displaystyle f(X;\theta )=g(T(X),\theta )h(X)}$

для некоторых функций грамм и час. Независимость час(Икс) из θ подразумевает

${\displaystyle {\frac {\partial }{\partial \theta }}\log \left[f(X;\theta )\right]={\frac {\partial }{\partial \theta }}\log \left[g(T(X);\theta )\right],}$

тогда равенство информации следует из определения информации Фишера. В более общем смысле, если Т = т(Икс) это статистика, тогда

${\displaystyle {\mathcal {I}}_{T}(\theta )\leq {\mathcal {I}}_{X}(\theta )}$

с равенством если и только если Т это достаточная статистика.^[17]

Репараметризация

Информация Фишера зависит от параметризации проблемы. Если θ и η - две скалярные параметризации задачи оценивания, и θ это непрерывно дифференцируемый функция η, тогда

${\displaystyle {\mathcal {I}}_{\eta }(\eta )={\mathcal {I}}_{\theta }(\theta (\eta ))\left({\frac {d\theta }{d\eta }}\right)^{2}}$

куда ${\displaystyle {\mathcal {I}}_{\eta }}$ и ${\displaystyle {\mathcal {I}}_{\theta }}$ информационные меры Фишера η и θ, соответственно.^[18]

В векторном случае предположим ${\displaystyle {\boldsymbol {\theta }}}$ и ${\displaystyle {\boldsymbol {\eta }}}$ находятся k-векторы, которые параметризуют задачу оценивания, и предположим, что ${\displaystyle {\boldsymbol {\theta }}}$ является непрерывно дифференцируемой функцией от ${\displaystyle {\boldsymbol {\eta }}}$, тогда,^[19]

${\displaystyle {\mathcal {I}}_{\boldsymbol {\eta }}({\boldsymbol {\eta }})={\boldsymbol {J}}^{\textsf {T}}{\mathcal {I}}_{\boldsymbol {\theta }}({\boldsymbol {\theta }}({\boldsymbol {\eta }})){\boldsymbol {J}}}$

где (я, j) th элемент k × k Матрица якобиана ${\displaystyle {\boldsymbol {J}}}$ определяется

${\displaystyle J_{ij}={\frac {\partial \theta _{i}}{\partial \eta _{j}}},}$

и где ${\displaystyle {\boldsymbol {J}}^{\textsf {T}}}$ транспонированная матрица ${\displaystyle {\boldsymbol {J}}.}$

В информационная геометрия, это видится как изменение координат на Риманово многообразие, а внутренние свойства кривизны не изменяются при различной параметризации. В общем случае информационная матрица Фишера обеспечивает риманову метрику (точнее, метрику Фишера – Рао) для многообразия термодинамических состояний и может использоваться в качестве меры информационно-геометрической сложности для классификации фазовые переходы Например, скалярная кривизна термодинамического метрического тензора расходится в (и только в) точке фазового перехода.^[20]

В термодинамическом контексте информационная матрица Фишера напрямую связана со скоростью изменения соответствующего параметры заказа.^[21] В частности, такие соотношения идентифицируют фазовые переходы второго рода через расхождения отдельных элементов информационной матрицы Фишера.

Приложения

Оптимальный план экспериментов

Информация Fisher широко используется в оптимальный экспериментальный план. Из-за взаимности оценки дисперсии и информации Фишера, сведение к минимуму то отклонение соответствует максимизация то Информация.

Когда линейный (или же линеаризованный ) статистическая модель имеет несколько параметры, то иметь в виду оценщика параметров является вектор и это отклонение это матрица. Обратная матрица дисперсии называется «информационной матрицей». Поскольку дисперсия средства оценки вектора параметров является матрицей, проблема «минимизации дисперсии» усложняется. С помощью статистическая теория, статистики сжимают информационную матрицу, используя действительные значения сводные статистические данные; будучи функциями с действительным знаком, эти «информационные критерии» могут быть максимизированы.

Традиционно статистики оценивают оценки и планы, рассматривая некоторые сводная статистика ковариационной матрицы (несмещенной оценки), обычно с положительными действительными значениями (например, детерминант или же матричный след ). Работа с положительными действительными числами дает несколько преимуществ: если оценка одного параметра имеет положительную дисперсию, тогда и дисперсия, и информация Фишера являются положительными действительными числами; следовательно, они являются членами выпуклого конуса неотрицательных действительных чисел (ненулевые члены которого имеют обратные значения в этом же конусе).

Ковариационные и информационные матрицы для нескольких параметров являются элементами выпуклого конуса неотрицательно-определенных симметричных матриц в частично упорядоченное векторное пространство, под Loewner (Лёвнер) заказ. Этот конус замкнут при сложении и обращении матриц, а также при умножении положительных действительных чисел и матриц. Изложение теории матриц и порядка Лёвнера появляется в Пукельсхайме.^[22]

Традиционными критериями оптимальности являются Информация матричные инварианты в смысле теория инвариантов; алгебраически традиционные критерии оптимальности функционалы из собственные значения информационной матрицы (Фишера) (см. оптимальный дизайн ).

Джеффрис приор в байесовской статистике

В Байесовская статистика, информация Фишера используется для расчета Джеффрис приор, который является стандартным неинформативным априорным методом для параметров непрерывного распределения.^[23]

Вычислительная нейробиология

Информация Фишера использовалась для определения границ точности нейронных кодов. В таком случае, Икс обычно являются совместными ответами многих нейронов, представляющими низкоразмерную переменную θ (например, параметр стимула). В частности, изучалась роль корреляций в шуме нервных реакций.^[24]

Вывод физических законов

Информация Фишера играет центральную роль в противоречивом принципе, выдвинутом Frieden как основание физических законов, требование, которое было оспорено.^[25]

Машинное обучение

Информация Фишера используется в таких методах машинного обучения, как упругое уплотнение веса,^[26] что уменьшает катастрофическое забывание в искусственные нейронные сети.

Отношение к относительной энтропии

Смотрите также: Информационная метрика Fisher

Информация Fisher связана с относительная энтропия.^[27] Относительная энтропия, или Дивергенция Кульбака – Лейблера, между двумя распределениями ${\displaystyle p}$ и ${\displaystyle q}$ можно записать как

${\displaystyle KL(p:q)=\int p(x)\log {\frac {p(x)}{q(x)}}dx.}$

Теперь рассмотрим семейство вероятностных распределений ${\displaystyle f(x;\theta )}$ параметризовано ${\displaystyle \theta \in \Theta }$. Тогда Дивергенция Кульбака – Лейблера, между двумя распределениями в семействе можно записать как

${\displaystyle D(\theta ,\theta ')=KL(p(.;\theta ):p(.;\theta '))=\int f(x;\theta )\log {\frac {f(x;\theta )}{f(x;\theta ')}}dx.}$

Если ${\displaystyle \theta }$ фиксировано, то относительная энтропия между двумя распределениями одного и того же семейства минимизируется на ${\displaystyle \theta '=\theta }$. За ${\displaystyle \theta '}$ рядом с ${\displaystyle \theta }$, можно расширить предыдущее выражение в ряду до второго порядка:

${\displaystyle D(\theta ,\theta ')={\frac {1}{2}}(\theta '-\theta )^{\textsf {T}}\left({\frac {\partial ^{2}}{\partial \theta '_{i}\,\partial \theta '_{j}}}D(\theta ,\theta ')\right)_{\theta '=\theta }(\theta '-\theta )+o\left((\theta '-\theta )^{2}\right)}$

Но производную второго порядка можно записать как

${\displaystyle \left({\frac {\partial ^{2}}{\partial \theta '_{i}\,\partial \theta '_{j}}}D(\theta ,\theta ')\right)_{\theta '=\theta }=-\int f(x;\theta )\left({\frac {\partial ^{2}}{\partial \theta '_{i}\,\partial \theta '_{j}}}\log(f(x;\theta '))\right)_{\theta '=\theta }dx=[{\mathcal {I}}(\theta )]_{i,j}.}$

Таким образом, информация Фишера представляет собой кривизна относительной энтропии.

Schervish (1995: §2.3) говорит следующее.

Одним из преимуществ информации Кульбака-Лейблера перед информацией Фишера является то, что на нее не влияют изменения параметризации. Другое преимущество состоит в том, что информацию Кульбака-Лейблера можно использовать, даже если рассматриваемые распределения не все являются членами параметрического семейства.

...

Еще одно преимущество информации Кульбака-Лейблера заключается в том, что условия гладкости для плотностей ... не требуются.

История

Информация Фишера обсуждалась несколькими ранними статистиками, в частности Ф. Я. Эджворт.^[28] Например, Savage^[29] говорит: «В нем [информация Фишера] он [Фишер] был в некоторой степени предвиден (Эджворт 1908–199, особенно 502, 507–8, 662, 677–8, 82–5 и ссылки, которые он [Эджворт] цитирует, включая Пирсона). и Филон 1898 [...]) ". Есть ряд ранних исторических источников^[30] и ряд обзоров этой ранней работы.^[31][32][33]

Смотрите также

• Эффективность (статистика)
• Наблюдаемая информация
• Информационная метрика Fisher
• Матрица формирования
• Информационная геометрия
• Джеффрис приор
• Граница Крамера – Рао
• Минимальная информация Fisher

Другие меры, применяемые в теория информации:

• Энтропия (теория информации)
• Дивергенция Кульбака – Лейблера
• Самоинформация

Примечания

1. Леманн и Казелла, стр. 115
2. Люсьен Ле Кам (1986) Асимптотические методы в статистической теории принятия решений: Страницы 336 и 618–621 (фон Мизес и Бернштейн).
3. Фриден и Гатенби (2013)
4. Суба Рао. «Лекции по статистическому выводу» (PDF).
5. Фишер (1922)
6. Lehmann & Casella, ур. (2.5.16), лемма 5.3, с.116.
7. Крамер (1946)
8. Рао (1945)
9. Сполл, Дж. К. (2005). «Вычисление Монте-Карло информационной матрицы Фишера в нестандартных условиях». Журнал вычислительной и графической статистики. 14 (4): 889–909. Дои:10.1198 / 106186005X78800.
10. Сполл, Дж. К. (2008), "Улучшенные методы оценки информационной матрицы Фишера методом Монте-Карло", Труды Американской конференции по контролю, Сиэтл, Вашингтон, 11–13 июня 2008 г., стр. 2395–2400. https://doi.org/10.1109/ACC.2008.4586850
11. Das, S .; Spall, J.C .; Ганем, Р. (2010). «Эффективное вычисление методом Монте-Карло информационной матрицы Фишера с использованием априорной информации». Вычислительная статистика и анализ данных. 54 (2): 272–289. Дои:10.1016 / j.csda.2009.09.018.
12. Watanabe, S. (2008), Accardi, L .; Freudenberg, W .; Охя, М. (ред.), "Алгебраико-геометрический метод в сингулярной статистической оценке", Квантовая биоинформатика, Всемирный научный: 325–336, Bibcode:2008qbi..conf..325 Вт, Дои:10.1142/9789812793171_0024, ISBN  978-981-279-316-4.
13. Ватанабэ, S (2013). «Широко применимый байесовский информационный критерий». Журнал исследований в области машинного обучения. 14: 867–897.
14. Малаго, Луиджи; Пистоне, Джованни (2015). Информационная геометрия распределения Гаусса с учетом стохастической оптимизации. Материалы конференции ACM 2015 г. по основам генетических алгоритмов XIII. С. 150–162. Дои:10.1145/2725494.2725510. ISBN  9781450334341.
15. Mardia, K. V .; Маршалл, Р. Дж. (1984). «Оценка максимального правдоподобия моделей остаточной ковариации в пространственной регрессии». Биометрика. 71 (1): 135–46. Дои:10.1093 / biomet / 71.1.135.
16. Замир, Р. (1998). «Доказательство информационного неравенства Фишера с помощью аргумента обработки данных». IEEE Transactions по теории информации. 44 (3): 1246–1250. CiteSeerX  10.1.1.49.6628. Дои:10.1109/18.669301.
17. Шервиш, Марк Дж. (1995). Теоретическая статистика. Springer-Verlag. п. 113.
18. Lehmann & Casella, ур. (2.5.11).
19. Lehmann & Casella, ур. (2.6.16)
20. Janke, W .; Johnston, D.A .; Кенна, Р. (2004). «Информационная геометрия и фазовые переходы». Physica A. 336 (1–2): 181. arXiv:cond-mat / 0401092. Bibcode:2004PhyA..336..181J. Дои:10.1016 / j.physa.2004.01.023.
21. Прокопенко, М .; Лизье, Джозеф Т .; Lizier, J. T .; Обст, О .; Ван, X. Р. (2011). «Связь информации Fisher с параметрами заказа». Физический обзор E. 84 (4): 041116. Bibcode:2011PhRvE..84d1116P. Дои:10.1103 / PhysRevE.84.041116. PMID  22181096. S2CID  18366894.
22. Пукельсхайм, Фридрик (1993). Оптимальный план экспериментов. Нью-Йорк: Вили. ISBN  978-0-471-61971-0.
23. Бернардо, Хосе М .; Смит, Адриан Ф. М. (1994). Байесовская теория. Нью-Йорк: Джон Вили и сыновья. ISBN  978-0-471-92416-6.
24. Эбботт, Ларри Ф .; Даян, Питер (1999). «Влияние коррелированной изменчивости на точность кода населения». Нейронные вычисления. 11 (1): 91–101. Дои:10.1162/089976699300016827. PMID  9950724.
25. Стритер, Р. Ф. (2007). Утраченные причины в физике и за ее пределами. Springer. п. 69. ISBN  978-3-540-36581-5.
26. Киркпатрик, Джеймс; Паскану, Разван; Рабиновиц, Нил; Венесс, Джоэл; Дежарден, Гийом; Русу, Андрей А .; Милан, Киран; Куан, Джон; Рамальо, Тьяго (28 марта 2017 г.). «Преодоление катастрофического забывания в нейронных сетях». Труды Национальной академии наук. 114 (13): 3521–3526. Дои:10.1073 / pnas.1611835114. ISSN  0027-8424. ЧВК  5380101. PMID  28292907.
27. Гурье и Монфор (1995), стр. 87
28. Дикарь (1976)
29. Дикарь (1976), стр.156
30. Эджворт (сентябрь 1908 г., декабрь 1908 г.)
31. Пратт (1976)
32. Стиглер (1978, 1986, 1999)
33. Халд (1998, 1999)

Рекомендации

• Крамер, Харальд (1946). Математические методы статистики. Принстонский математический ряд. Принстон: Издательство Принстонского университета. ISBN  0691080046.

• Эджворт, Ф. (Июнь 1908 г.). «О вероятных ошибках частотных постоянных». Журнал Королевского статистического общества. 71 (2): 381–397. Дои:10.2307/2339461. JSTOR  2339461.
• Эджворт, Ф. (Сентябрь 1908 г.). "О вероятных ошибках частотных постоянных (продолжение)". Журнал Королевского статистического общества. 71 (3): 499–512. Дои:10.2307/2339293. JSTOR  2339293.
• Эджворт, Ф. (Декабрь 1908 г.). "О вероятных ошибках частотных постоянных (продолжение)". Журнал Королевского статистического общества. 71 (4): 651–678. Дои:10.2307/2339378. JSTOR  2339378.

• Фишер, Р.А. (1922-01-01). «О математических основах теоретической статистики». Философские труды Лондонского королевского общества. А. 222 (594–604): 309–368. Дои:10.1098 / рста.1922.0009. Получено 2020-08-12.

• Frieden, B.R. (2004) Наука от информации Фишера: объединение. Cambridge Univ. Нажмите. ISBN  0-521-00911-1.
• Frieden, B. Roy; Гейтенби, Роберт А. (2013). «Принцип максимума информации Фишера из аксиом Харди применительно к статистическим системам». Физический обзор E. 88 (4): 042144. arXiv:1405.0007. Bibcode:2013PhRvE..88d2144F. Дои:10.1103 / PhysRevE.88.042144. ЧВК  4010149. PMID  24229152.
• Халд, А. (май 1999 г.). «К истории максимума правдоподобия по отношению к обратной вероятности и наименьшим квадратам». Статистическая наука. 14 (2): 214–222. Дои:10.1214 / сс / 1009212248. JSTOR  2676741.
• Халд, А. (1998). История математической статистики с 1750 по 1930 гг.. Нью-Йорк: Вили. ISBN  978-0-471-17912-2.
• Леманн, Э.; Казелла, Г. (1998). Теория точечного оценивания (2-е изд.). Springer. ISBN  978-0-387-98502-2.
• Ле Кам, Люсьен (1986). Асимптотические методы в статистической теории принятия решений. Springer-Verlag. ISBN  978-0-387-96307-5.
• Пратт, Джон В. (май 1976 г.). "Ф. И. Эджворт и Р. А. Фишер об эффективности оценки максимального правдоподобия". Анналы статистики. 4 (3): 501–514. Дои:10.1214 / aos / 1176343457. JSTOR  2958222.

• Рао, Ч. Радхакришна (1945). «Информация и достижимая точность при оценке статистических параметров». Бюллетень Калькуттского математического общества. 37: 81–91. Дои:10.1007/978-1-4612-0919-5_16.

• Сэвидж, Л. Дж. (Май 1976 г.). «О перечитывании Р. А. Фишера». Анналы статистики. 4 (3): 441–500. Дои:10.1214 / aos / 1176343456. JSTOR  2958221.
• Шервиш, Марк Дж. (1995). Теория статистики. Нью-Йорк: Спрингер. ISBN  978-0-387-94546-0.
• Стиглер, С.М. (1986). История статистики: измерение неопределенности до 1900 г.. Издательство Гарвардского университета. ISBN  978-0-674-40340-6.^{[страница нужна ]}
• Стиглер, С.М. (1978). "Фрэнсис Исидро Эджворт, статистик". Журнал Королевского статистического общества, серия A. 141 (3): 287–322. Дои:10.2307/2344804. JSTOR  2344804.
• Стиглер, С.М. (1999). Статистика на столе: история статистических концепций и методов. Издательство Гарвардского университета. ISBN  978-0-674-83601-3.^{[страница нужна ]}
• Ван Трис, Х. Л. (1968). Обнаружение, оценка и теория модуляции, часть I. Нью-Йорк: Вили. ISBN  978-0-471-09517-0.