Оценщик - Estimator

В статистика, оценщик это правило для расчета оценки данного количества на основе наблюдаемые данные: таким образом, правило (оценка), величина интереса ( оценивать ) и его результат (оценка).^[1]

Есть точка и интервальные оценки. В точечные оценщики дают однозначные результаты, хотя это включает возможность получения однозначных векторных результатов и результатов, которые могут быть выражены как одна функция. Это в отличие от интервальная оценка, где результатом будет диапазон возможных значений (или векторов, или функций).

Теория оценок занимается свойствами оценщиков; то есть с определением свойств, которые можно использовать для сравнения различных оценок (разные правила создания оценок) для одного и того же количества на основе одних и тех же данных. Такие свойства можно использовать для определения наилучших правил использования в данных обстоятельствах. Однако в надежная статистика статистическая теория продолжает рассматривать баланс между наличием хороших свойств, если выполняются строго определенные предположения, и наличием менее хороших свойств, которые сохраняются в более широких условиях.

Фон

"Оценщик" или "точечная оценка " это статистика (то есть функция данных), которая используется для вывода значения неизвестного параметр в статистическая модель. Оцениваемый параметр иногда называют оценивать. Он может быть как конечномерным (в параметрический и полупараметрические модели ), либо бесконечномерный (полупараметрический и непараметрические модели ).^[2] Если параметр обозначен ${\displaystyle \theta }$ то оценка традиционно записывается добавлением циркумфлекс над символом: ${\displaystyle {\widehat {\theta }}}$. Будучи функцией данных, оценщик сам по себе случайная переменная; конкретная реализация этой случайной величины называется «оценкой». Иногда слова «оценщик» и «оценка» используются как синонимы.

Определение практически не накладывает ограничений на то, какие функции данных можно назвать «оценочными». Об привлекательности различных оценщиков можно судить по их свойствам, например: непредвзятость, среднеквадратичная ошибка, последовательность, асимптотическое распределение и т. д. Построение и сравнение оценщиков являются предметом теория оценки. В контексте теория принятия решений, оценщик - это тип правило принятия решения, и его производительность может быть оценена с помощью функции потерь.

Когда слово «оценщик» используется без квалификатора, оно обычно относится к балльной оценке. Оценка в этом случае представляет собой единственную точку в пространстве параметров. Также существует другой тип оценщика: интервальные оценки, где оценки - это подмножества пространства параметров.

Проблема оценка плотности возникает в двух приложениях. Во-первых, при оценке функции плотности вероятности случайных величин и, во-вторых, при оценке функция спектральной плотности из Временные ряды. В этих задачах оценки - это функции, которые можно рассматривать как точечные оценки в бесконечномерном пространстве, и существуют соответствующие задачи интервального оценивания.

Определение

Предположим, что фиксированная параметр ${\displaystyle \theta }$ необходимо оценить. Тогда «оценка» - это функция, которая отображает пространство образца к набору выборочные оценки. Оценка ${\displaystyle \theta }$ обычно обозначается символом ${\displaystyle {\widehat {\theta }}}$. Часто бывает удобно выразить теорию, используя алгебра случайных величин: таким образом, если Икс используется для обозначения случайная переменная в соответствии с наблюдаемыми данными, оценщик (который сам рассматривается как случайная величина) символизируется как функция этой случайной величины, ${\displaystyle {\widehat {\theta }}(X)}$. Оценка конкретного значения наблюдаемых данных ${\displaystyle x}$ (т.е. для ${\displaystyle X=x}$) затем ${\displaystyle {\widehat {\theta }}(x)}$, которое является фиксированным значением. Часто используются сокращенные обозначения, в которых ${\displaystyle {\widehat {\theta }}}$ интерпретируется напрямую как случайная величина, но это может вызвать путаницу.

Количественные свойства

Следующие определения и атрибуты актуальны.^[3]

Ошибка

Для данного образца ${\displaystyle x}$, "ошибка "оценщика ${\displaystyle {\widehat {\theta }}}$ определяется как

${\displaystyle e(x)={\widehat {\theta }}(x)-\theta ,}$

куда ${\displaystyle \theta }$ - оцениваемый параметр. Ошибка, е, зависит не только от оценщика (формулы или процедуры оценки), но и от выборки.

Среднеквадратичная ошибка

В среднеквадратичная ошибка из ${\displaystyle {\widehat {\theta }}}$ определяется как ожидаемое значение (средневзвешенное значение по всем выборкам) квадратов ошибок; то есть,

${\displaystyle \operatorname {MSE} ({\widehat {\theta }})=\operatorname {E} [({\widehat {\theta }}(X)-\theta )^{2}].}$

Он используется, чтобы указать, насколько в среднем набор оценок далеки от одного оцениваемого параметра. Рассмотрим следующую аналогию. Предположим, что параметр - это прицел на цель, оценка - это процесс стрельбы стрелами по цели, а отдельные стрелки - это оценки (выборки). Тогда высокая MSE означает, что среднее расстояние между стрелками от точки попадания высоко, а низкая MSE означает, что среднее расстояние от точки мишени низкое. Стрелки могут или не могут быть сгруппированы. Например, даже если все стрелки попадают в одну и ту же точку, но сильно не попадают в цель, MSE все равно относительно велика. Однако, если MSE относительно низка, стрелки, вероятно, более сильно сгруппированы (чем сильно рассредоточены) вокруг цели.

Отклонение выборки

Для данного образца ${\displaystyle x}$, то отклонение выборки оценщика ${\displaystyle {\widehat {\theta }}}$ определяется как

${\displaystyle d(x)={\widehat {\theta }}(x)-\operatorname {E} ({\widehat {\theta }}(X))={\widehat {\theta }}(x)-\operatorname {E} ({\widehat {\theta }}),}$

куда ${\displaystyle \operatorname {E} ({\widehat {\theta }}(X))}$ это ожидаемое значение оценщика. Отклонение выборки, d, зависит не только от оценщика, но и от выборки.

Дисперсия

В отклонение из ${\displaystyle {\widehat {\theta }}}$ - это просто ожидаемое значение квадратов отклонений выборки; то есть, ${\displaystyle \operatorname {var} ({\widehat {\theta }})=\operatorname {E} [({\widehat {\theta }}-\operatorname {E} [{\widehat {\theta }}])^{2}]}$. Он используется, чтобы указать, насколько в среднем набор оценок далек от ожидаемое значение оценок. (Обратите внимание на разницу между MSE и дисперсией.) Если параметр является мишенью для цели, а стрелки представляют собой оценки, то относительно высокая дисперсия означает, что стрелки рассеяны, а относительно низкая дисперсия означает, что стрелки сгруппированы. Даже если дисперсия низкая, группа стрелок все еще может быть далеко от цели, и даже если дисперсия высока, рассеянная совокупность стрелок все еще может быть несмещенной. Наконец, даже если все стрелы сильно не попадают в цель, но все же попадают в одну точку, дисперсия равна нулю.

Предвзятость

В предвзятость из ${\displaystyle {\widehat {\theta }}}$ определяется как ${\displaystyle B({\widehat {\theta }})=\operatorname {E} ({\widehat {\theta }})-\theta }$. Это расстояние между средним значением набора оценок и единственным оцениваемым параметром. Предвзятость ${\displaystyle {\widehat {\theta }}}$ является функцией истинного значения ${\displaystyle \theta }$ так сказать, что предвзятость ${\displaystyle {\widehat {\theta }}}$ является ${\displaystyle b}$ означает, что для каждого ${\displaystyle \theta }$ предвзятость ${\displaystyle {\widehat {\theta }}}$ является ${\displaystyle b}$.

Смещение также является ожидаемым значением ошибки, поскольку ${\displaystyle \operatorname {E} ({\widehat {\theta }})-\theta =\operatorname {E} ({\widehat {\theta }}-\theta )}$. Если параметр соответствует цели, а стрелки являются оценочными, то относительно высокое абсолютное значение смещения означает, что среднее положение стрелок не соответствует цели, а относительно низкое абсолютное смещение означает среднее положение стрелки попадают в цель. Они могут быть рассредоточены или сгруппированы. Взаимосвязь между систематической ошибкой и дисперсией аналогична взаимосвязи между тщательность и точность.

Оценщик ${\displaystyle {\widehat {\theta }}}$ является объективный оценщик из ${\displaystyle \theta }$ если и только если ${\displaystyle B({\widehat {\theta }})=0}$. Смещение - это свойство оценщика, а не оценки. Часто люди ссылаются на «смещенную оценку» или «несмещенную оценку», но на самом деле они говорят об «оценке, полученной от смещенной оценки», или «оценке, полученной от несмещенной оценки». Кроме того, люди часто путают «ошибку» одной оценки с «систематической ошибкой» оценки. То, что ошибка для одной оценки велика, не означает, что оценка смещена. Фактически, даже если все оценки имеют астрономические абсолютные значения для своих ошибок, если ожидаемое значение ошибки равно нулю, оценка является несмещенной. Кроме того, смещение оценки не препятствует тому, чтобы ошибка оценки была равна нулю в конкретном случае. Идеальная ситуация - иметь несмещенную оценку с низкой дисперсией, а также пытаться ограничить количество выборок, в которых ошибка является экстремальной (то есть имеет несколько выбросов). Однако непредвзятость не обязательна. Часто, если допускается лишь небольшое смещение, можно найти оценщик с более низким значением MSE и / или меньшим количеством оценок выборки с выбросами.

Альтернативой приведенной выше версии "несмещенный" является "несмещенный по медиане", где медиана распределение оценок соответствует истинному значению; таким образом, в долгосрочной перспективе половина оценок будет слишком низкой, а половина - завышенной. Хотя это сразу применимо только к скалярным оценкам, его можно распространить на любую меру основная тенденция распределения: см. средне-несмещенные оценки.

Отношения между количествами

• MSE, дисперсия и смещение связаны: ${\displaystyle \operatorname {MSE} ({\widehat {\theta }})=\operatorname {var} ({\widehat {\theta }})+(B({\widehat {\theta }}))^{2},}$ т.е. среднеквадратичная ошибка = дисперсия + квадрат смещения. В частности, для несмещенной оценки дисперсия равна MSE.
• В стандартное отклонение оценщика ${\displaystyle {\widehat {\theta }}}$ из ${\displaystyle \theta }$ (в квадратный корень дисперсии), или оценку стандартного отклонения оценщика ${\displaystyle {\widehat {\theta }}}$ из ${\displaystyle \theta }$, называется стандартная ошибка из ${\displaystyle {\widehat {\theta }}}$.

Поведенческие свойства

Последовательность

Основная статья: Последовательный оценщик

Согласованная последовательность оценок - это последовательность оценок, которые сходятся по вероятности количеству, оцениваемому как индекс (обычно размер образца ) растет неограниченно. Другими словами, увеличение размера выборки увеличивает вероятность того, что оценка приближается к параметру генеральной совокупности.

Математически последовательность оценок {т_п; п ≥ 0} - последовательная оценка для параметр θ если и только если для всех ϵ > 0, какими бы маленькими ни были, у нас есть

${\displaystyle \lim _{n\to \infty }\Pr \left\{\left|t_{n}-\theta \right|<\epsilon \right\}=1.}$

Определенную выше согласованность можно назвать слабой согласованностью. Последовательность строго последовательный, если оно сходится почти наверняка к истинной ценности.

Оценка, сходящаяся к несколько параметра может быть преобразован в согласованную оценку путем умножения оценки на масштаб, а именно истинное значение, деленное на асимптотическое значение оценки. Это часто происходит в оценка масштабных параметров к меры статистической дисперсии.

Асимптотическая нормальность

Основная статья: Асимптотическая нормальность

An асимптотически нормальный Оценщик - это согласованный оценщик, распределение которого вокруг истинного параметра θ приближается к нормальное распределение со стандартным отклонением, уменьшающимся пропорционально ${\displaystyle 1/{\sqrt {n}}}$ как размер выборки п растет. С помощью ${\displaystyle {\xrightarrow {D}}}$ обозначать конвергенция в распределении, т_п является асимптотически нормальный если

${\displaystyle {\sqrt {n}}(t_{n}-\theta ){\xrightarrow {D}}N(0,V),}$

для некоторых V.

В этой формулировке В / н можно назвать асимптотическая дисперсия оценщика. Однако некоторые авторы также называют V в асимптотическая дисперсия.Обратите внимание, что сходимость не обязательно произойдет для любого конечного «n», поэтому это значение является только приближением к истинной дисперсии оценки, в то время как в пределе асимптотическая дисперсия (V / n) просто равна нулю. Чтобы быть более конкретным, распределение оценки т_п слабо сходится к дельта-функция Дирака сосредоточен на ${\displaystyle \theta }$.

В Центральная предельная теорема следует асимптотическая нормальность выборочное среднее ${\displaystyle {\bar {X}}}$ в качестве оценки истинного среднего значения. максимальная вероятность оценки асимптотически нормальны при достаточно слабых условиях регулярности - см. раздел асимптотики статьи максимальной вероятности. Однако не все оценки асимптотически нормальны; простейшие примеры обнаруживаются, когда истинное значение параметра лежит на границе области допустимых параметров.

Эффективность

Основная статья: Эффективность (статистика)

Два естественно желательных свойства оценщиков заключаются в том, чтобы они были беспристрастными и имели минимальную среднеквадратичная ошибка (MSE). Как правило, они не могут быть удовлетворены одновременно: смещенная оценка может иметь более низкую среднеквадратичная ошибка (MSE), чем любой объективный оценщик; видеть систематическая ошибка оценки.

Среди несмещенных оценок часто существует оценка с наименьшей дисперсией, называемая несмещенной оценкой с минимальной дисперсией (МВУЭ ). В некоторых случаях непредвзятый эффективный оценщик существует, который, помимо самой низкой дисперсии среди несмещенных оценок, удовлетворяет Граница Крамера – Рао, который является абсолютной нижней границей дисперсии статистики переменной.

Относительно таких «лучших объективных оценок» см. Также Граница Крамера – Рао, Теорема Гаусса – Маркова, Теорема Лемана – Шеффе, Теорема Рао – Блэквелла.

Надежность

Основная статья: Надежный оценщик

Дальнейшая информация: Надежная регрессия

Смотрите также

• Лучшая линейная несмещенная оценка (СИНИЙ)
• Инвариантная оценка
• Фильтр Калмана
• Цепь Маркова Монте-Карло (MCMC)
• Максимум апостериори (КАРТА)
• Метод моментов, обобщенный метод моментов
• Минимальная среднеквадратическая ошибка (MMSE)
• Фильтр твердых частиц
• Критерий близости Питмана
• Чувствительность и специфичность
• Оценка усадки
• Обработка сигналов
• Свидетель
• Винеровский фильтр
• Хорошая статистика

Примечания

1. Мостеллер, Ф .; Тьюки, Дж. У. (1987) [1968]. «Анализ данных, включая статистику». Собрание сочинений Джона У. Тьюки: философия и принципы анализа данных 1965–1986. 4. CRC Press. стр. 601–720 [стр. 633]. ISBN  0-534-05101-4 - через Google Книги.
2. Косорок (2008), Раздел 3.1, стр. 35–39.
3. Джейнс (2007), стр.172.

Рекомендации

• Большев, Логин Николаевич (2001) [1994], «Статистический оценщик», Энциклопедия математики, EMS Press.
• Джейнс, Э. Т. (2007), Теория вероятностей: логика науки (5-е изд.), Издательство Кембриджского университета, ISBN  978-0-521-59271-0.
• Косорок, Михаил (2008). Введение в эмпирические процессы и полупараметрический вывод. Серии Спрингера в статистике. Springer. Дои:10.1007/978-0-387-74978-5. ISBN  978-0-387-74978-5.
• Леманн, Э.; Казелла, Г. (1998). Теория точечного оценивания (2-е изд.). Springer. ISBN  0-387-98502-6.
• Шао, июнь (1998), Математическая статистика, Springer, ISBN  0-387-98674-X

внешняя ссылка

• Основы теории оценивания