Усадка (статистика) - Shrinkage (statistics)

В статистика, усадка это уменьшение влияния вариации выборки. В регрессивный анализ, похоже, что подобранная взаимосвязь работает хуже с новым набором данных, чем с набором данных, используемым для подбора.[1] В частности, ценность коэффициент детерминации «сжимается». Эта идея дополняет переоснащение и, отдельно, к стандартной корректировке, выполненной в коэффициенте детерминации для компенсации сослагательных эффектов дальнейшей выборки, например, с учетом возможности случайного улучшения модели новыми пояснительными терминами: то есть сама формула корректировки обеспечивает «сжатие». " Но формула регулировки дает искусственную усадку.

А оценщик усадки является оценщик который явно или неявно включает в себя влияние усадка. В общих чертах это означает, что наивная или грубая оценка улучшается за счет объединения ее с другой информацией. Этот термин относится к понятию, что улучшенная оценка приближена к значению, предоставленному «другой информацией», чем необработанная оценка. В этом смысле усадка используется для упорядочить некорректно вывод проблемы.

Усадка неявна в Байесовский вывод и оштрафованный вывод вероятности, и явный Джеймс – Штайн вывод типа. Напротив, простые типы максимальная вероятность и оценка методом наименьших квадратов процедуры не включают эффекты усадки, хотя их можно использовать в схемах оценки усадки.

Описание

Многие стандартные оценщики можно улучшенный, с точки зрения среднеквадратичная ошибка (MSE), уменьшив их до нуля (или любого другого фиксированного постоянного значения). Другими словами, улучшение оценки за счет соответствующего уменьшения ширины доверительного интервала может перевесить ухудшение оценки, вызванное смещением оценки к нулю (см. компромисс смещения и дисперсии ).

Предположим, что ожидаемое значение необработанной оценки не равно нулю, и рассмотрим другие оценки, полученные путем умножения исходной оценки на определенный параметр. Значение для этого параметра может быть указано таким образом, чтобы минимизировать MSE новой оценки. Для этого значения параметра новая оценка будет иметь меньшую MSE, чем исходная. Таким образом он был улучшен. Эффект здесь может заключаться в преобразовании беспристрастный грубая оценка к улучшенной смещенной.

Примеры

Известный пример возникает при оценке населения отклонение к выборочная дисперсия. Для размера выборки п, использование делителя п - 1 в обычной формуле (Поправка Бесселя ) дает несмещенную оценку, в то время как другие делители имеют более низкую MSE за счет смещения. Оптимальный выбор делителя (взвешивание усадки) зависит от избыточный эксцесс населения, как обсуждается на среднеквадратическая ошибка: дисперсия, но всегда можно добиться большего (с точки зрения MSE), чем несмещенная оценка; для нормального распределения делитель п + 1 дает тот, который имеет минимальную среднеквадратичную ошибку.

Методы

Виды регресс которые включают оценки усадки, включают регресс гребня, где коэффициенты, полученные с помощью регулярной регрессии наименьших квадратов, приближаются к нулю путем умножения на константу ( коэффициент усадки), и регресс лассо, где коэффициенты приближаются к нулю путем добавления или вычитания константы.

Копас описал использование оценщиков усадки в контексте регрессионного анализа, где может быть большое количество независимых переменных.[2] Здесь значения оцененных коэффициентов регрессии сокращаются до нуля с эффектом уменьшения среднеквадратичной ошибки предсказанных значений модели при применении к новым данным. Более поздняя статья Копаса[3] применяет сжатие в контексте, где проблема состоит в том, чтобы предсказать двоичный ответ на основе двоичных независимых переменных.

Хауссер и Стриммер "разрабатывают оценку усадки типа Джеймса-Стейна, в результате чего получается процедура, которая является высокоэффективной как в статистическом, так и в вычислительном отношении. Несмотря на ее простоту, ... она превосходит восемь других процедур оценки энтропии в широком диапазоне сценариев выборки и модели, генерирующие данные, даже в случаях серьезной недостаточной выборки. ... метод является полностью аналитическим и, следовательно, вычислительно недорогим. Более того, ... процедура одновременно обеспечивает оценки энтропии и частот ячеек. ... Предлагаемые оценки усадки энтропия и взаимная информация, а также все другие исследованные средства оценки энтропии были реализованы в R (R Development Core Team, 2008). Соответствующий пакет R «энтропия» был помещен в архив R CRAN и доступен по URL-адресу https://cran.r-project.org/web/packages/entropy/ под Стандартной общественной лицензией GNU ". [4]

Смотрите также

Рекомендации

  1. ^ Эверитт Б.С. (2002) Кембриджский статистический словарь (2-е издание), CUP. ISBN  0-521-81099-X
  2. ^ Копас, Дж. Б. (1983). «Регресс, прогноз и усадка». Журнал Королевского статистического общества, серия B. 45 (3): 311–354. JSTOR  2345402. МИСТЕР  0737642.
  3. ^ Копас, Дж. Б. (1993). «Сжатие точечных методов подсчета очков». Журнал Королевского статистического общества, серия C. 42 (2): 315–331. JSTOR  2986235.
  4. ^ Хауссер, Жан; Стриммер (2009). «Энтропийный вывод и оценщик Джеймса-Стейна с применением к нелинейным сетям ассоциации генов» (PDF). Журнал исследований в области машинного обучения. 10: 1469–1484. Получено 2013-03-23.

Статистическое программное обеспечение

  • Хауссер, Жан. "энтропия". пакет энтропии для R. Получено 2013-03-23.

Рекомендации