Усечение (статистика) - Truncation (statistics)

В статистика, усечение приводит к значениям, которые ограничены выше или ниже, что приводит к усеченный образец.^[1] Случайная величина ${displaystyle y}$ называется усеченным снизу, если для некоторого порогового значения ${displaystyle c}$, точное значение ${displaystyle y}$ известен на все случаи ${displaystyle y>c}$, но неизвестно во всех случаях ${displaystyle yleq c}$. Точно так же усечение сверху означает точное значение ${displaystyle y}$ известен в случаях, когда ${displaystyle y<c}$, но неизвестно когда ${displaystyle ygeq c}$.^[2]

Усечение похоже, но отличается от концепции статистическая цензура. Усеченная выборка может рассматриваться как эквивалент базовой выборки, в которой все значения за пределами границ полностью опущены, и даже не сохраняется количество пропущенных. При статистической цензуре будет записано примечание, в котором будет указано, какая граница (верхняя или нижняя) была превышена, а также значение этой границы. При усеченной выборке нота не записывается.

Приложения

Обычно значения, которые страховщики receive либо усекаются слева, либо подвергаются цензуре справа, либо и то, и другое. Например, если держатели полисов подпадают под действие ограничения политики ты, то любые суммы убытков, которые на самом деле выше ты сообщаются страховой компании как точно ты потому что ты это сумма страховая компания платит. Страховщик знает, что фактический убыток превышает ты но они не знают, что это такое. С другой стороны, усечение слева происходит, когда страхователи подлежат франшизе. Если страхователи подлежат франшизе d, любая сумма убытка меньше чем d не будет даже сообщено в страховую компанию. Если есть претензия по ограничению полиса в размере ты и франшиза в размере d, любая сумма убытка, превышающая ты будет сообщено в страховую компанию как потеря ${displaystyle u-d}$ потому что именно эту сумму должна выплатить страховая компания. Таким образом, данные о страховых убытках усекаются слева, поскольку страховая компания не знает, есть ли значения ниже франшизы. d потому что страхователи не будут предъявлять претензии. Страховой ущерб также подвергается цензуре, если убыток превышает ты потому что ты это максимальная сумма, которую страховая компания заплатит. Таким образом, он знает только, что ваше требование больше, чем ты, а не точную сумму претензии.

Распределения вероятностей

Основная статья: Усеченное распределение

Усечение может применяться к любому распределение вероятностей. Обычно это приводит к новому распределению, а не к одному в той же семье. Таким образом, если случайная величина Икс имеет F(Икс) в качестве функции распределения новая случайная величина Y определяется как имеющий распределение Икс усеченный до полуоткрытого интервала (а, б] имеет функцию распределения

${displaystyle F_{Y}(y)={frac {F(y)-F(a)}{F(b)-F(a)}},}$

за у в интервале (а, б] и 0 или 1 в противном случае. Если бы усечение было до закрытого интервала [а, б] функция распределения будет

${displaystyle F_{Y}(y)={frac {F(y)-F(a-)}{F(b)-F(a-)}},}$

за у в интервале [а, б] и 0 или 1 в противном случае.

Анализ данных

Анализ данных, в которых наблюдения рассматриваются как полученные из усеченных версий стандартных распределений, может быть выполнен с использованием максимальная вероятность, где вероятность будет выведена из распределения или плотности усеченного распределения. При этом учитывается фактор ${displaystyle {F(b)-F(a)}}$ в модифицированной функции плотности, которая будет зависеть от параметров исходного распределения.

На практике, если усеченная часть очень мала, эффект усечения можно игнорировать при анализе данных. Например, обычно используется нормальное распределение для моделирования данных, значения которых могут быть только положительными, но для которых типичный диапазон значений далеко от нуля. В таких случаях усеченная или подвергнутая цензуре версия нормального распределения формально может быть предпочтительнее (хотя могут быть альтернативы); результаты более сложного анализа изменились бы очень мало. Однако доступно программное обеспечение для оценки максимального правдоподобия даже умеренно сложных моделей, таких как регрессионные модели, для усеченных данных.^[3]

В эконометрика, усеченные зависимые переменные находятся переменные для которых невозможно сделать наблюдения для определенных значений в некотором диапазоне.^[4] Модели регрессии с такими зависимыми переменными требуют особой осторожности, чтобы должным образом распознавать усеченный характер переменной. Оценка таких усеченная регрессионная модель может быть выполнено параметрическим,^[5][6] или полу- и непараметрические каркасы.^[7][8]

Смотрите также

• Цензура (статистика)
• Обрезанный оценщик
• Усеченное распределение
• Усеченное среднее

Рекомендации

1. Додж, Ю. (2003) Оксфордский словарь статистических терминов. ОУП. ISBN  0-19-920613-9
2. Брин, Ричард (1996). Модели регрессии: цензура, выборка выбранных или усеченных данных. Количественные приложения в социальных науках. 111. Таузенд-Оукс: Шалфей. С. 2–4. ISBN  0-8039-5710-6.
3. Волынец, М. С. (1979). "Оценка максимального правдоподобия в линейной модели из ограниченных и подвергнутых цензуре нормальных данных". Журнал Королевского статистического общества. Серия C. 28 (2): 195–206. Дои:10.2307/2346749. JSTOR  2346749.
4. «Усеченные зависимые переменные». About.com. Получено 2008-03-22.
5. Амемия, Т. (1973). «Регрессионный анализ, когда зависимая переменная усечена нормальным образом». Econometrica. 41 (6): 997–1016. Дои:10.2307/1914031. JSTOR  1914031.
6. Хекман, Джеймс (1976). «Общая структура статистических моделей усечения, выборки и ограниченных зависимых переменных и простой оценщик для таких моделей». Анналы экономических и социальных измерений. 5 (4): 475–492.
7. Левбель, А.; Линтон, О. (2002). «Непараметрическая цензурированная и усеченная регрессия». Econometrica. 70 (2): 765–779. Дои:10.1111/1468-0262.00304. JSTOR  2692291.
8. Парк, Б. У .; Simar, L .; Зеленюк, В. (2008). "Оценка локальной вероятности усеченной регрессии и ее частных производных: теория и применение" (PDF). Журнал эконометрики. 146 (1): 185–198. Дои:10.1016 / j.jeconom.2008.08.007.