Mallowss C_п - Mallowss Cp

В статистика, Mallows’s C_п,^[1][2] назван в честь Колин Лингвуд Мэллоуз, используется для оценки поместиться из регрессионная модель это было оценено с использованием обыкновенный метод наименьших квадратов. Применяется в контексте выбор модели, где ряд переменные-предикторы доступны для прогнозирования некоторых результатов, и цель состоит в том, чтобы найти лучшую модель, включающую подмножество этих предикторов. Небольшое значение C_п означает, что модель относительно точная.

Mallows’s C_п было показано, что эквивалентно Информационный критерий Акаике в частном случае гауссовского линейная регрессия.^[3]

Определение и свойства

Mallows’s C_п решает проблему переоснащение, в которой статистика выбора модели, такая как остаточная сумма квадратов, всегда уменьшается по мере добавления в модель большего количества переменных. Таким образом, если мы стремимся выбрать модель, дающую наименьшую остаточную сумму квадратов, всегда будет выбираться модель, включающая все переменные. Вместо этого C_п статистика рассчитана на образец данных оценивает среднеквадратичная ошибка прогноза (MSPE) как его численность населения цель

${\displaystyle E\sum _{j}({\hat {Y}}_{j}-E(Y_{j}\mid X_{j}))^{2}/\sigma ^{2},}$

куда ${\displaystyle {\hat {Y}}_{j}}$ является подобранным значением из регрессионной модели для jй случай, E(Y_j | Икс_j) - ожидаемое значение для j-й случай, а σ² - дисперсия ошибки (предполагается, что она постоянна во всех случаях). MSPE не будет автоматически уменьшаться по мере добавления дополнительных переменных. Оптимальная модель по этому критерию - это компромисс, зависящий от размера выборки, размеры эффекта различных предикторов, а также степень коллинеарность между ними.

Если п регрессоры выбираются из набора K > п, то C_п статистика для этого конкретного набора регрессоров определяется как:

${\displaystyle C_{p}={SSE_{p} \over S^{2}}-N+2(P+1),}$

куда

• ${\displaystyle SSE_{p}=\sum _{i=1}^{N}(Y_{i}-Y_{pi})^{2}}$ это сумма квадратов ошибок для модели с п регрессоры,
• Y_{число Пи} это предсказанный ценность я-е наблюдение Y от п регрессоры,
• S² - средний квадрат невязки после регресс по комплектации K регрессоры и оценивается как среднеквадратичная ошибка MSE,
• и N это размер образца.

Альтернативное определение

Учитывая линейную модель, такую ​​как:

${\displaystyle Y=\beta _{0}+\beta _{1}X_{1}+\cdots +\beta _{p}X_{p}+\varepsilon }$

куда:

• ${\displaystyle \beta _{0},\ldots ,\beta _{p}}$ коэффициенты для переменных-предикторов ${\displaystyle X_{1},\ldots ,X_{p}}$
• ${\displaystyle \varepsilon }$ представляет ошибку

Альтернативная версия C_п также можно определить как:^[4]

${\displaystyle C_{p}={\frac {1}{n}}(\operatorname {RSS} +2d{\hat {\sigma }}^{2})}$

куда

• RSS - это остаточная сумма квадратов на обучающем наборе данных.
• d количество предикторов
• и ${\displaystyle {\hat {\sigma }}^{2}}$ относится к оценке дисперсии, связанной с каждым ответом в линейной модели (оцененной на модели, содержащей все предикторы)

Обратите внимание, что эта версия C_п не дает значений, эквивалентных предыдущей версии, но модель с наименьшим C_п из этого определения также будет такая же модель с наименьшим C_п из более раннего определения.

Ограничения

В C_п критерий имеет два основных ограничения^[5]

1. то C_п приближение справедливо только для большого размера выборки;
2. то C_п не может обрабатывать сложные коллекции моделей, как при выборе переменных (или выбор функции ) проблема.^[5]

Практическое использование

В C_п статистика часто используется как правило остановки для различных форм пошаговая регрессия. Маллоуз предложил статистику в качестве критерия для выбора среди множества альтернативных регрессий подмножества. Под моделью, не страдающей от заметного несоответствия (смещения), C_п имеет ожидание почти равное п; в противном случае ожидание примерно п плюс положительный термин смещения. Тем не менее, даже несмотря на то, что ожидание больше или равно п, ничто не мешает C_п < п или даже C_п <0 в крайних случаях. Предлагается выбрать подмножество, имеющее C_п приближающийся п,^[6] сверху, для списка подмножеств, упорядоченных по возрастанию п. На практике положительное смещение можно скорректировать, выбрав модель из упорядоченного списка подмножеств, так что C_п < 2п.

Поскольку на основе выборки C_п статистика - это оценка MSPE с использованием C_п выбор модели не полностью защищает от переоборудования. Например, возможно, что выбранная модель будет той, в которой образец C_п была особенно серьезной недооценкой MSPE.

Статистика выбора модели, такая как C_п обычно не используются вслепую, а скорее учитывается информация о сфере применения, предполагаемом использовании модели и любых известных смещениях в данных в процессе выбора модели.

Смотрите также

• Степень соответствия: регрессионный анализ
• Коэффициент детерминации

Рекомендации

1. Мэллоуз, К. Л. (1973). "Некоторые комментарии к C_п". Технометрика. 15 (4): 661–675. Дои:10.2307/1267380. JSTOR  1267380.
2. Гилмор, Стивен Г. (1996). "Интерпретация Маллоуз C_п-статистический ». Журнал Королевского статистического общества, серия D. 45 (1): 49–56. JSTOR  2348411.
3. Буасбунон, Орели; Кану, Стефан; Фурдринье, Доминик; Strawderman, Уильям; Уэллс, Мартин Т. (2013). «АПК, C_п и оценки потерь для эллиптически симметричных распределений ". arXiv:1308.2766 [math.ST ].
4. Джеймс, Гарет; Виттен; Хасти; Тибширани (24.06.2013). Введение в статистическое обучение. http://www-bcf.usc.edu/~gareth/ISL/ISLR%20Sixth%20Printing.pdf: Springer. стр.211. ISBN  978-1-4614-7138-7.
5. Жиро, К. (2015), Введение в многомерную статистику, Чепмен и Холл / CRC, ISBN  9781482237948
6. Daniel, C .; Вуд, Ф. (1980). Подгонка уравнений к данным (Ред. Ред.). Нью-Йорк: Wiley & Sons, Inc.

дальнейшее чтение

• Чоу, Грегори С. (1983). Эконометрика. Нью-Йорк: Макгроу-Хилл. стр.291–293. ISBN  978-0-07-010847-9.
• Хокинг, Р. Р. (1976). «Анализ и выбор переменных в линейной регрессии». Биометрия. 32 (1): 1–50. CiteSeerX  10.1.1.472.4742. Дои:10.2307/2529336. JSTOR  2529336.
• Судья, Джордж Г .; Гриффитс, Уильям Э .; Хилл, Р. Картер; Ли, Цунг-Чао (1980). Теория и практика эконометрики. Нью-Йорк: Вили. С. 417–423. ISBN  978-0-471-05938-7.