Регрессия ядра - Kernel regression

Не путать с Анализ основных компонентов ядра.

В статистика, Регрессия ядра это непараметрический метод оценки условное ожидание из случайная переменная. Цель состоит в том, чтобы найти нелинейную связь между парой случайных величин. Икс и Y.

В любом непараметрическая регрессия, то условное ожидание переменной ${\displaystyle Y}$ относительно переменной ${\displaystyle X}$ можно написать:

${\displaystyle \operatorname {E} (Y|X)=m(X)}$

куда ${\displaystyle m}$ неизвестная функция.

Регрессия ядра Надарая – Ватсона

Надарая и Watson, оба в 1964 г., предложили оценить ${\displaystyle m}$ в качестве локально взвешенного среднего с использованием ядро как весовая функция.^[1][2][3] Оценка Надарая – Ватсона:

${\displaystyle {\widehat {m}}_{h}(x)={\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})y_{i}}{\sum _{j=1}^{n}K_{h}(x-x_{j})}}}$

куда ${\displaystyle K_{h}}$ это ядро ​​с пропускной способностью ${\displaystyle h}$. Знаменатель - это весовой член с суммой 1.

Вывод

${\displaystyle \operatorname {E} (Y|X=x)=\int yf(y|x)dy=\int y{\frac {f(x,y)}{f(x)}}dy}$

С использованием оценка плотности ядра для совместного распространения f (x, y) и f (x) с ядром K,

${\displaystyle {\hat {f}}(x,y)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)K_{h}\left(y-y_{i}\right)}$,
${\displaystyle {\hat {f}}(x)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)}$,

мы получили

${\displaystyle {\begin{aligned}\operatorname {\hat {E}} (Y|X=x)&=\int {\frac {y\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)K_{h}\left(y-y_{i}\right)}{\sum _{j=1}^{n}K_{h}\left(x-x_{j}\right)}}dy,\\&={\frac {\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)\int y\,K_{h}\left(y-y_{i}\right)dy}{\sum _{j=1}^{n}K_{h}\left(x-x_{j}\right)}},\\&={\frac {\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)y_{i}}{\sum _{j=1}^{n}K_{h}\left(x-x_{j}\right)}},\end{aligned}}}$

что является оценкой Надарая – Ватсона.

Оценка ядра Пристли – Чао

${\displaystyle {\widehat {m}}_{PC}(x)=h^{-1}\sum _{i=2}^{n}(x_{i}-x_{i-1})K\left({\frac {x-x_{i}}{h}}\right)y_{i}}$

куда ${\displaystyle h}$ - полоса пропускания (или параметр сглаживания).

Оценка ядра Гассера – Мюллера

${\displaystyle {\widehat {m}}_{GM}(x)=h^{-1}\sum _{i=1}^{n}\left[\int _{s_{i-1}}^{s_{i}}K\left({\frac {x-u}{h}}\right)du\right]y_{i}}$

куда ${\displaystyle s_{i}={\frac {x_{i-1}+x_{i}}{2}}}$

Пример

Предполагаемая функция регрессии.

Этот пример основан на данных о заработной плате в Канаде, состоящих из случайной выборки, взятой из Канадских кассет общественного пользования 1971 года для мужчин, имеющих общее образование (13 класс). Всего 205 наблюдений.

На рисунке справа показана оцененная функция регрессии с использованием гауссова ядра второго порядка вместе с границами асимптотической изменчивости.

Скрипт например

Следующие команды Язык программирования R использовать npreg () функция для обеспечения оптимального сглаживания и создания фигуры, указанной выше. Эти команды можно ввести в командной строке с помощью вырезания и вставки.

install.packages("нп")библиотека(нп) # непараметрическая библиотекаданные(cps71)прикреплять(cps71)м <- НПРЕГ(журнал~возраст)участок(м, plot.errors.method=«асимптотический»,     plot.errors.style="группа",     Илим=c(11, 15.2))точки(возраст, журнал, cex=.25)

Связанный

В соответствии с Дэвид Салсбург, алгоритмы, используемые в регрессии ядра, были независимо разработаны и использовались в нечеткие системы: «Создавая почти одинаковый компьютерный алгоритм, нечеткие системы и регрессии на основе плотности ядра, кажется, были разработаны полностью независимо друг от друга».^[4]

Статистическая реализация

• GNU Octave пакет математических программ
• Юля: KernelEstimator.jl
• MATLAB: Бесплатный набор инструментов MATLAB с реализацией регрессии ядра, оценкой плотности ядра, оценкой ядра функции риска и многими другими доступен на эти страницы (этот набор инструментов является частью книги ^[5]).
• Python: the KernelReg класс для смешанных типов данных в statsmodels.nonparametric подпакет (включает другие классы, связанные с плотностью ядра), пакет kernel_regression как продолжение Sklearn (неэффективно с точки зрения памяти, полезно только для небольших наборов данных)
• р: функция НПРЕГ из нп пакет может выполнять регрессию ядра.^[6][7]
• Stata: npregress, kernreg2

Смотрите также

• Ядро более гладкое
• Локальная регрессия

Рекомендации

1. Надарая, Э. А. (1964). «Об оценке регрессии». Теория вероятностей и ее приложения. 9 (1): 141–2. Дои:10.1137/1109020.
2. Уотсон, Г.С. (1964). «Плавный регрессионный анализ». Санкхья: Индийский статистический журнал, серия A. 26 (4): 359–372. JSTOR  25049340.
3. Биренс, Герман Дж. (1994). «Оценка функции регрессии ядра Надарая – Ватсона». Темы продвинутой эконометрики. Нью-Йорк: Издательство Кембриджского университета. С. 212–247. ISBN  0-521-41900-X.
4. Зальсбург, Д. (2002). Дама, дегустирующая чай: как статистика произвела революцию в науке в двадцатом веке. W.H. Фримен. С. 290–91. ISBN  0-8050-7134-2.
5. Horová, I .; Koláček, J .; Зелинка, Дж. (2012). Сглаживание ядра в MATLAB: теория и практика сглаживания ядра. Сингапур: World Scientific Publishing. ISBN  978-981-4405-48-5.
6. нп: Непараметрические методы сглаживания ядра для смешанных типов данных
7. Клок, Джон; Маккин, Джозеф В. (2014). Непараметрические статистические методы с использованием R. CRC Press. С. 98–106. ISBN  978-1-4398-7343-4.

дальнейшее чтение

• Хендерсон, Дэниел Дж .; Парметр, Кристофер Ф. (2015). Прикладная непараметрическая эконометрика. Издательство Кембриджского университета. ISBN  978-1-107-01025-3.
• Ли, Ци; Расин, Джеффри С. (2007). Непараметрическая эконометрика: теория и практика. Издательство Принстонского университета. ISBN  0-691-12161-3.
• Pagan, A .; Уллах, А. (1999). Непараметрическая эконометрика. Издательство Кембриджского университета. ISBN  0-521-35564-8.
• Симонов, Джеффри С. (1996). Методы сглаживания в статистике. Springer. ISBN  0-387-94716-7.

внешняя ссылка

• Масштабируемая регрессия ядра (с программным обеспечением Matlab).
• Учебник по регрессии ядра с использованием электронной таблицы (с Майкрософт Эксель ).
• Онлайн-демонстрация регрессии ядра Требуется .NET 3.0 или новее.
• Регрессия ядра с автоматическим выбором полосы пропускания (с Python)