Ядро-независимый компонентный анализ - Kernel-independent component analysis

В статистике независимый от ядра анализ компонентов (ядро ICA) эффективный алгоритм для независимый компонентный анализ который оценивает исходные компоненты путем оптимизации обобщенная дисперсия функция контраста, основанная на представлениях в воспроизводящее ядро ​​гильбертова пространства.^[1][2] Эти функции контраста используют понятие взаимной информации как мера из статистическая независимость.

Смысл

Ядро ICA основано на идее, что корреляции между двумя случайными величинами могут быть представлены в виде воспроизводящее ядро ​​гильбертова пространство (RKHS), обозначаемый ${\displaystyle {\mathcal {F}}}$, связанный с картой объектов ${\displaystyle L_{x}:{\mathcal {F}}\mapsto \mathbb {R} }$ определены для фиксированного ${\displaystyle x\in \mathbb {R} }$. В ${\displaystyle {\mathcal {F}}}$-корреляция между двумя случайными величинами ${\displaystyle X}$ и ${\displaystyle Y}$ определяется как

${\displaystyle \rho _{\mathcal {F}}(X,Y)=\max _{f,g\in {\mathcal {F}}}\operatorname {corr} (\langle L_{X},f\rangle ,\langle L_{Y},g\rangle )}$

где функции ${\displaystyle f,g:\mathbb {R} \to \mathbb {R} }$ диапазон более ${\displaystyle {\mathcal {F}}}$ и

${\displaystyle \operatorname {corr} (\langle L_{X},f\rangle ,\langle L_{Y},g\rangle ):={\frac {\operatorname {cov} (f(X),g(Y))}{\operatorname {var} (f(X))^{1/2}\operatorname {var} (g(Y))^{1/2}}}}$

для фиксированного ${\displaystyle f,g\in {\mathcal {F}}}$.^[1] Обратите внимание, что свойство воспроизведения означает, что ${\displaystyle f(x)=\langle L_{x},f\rangle }$ для фиксированного ${\displaystyle x\in \mathbb {R} }$ и ${\displaystyle f\in {\mathcal {F}}}$.^[3] Отсюда следует, что ${\displaystyle {\mathcal {F}}}$-корреляция между двумя независимые случайные величины равно нулю.

Это понятие ${\displaystyle {\mathcal {F}}}$-корреляции используются для определения контраст функции, оптимизированные в алгоритме Kernel ICA. В частности, если ${\displaystyle \mathbf {X} :=(x_{ij})\in \mathbb {R} ^{n\times m}}$ это матрица предварительно отбеленных данных, то есть выборочное среднее каждого столбца равно нулю, а выборочная ковариация строк равна ${\displaystyle m\times m}$ размерная единичная матрица, Kernel ICA оценивает ${\displaystyle m\times m}$ размерная ортогональная матрица ${\displaystyle \mathbf {A} }$ чтобы минимизировать конечную выборку ${\displaystyle {\mathcal {F}}}$-корреляции между столбцами ${\displaystyle \mathbf {S} :=\mathbf {X} \mathbf {A} ^{\prime }}$.

Рекомендации

1. Бах, Фрэнсис Р .; Джордан, Майкл И. (2003). «Независимый компонентный анализ ядра» (PDF). Журнал исследований в области машинного обучения. 3: 1–48. Дои:10.1162/153244303768966085.
2. Бах, Фрэнсис Р .; Джордан, Майкл И. (2003). Анализ независимых компонентов ядра (PDF). Международная конференция IEEE по акустике, речи и обработке сигналов. 4. С. IV-876-9. Дои:10.1109 / icassp.2003.1202783. ISBN  978-0-7803-7663-2.
3. Сайто, Сабуро (1988). Теория воспроизведения ядер и ее приложения. Лонгман. ISBN  978-0582035645.