Независимый компонентный анализ - Independent component analysis

В обработка сигналов, независимый компонентный анализ (ICA) - это вычислительный метод разделения многомерный сигнал на аддитивные подкомпоненты. Это делается путем предположения, что подкомпоненты являются негауссовыми сигналами и что они статистически независимый друг от друга. ICA - частный случай слепое разделение источников. Типичным примером приложения является "проблема коктейльной вечеринки "прослушивания речи одного человека в шумной комнате.^[1]

Вступление

Воспроизвести медиа

ICA на четырех случайно смешанных видео^[2]

Независимый компонентный анализ пытается разложить многомерный сигнал на независимые негауссовские сигналы. Например, звук обычно представляет собой сигнал, состоящий из числового сложения в каждый момент времени t сигналов от нескольких источников. Тогда возникает вопрос, можно ли отделить эти источники от наблюдаемого полного сигнала. Когда допущение о статистической независимости верно, слепое ICA-разделение смешанного сигнала дает очень хорошие результаты.^{[нужна цитата ]} Он также используется для сигналов, которые не должны генерироваться путем микширования в целях анализа.

Простым приложением ICA является "проблема коктейльной вечеринки ", где лежащие в основе речевые сигналы отделены от выборки данных, состоящей из людей, одновременно говорящих в комнате. Обычно проблема упрощается, предполагая отсутствие задержек по времени или эхо. Обратите внимание, что отфильтрованный и задержанный сигнал является копией зависимого компонента, и, таким образом, предположение о статистической независимости не нарушается.

Смешивание весов для построения ${\textstyle M}$ наблюдаемые сигналы от ${\textstyle N}$ компоненты могут быть размещены в ${\textstyle M\times N}$ матрица. Важно учитывать, что если ${\textstyle N}$ источники присутствуют, по крайней мере ${\textstyle N}$ наблюдения (например, микрофоны, если наблюдаемый сигнал является звуковым) необходимы для восстановления исходных сигналов. Когда имеется равное количество наблюдений и сигналов источников, матрица микширования имеет квадратную форму (${\textstyle M=N}$). Другие случаи недоопределенных (${\textstyle M<N}$) и сверхдетерминированные (${\textstyle M>N}$) были исследованы.

То, что ICA-разделение смешанных сигналов дает очень хорошие результаты, основано на двух предположениях и трех эффектах смешения сигналов источников. Два предположения:

1. Сигналы источников независимы друг от друга.
2. Значения в каждом исходном сигнале имеют негауссовское распределение.

Три эффекта микширования сигналов источников:

1. Независимость: Согласно предположению 1, исходные сигналы независимы; однако их смеси сигналов - нет. Это связано с тем, что смеси сигналов используют одни и те же исходные сигналы.
2. Нормальность: согласно Центральная предельная теорема, распределение суммы независимых случайных величин с конечной дисперсией стремится к гауссовскому распределению.
   Грубо говоря, сумма двух независимых случайных величин обычно имеет распределение, которое ближе к гауссову, чем любая из двух исходных переменных. Здесь мы рассматриваем значение каждого сигнала как случайную величину.
3. Сложность: временная сложность любой смеси сигналов больше, чем сложность ее простейшего составляющего сигнала источника.

Эти принципы способствуют основному становлению МКА. Если сигналы, которые мы извлекаем из набора смесей, независимы, как сигналы источников, и имеют негауссовские гистограммы или имеют низкую сложность, как сигналы источников, то они должны быть сигналами источников.^[3][4]

Определение независимости компонентов

ICA находит независимые компоненты (также называемые факторами, скрытыми переменными или источниками), максимизируя статистическую независимость оцениваемых компонентов. Мы можем выбрать один из многих способов определения прокси для независимости, и этот выбор определяет форму алгоритма ICA. Два самых широких определения независимости для ICA:

1. Минимизация взаимной информации
2. Максимизация негауссовости

Минимизация-Взаимная информация (MMI) семейство алгоритмов ICA использует такие меры, как Дивергенция Кульбака-Лейблера и максимальная энтропия. Семейство алгоритмов ICA негауссовости, мотивированное Центральная предельная теорема, использует эксцесс и негэнтропия.

Типичные алгоритмы для ICA используют центрирование (вычесть среднее значение для создания сигнала с нулевым средним), отбеливание (обычно с разложение на собственные значения ), и уменьшение размерности как этапы предварительной обработки, чтобы упростить и уменьшить сложность проблемы для реального итерационного алгоритма. Отбеливание и уменьшение размеров может быть достигнуто с помощью Анализ главных компонентов или же разложение по сингулярным числам. Отбеливание гарантирует, что все размеры обрабатываются одинаково априори перед запуском алгоритма. Известные алгоритмы ICA включают: инфомакс, FastICA, ДЖЕЙД, и независимый от ядра анализ компонентов, среди прочего. В общем, ICA не может идентифицировать фактическое количество исходных сигналов, однозначно правильный порядок исходных сигналов или надлежащее масштабирование (включая знак) исходных сигналов.

ICA важен для слепое разделение сигналов и имеет множество практических приложений. Это тесно связано (или даже является частным случаем) поиска факториальный код данных, то есть новое векторное представление каждого вектора данных, которое однозначно кодируется результирующим вектором кода (кодирование без потерь), но компоненты кода статистически независимы.

Математические определения

Анализ линейных независимых компонентов можно разделить на бесшумный и шумный случаи, где бесшумный ICA является частным случаем зашумленного ICA. Нелинейный ICA следует рассматривать как отдельный случай.

Общее определение

Данные представлены наблюдаемыми случайный вектор ${\displaystyle {\boldsymbol {x}}=(x_{1},\ldots ,x_{m})^{T}}$ а скрытые компоненты как случайный вектор ${\displaystyle {\boldsymbol {s}}=(s_{1},\ldots ,s_{n})^{T}.}$ Задача - преобразовать наблюдаемые данные ${\displaystyle {\boldsymbol {x}},}$ с использованием линейного статического преобразования ${\displaystyle {\boldsymbol {W}}}$ в качестве ${\displaystyle {\boldsymbol {s}}={\boldsymbol {W}}{\boldsymbol {x}},}$ в вектор максимально независимых компонент ${\displaystyle {\boldsymbol {s}}}$ измеряется некоторой функцией ${\displaystyle F(s_{1},\ldots ,s_{n})}$ независимости.

Генеративная модель

Линейный бесшумный ICA

Компоненты ${\displaystyle x_{i}}$ наблюдаемого случайного вектора ${\displaystyle {\boldsymbol {x}}=(x_{1},\ldots ,x_{m})^{T}}$ генерируются как сумма независимых компонентов ${\displaystyle s_{k}}$, ${\displaystyle k=1,\ldots ,n}$:

${\displaystyle x_{i}=a_{i,1}s_{1}+\cdots +a_{i,k}s_{k}+\cdots +a_{i,n}s_{n}}$

взвешенные весами смешивания ${\displaystyle a_{i,k}}$.

Эту же генеративную модель можно записать в векторной форме как ${\displaystyle {\boldsymbol {x}}=\sum _{k=1}^{n}s_{k}{\boldsymbol {a}}_{k}}$, где наблюдаемый случайный вектор ${\displaystyle {\boldsymbol {x}}}$ представлен базисными векторами ${\displaystyle {\boldsymbol {a}}_{k}=({\boldsymbol {a}}_{1,k},\ldots ,{\boldsymbol {a}}_{m,k})^{T}}$. Базисные векторы ${\displaystyle {\boldsymbol {a}}_{k}}$ формируют столбцы матрицы смешения ${\displaystyle {\boldsymbol {A}}=({\boldsymbol {a}}_{1},\ldots ,{\boldsymbol {a}}_{n})}$ а порождающую формулу можно записать как ${\displaystyle {\boldsymbol {x}}={\boldsymbol {A}}{\boldsymbol {s}}}$, куда ${\displaystyle {\boldsymbol {s}}=(s_{1},\ldots ,s_{n})^{T}}$.

Учитывая модель и реализации (образцы) ${\displaystyle {\boldsymbol {x}}_{1},\ldots ,{\boldsymbol {x}}_{N}}$ случайного вектора ${\displaystyle {\boldsymbol {x}}}$, задача состоит в оценке как матрицы смешения ${\displaystyle {\boldsymbol {A}}}$ и источники ${\displaystyle {\boldsymbol {s}}}$. Это делается путем адаптивного расчета ${\displaystyle {\boldsymbol {w}}}$ векторов и настройку функции стоимости, которая либо максимизирует негауссовость вычисленных ${\displaystyle s_{k}={\boldsymbol {w}}^{T}{\boldsymbol {x}}}$ или сводит к минимуму взаимную информацию. В некоторых случаях в функции стоимости можно использовать априорное знание распределений вероятностей источников.

Первоисточники ${\displaystyle {\boldsymbol {s}}}$ можно восстановить, умножив наблюдаемые сигналы ${\displaystyle {\boldsymbol {x}}}$ с обратной матрицей смешения ${\displaystyle {\boldsymbol {W}}={\boldsymbol {A}}^{-1}}$, также известная как матрица размешивания. Здесь предполагается, что матрица смешения квадратная (${\displaystyle n=m}$). Если количество базисных векторов больше размерности наблюдаемых векторов, ${\displaystyle n>m}$, задача перевыполнена, но ее можно решить с помощью псевдообратный.

Линейный шумный ICA

С добавлением предположения о нулевом среднем и некоррелированном гауссовом шуме ${\displaystyle n\sim N(0,\operatorname {diag} (\Sigma ))}$, модель ICA принимает вид ${\displaystyle {\boldsymbol {x}}={\boldsymbol {A}}{\boldsymbol {s}}+n}$.

Нелинейный ICA

Смешивание источников не обязательно должно быть линейным. Использование функции нелинейного перемешивания ${\displaystyle f(\cdot |\theta )}$ с параметрами ${\displaystyle \theta }$ то нелинейный ICA модель ${\displaystyle x=f(s|\theta )+n}$.

Идентифицируемость

Независимые компоненты можно идентифицировать вплоть до перестановки и масштабирования источников. Эта возможность идентификации требует, чтобы:

• Максимум один из источников ${\displaystyle s_{k}}$ гауссово,
• Количество наблюдаемых смесей, ${\displaystyle m}$, должно быть не меньше, чем количество расчетных компонентов ${\displaystyle n}$: ${\displaystyle m\geq n}$. Это эквивалентно сказать, что матрица смешивания ${\displaystyle {\boldsymbol {A}}}$ должен быть полным классифицировать для его обратного существования.

Бинарный ICA

Особым вариантом ICA является двоичный ICA, в котором и источники сигналов, и мониторы находятся в двоичной форме, а наблюдения с мониторов представляют собой дизъюнктивные смеси двоичных независимых источников. Было показано, что проблема имеет приложения во многих областях, включая медицинский диагноз, назначение нескольких кластеров, сетевая томография и управление интернет-ресурсами.

Позволять ${\displaystyle {x_{1},x_{2},\ldots ,x_{m}}}$ быть набором двоичных переменных из ${\displaystyle m}$ мониторы и ${\displaystyle {y_{1},y_{2},\ldots ,y_{n}}}$ быть набором двоичных переменных из ${\displaystyle n}$ источники. Соединения источник-монитор представлены (неизвестной) матрицей микширования ${\textstyle {\boldsymbol {G}}}$, куда ${\displaystyle g_{ij}=1}$ указывает, что сигнал от я-й источник можно наблюдать j-й монитор. Система работает следующим образом: в любое время, если источник ${\displaystyle i}$ активен (${\displaystyle y_{i}=1}$) и он подключен к монитору ${\displaystyle j}$ (${\displaystyle g_{ij}=1}$) тогда монитор ${\displaystyle j}$ будет наблюдать некоторую активность (${\displaystyle x_{j}=1}$). Формально имеем:

${\displaystyle x_{i}=\bigvee _{j=1}^{n}(g_{ij}\wedge y_{j}),i=1,2,\ldots ,m,}$

куда ${\displaystyle \wedge }$ является логическим И и ${\displaystyle \vee }$ является логическим ИЛИ. Обратите внимание, что шум явно не моделируется, скорее, его можно рассматривать как независимый источник.

Вышеупомянутая проблема может быть решена эвристически ^[5] предполагая, что переменные непрерывны и работают FastICA по двоичным данным наблюдения, чтобы получить матрицу смешивания ${\textstyle {\boldsymbol {G}}}$ (реальные значения), затем примените круглое число методы на ${\textstyle {\boldsymbol {G}}}$ для получения двоичных значений. Было показано, что такой подход дает очень неточный результат.^{[нужна цитата ]}

Другой метод - использовать динамическое программирование: рекурсивное нарушение матрицы наблюдения ${\textstyle {\boldsymbol {X}}}$ в его подматрицы и запустите алгоритм вывода на этих подматрицах. Ключевое наблюдение, которое приводит к этому алгоритму, - это подматрица ${\textstyle {\boldsymbol {X}}^{0}}$ из ${\textstyle {\boldsymbol {X}}}$ куда ${\textstyle x_{ij}=0,\forall j}$ соответствует несмещенной матрице наблюдения скрытых компонентов, не связанных с ${\displaystyle i}$-й монитор. Экспериментальные результаты ^[6] показать, что этот подход точен при умеренных уровнях шума.

Обобщенная двоичная структура ICA ^[7] вводит более широкую формулировку проблемы, которая не требует каких-либо знаний о генеративной модели. Другими словами, этот метод пытается разложить источник на его независимые компоненты (насколько это возможно и без потери информации) без предварительного предположения о том, как он был создан. Хотя эта проблема кажется довольно сложной, ее можно точно решить с помощью ветвь и переплет алгоритм дерева поиска или жестко ограниченный сверху с однократным умножением матрицы на вектор.

Методы слепого разделения источников

Проекционное преследование

Смеси сигналов имеют тенденцию иметь гауссовы функции плотности вероятности, а сигналы источников имеют тенденцию иметь негауссовы функции плотности вероятности. Каждый исходный сигнал может быть извлечен из набора смесей сигналов путем взятия внутреннего произведения весового вектора и тех смесей сигналов, в которых этот внутренний продукт обеспечивает ортогональную проекцию смесей сигналов. Остается задача найти такой весовой вектор. Один из способов сделать это: преследование проекции.^[8][9]

Слежение за проекцией ищет одну проекцию за раз, так что извлеченный сигнал является как можно более негауссовым. Это контрастирует с ICA, который обычно извлекает M сигналы одновременно от M смеси сигналов, что требует оценки M × M матрица размешивания. Одним из практических преимуществ проекционного преследования перед ICA является то, что меньше, чем M сигналы могут быть извлечены при необходимости, где каждый сигнал источника извлекается из M смеси сигналов с использованием M-элементный весовой вектор.

Мы можем использовать эксцесс для восстановления сигнала от нескольких источников путем нахождения правильных весовых векторов с использованием проекционного преследования.

Эксцесс функции плотности вероятности сигнала для конечной выборки вычисляется как

${\displaystyle K={\frac {\operatorname {E} [(\mathbf {y} -\mathbf {\overline {y}} )^{4}]}{(\operatorname {E} [(\mathbf {y} -\mathbf {\overline {y}} )^{2}])^{2}}}-3}$

куда ${\displaystyle \mathbf {\overline {y}} }$ это выборочное среднее из ${\displaystyle \mathbf {y} }$, извлеченные сигналы. Константа 3 гарантирует, что гауссовы сигналы имеют нулевой эксцесс, супергауссовские сигналы имеют положительный эксцесс, а субгауссовы сигналы имеют отрицательный эксцесс. Знаменатель - это отклонение из ${\displaystyle \mathbf {y} }$, и гарантирует, что измеренный эксцесс учитывает дисперсию сигнала. Цель проекционного поиска - максимизировать эксцесс и сделать извлеченный сигнал как можно более ненормальным.

Используя эксцесс как меру ненормальности, теперь мы можем исследовать, как эксцесс сигнала ${\displaystyle \mathbf {y} =\mathbf {w} ^{T}\mathbf {x} }$ извлечен из набора M смеси ${\displaystyle \mathbf {x} =(x_{1},x_{2},\ldots ,x_{M})^{T}}$ изменяется как вектор веса ${\displaystyle \mathbf {w} }$ вращается вокруг начала координат. Учитывая наше предположение, что каждый исходный сигнал ${\displaystyle \mathbf {s} }$ супергауссов, мы ожидаем:

1. эксцесс выделенного сигнала ${\displaystyle \mathbf {y} }$ быть максимальным именно тогда, когда ${\displaystyle \mathbf {y} =\mathbf {s} }$.
2. эксцесс выделенного сигнала ${\displaystyle \mathbf {y} }$ быть максимальным, когда ${\displaystyle \mathbf {w} }$ ортогонален проектируемым осям ${\displaystyle S_{1}}$ или же ${\displaystyle S_{2}}$, поскольку мы знаем, что вектор оптимального веса должен быть ортогонален преобразованной оси ${\displaystyle S_{1}}$ или же ${\displaystyle S_{2}}$.

Для сигналов смеси нескольких источников мы можем использовать эксцесс и Грам-Шмидт Ортогонализация (GSO) для восстановления сигналов. Данный M сигнальные смеси в M-мерное пространство, ГСО проецирует эти точки данных на (М-1) -мерное пространство с помощью весового вектора. Мы можем гарантировать независимость извлеченных сигналов с использованием ГСО.

Чтобы найти правильное значение ${\displaystyle \mathbf {w} }$, мы можем использовать градиентный спуск метод. Мы в первую очередь отбеливаем данные и преобразуем ${\displaystyle \mathbf {x} }$ в новую смесь ${\displaystyle \mathbf {z} }$, который имеет единичную дисперсию, и ${\displaystyle \mathbf {z} =(z_{1},z_{2},\ldots ,z_{M})^{T}}$. Этот процесс может быть достигнут путем применения Разложение по сингулярным числам к ${\displaystyle \mathbf {x} }$,

${\displaystyle \mathbf {x} =\mathbf {U} \mathbf {D} \mathbf {V} ^{T}}$

Изменение масштаба каждого вектора ${\displaystyle U_{i}=U_{i}/\operatorname {E} (U_{i}^{2})}$, и разреши ${\displaystyle \mathbf {z} =\mathbf {U} }$. Сигнал, извлеченный взвешенным вектором ${\displaystyle \mathbf {w} }$ является ${\displaystyle \mathbf {y} =\mathbf {w} ^{T}\mathbf {z} }$. Если весовой вектор ш имеет единицу длины, то есть ${\displaystyle \operatorname {E} [(\mathbf {w} ^{T}\mathbf {z} )^{2}]=1}$, то эксцесс можно записать как:

${\displaystyle K={\frac {\operatorname {E} [\mathbf {y} ^{4}]}{(\operatorname {E} [\mathbf {y} ^{2}])^{2}}}-3=\operatorname {E} [(\mathbf {w} ^{T}\mathbf {z} )^{4}]-3.}$

Процесс обновления для ${\displaystyle \mathbf {w} }$ является:

${\displaystyle \mathbf {w} _{new}=\mathbf {w} _{old}-\eta \operatorname {E} [\mathbf {z} (\mathbf {w} _{old}^{T}\mathbf {z} )^{3}].}$

куда ${\displaystyle \eta }$ небольшая константа, гарантирующая, что ${\displaystyle \mathbf {w} }$ сходится к оптимальному решению. После каждого обновления нормализуем ${\displaystyle \mathbf {w} _{new}={\frac {\mathbf {w} _{new}}{|\mathbf {w} _{new}|}}}$, и установите ${\displaystyle \mathbf {w} _{old}=\mathbf {w} _{new}}$, и повторяйте процесс обновления до схождения. Мы также можем использовать другой алгоритм для обновления вектора веса ${\displaystyle \mathbf {w} }$.

Другой подход - использование негэнтропия^[10][11] вместо эксцесса. Использование негэнтропии - более надежный метод, чем эксцесс, поскольку эксцесс очень чувствителен к выбросам. Методы негэнтропии основаны на важном свойстве гауссова распределения: гауссовская переменная имеет наибольшую энтропию среди всех непрерывных случайных величин с равной дисперсией. Это также причина, по которой мы хотим найти наиболее негауссовские переменные. Простое доказательство можно найти в Дифференциальная энтропия.

${\displaystyle J(x)=S(y)-S(x)\,}$

y - гауссовская случайная величина с той же ковариационной матрицей, что и x

${\displaystyle S(x)=-\int p_{x}(u)\log p_{x}(u)du}$

Приближение негэнтропии

${\displaystyle J(x)={\frac {1}{12}}(E(x^{3}))^{2}+{\frac {1}{48}}(kurt(x))^{2}}$

Доказательство можно найти в оригинальных статьях Комона;^[12][10] это было воспроизведено в книге Независимый анализ компонентов Аапо Хювяринен, Юха Кархунен и Эркки Оя^[13] Это приближение также страдает той же проблемой, что и эксцесс (чувствительность к выбросам). Были разработаны другие подходы.^[14]

${\displaystyle J(y)=k_{1}(E(G_{1}(y)))^{2}+k_{2}(E(G_{2}(y))-E(G_{2}(v))^{2}}$

Выбор ${\displaystyle G_{1}}$ и ${\displaystyle G_{2}}$ находятся

${\displaystyle G_{1}={\frac {1}{a_{1}}}\log(\cosh(a_{1}u))}$ и ${\displaystyle G_{2}=-\exp(-{\frac {u^{2}}{2}})}$

По материалам infomax

Infomax ICA^[15] по сути, является многомерной, параллельной версией проекционного преследования. В то время как проекционное преследование извлекает серию сигналов по одному из набора M сигнальные смеси, экстракты ICA M сигналы параллельно. Это делает ICA более надежным, чем прогнозирование.^[16]

Метод преследования проекции использует Грам-Шмидт ортогонализация для обеспечения независимости извлеченного сигнала, в то время как ICA использует инфомакс и максимальная вероятность оценка, чтобы гарантировать независимость извлеченного сигнала. Ненормальность извлеченного сигнала достигается путем присвоения сигналу соответствующей модели или предшествующей модели.

Процесс ICA на основе инфомакс вкратце: дан набор сигнальных смесей ${\displaystyle \mathbf {x} }$ и набор идентичных независимых моделей кумулятивные функции распределения (cdfs) ${\displaystyle g}$, ищем матрицу размешивания ${\displaystyle \mathbf {W} }$ который максимизирует сустав энтропия сигналов ${\displaystyle \mathbf {Y} =g(\mathbf {y} )}$, куда ${\displaystyle \mathbf {y} =\mathbf {Wx} }$ сигналы извлекаются ${\displaystyle \mathbf {W} }$. Учитывая оптимальные ${\displaystyle \mathbf {W} }$, сигналы ${\displaystyle \mathbf {Y} }$ имеют максимальную энтропию и поэтому независимы, что гарантирует, что извлеченные сигналы ${\displaystyle \mathbf {y} =g^{-1}(\mathbf {Y} )}$ также независимы. ${\displaystyle g}$ является обратимой функцией и является моделью сигнала. Обратите внимание, что если модель исходного сигнала функция плотности вероятности ${\displaystyle p_{s}}$ соответствует функция плотности вероятности извлеченного сигнала ${\displaystyle p_{\mathbf {y} }}$, то максимизируя совместную энтропию ${\displaystyle Y}$ также увеличивает количество взаимная информация между ${\displaystyle \mathbf {x} }$ и ${\displaystyle \mathbf {Y} }$. По этой причине использование энтропии для извлечения независимых сигналов известно как инфомакс.

Рассмотрим энтропию векторной переменной ${\displaystyle \mathbf {Y} =g(\mathbf {y} )}$, куда ${\displaystyle \mathbf {y} =\mathbf {Wx} }$ это набор сигналов, извлеченных матрицей несмешивания ${\displaystyle \mathbf {W} }$. Для конечного набора значений, взятых из распределения с помощью pdf ${\displaystyle p_{\mathbf {y} }}$, энтропия ${\displaystyle \mathbf {Y} }$ можно оценить как:

${\displaystyle H(\mathbf {Y} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {Y} }(\mathbf {Y} ^{t})}$

Совместный pdf ${\displaystyle p_{\mathbf {Y} }}$ можно показать, что они связаны с совместным pdf ${\displaystyle p_{\mathbf {y} }}$ извлеченных сигналов многомерной формой:

${\displaystyle p_{\mathbf {Y} }(Y)={\frac {p_{\mathbf {y} }(\mathbf {y} )}{|{\frac {\partial \mathbf {Y} }{\partial \mathbf {y} }}|}}}$

куда ${\displaystyle \mathbf {J} ={\frac {\partial \mathbf {Y} }{\partial \mathbf {y} }}}$ это Матрица якобиана. У нас есть ${\displaystyle |\mathbf {J} |=g'(\mathbf {y} )}$, и ${\displaystyle g'}$ pdf, принятый для сигналов источника ${\displaystyle g'=p_{s}}$, следовательно,

${\displaystyle p_{\mathbf {Y} }(Y)={\frac {p_{\mathbf {y} }(\mathbf {y} )}{|{\frac {\partial \mathbf {Y} }{\partial \mathbf {y} }}|}}={\frac {p_{\mathbf {y} }(\mathbf {y} )}{p_{\mathbf {s} }(\mathbf {y} )}}}$

следовательно,

${\displaystyle H(\mathbf {Y} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln {\frac {p_{\mathbf {y} }(\mathbf {y} )}{p_{\mathbf {s} }(\mathbf {y} )}}}$

Мы знаем, что когда ${\displaystyle p_{\mathbf {y} }=p_{s}}$, ${\displaystyle p_{\mathbf {Y} }}$ имеет равномерное распределение, и ${\displaystyle H({\mathbf {Y} })}$ максимально. С

${\displaystyle p_{\mathbf {y} }(\mathbf {y} )={\frac {p_{\mathbf {x} }(\mathbf {x} )}{|{\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}|}}={\frac {p_{\mathbf {x} }(\mathbf {x} )}{|\mathbf {W} |}}}$

куда ${\displaystyle |\mathbf {W} |}$ является абсолютным значением определителя матикса размешивания ${\displaystyle \mathbf {W} }$. Следовательно,

${\displaystyle H(\mathbf {Y} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln {\frac {p_{\mathbf {x} }(\mathbf {x} ^{t})}{|\mathbf {W} |p_{\mathbf {s} }(\mathbf {y} ^{t})}}}$

так,

${\displaystyle H(\mathbf {Y} )={\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {s} }(\mathbf {y} ^{t})+\ln |\mathbf {W} |+H(\mathbf {x} )}$

поскольку ${\displaystyle H(\mathbf {x} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {x} }(\mathbf {x} ^{t})}$, и максимизация ${\displaystyle \mathbf {W} }$ не влияет ${\displaystyle H_{\mathbf {x} }}$, поэтому мы можем максимизировать функцию

${\displaystyle h(\mathbf {Y} )={\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {s} }(\mathbf {y} ^{t})+\ln |\mathbf {W} |}$

для достижения независимости извлеченного сигнала.

Если есть M маргинальные pdf-файлы модели совместного pdf ${\displaystyle p_{\mathbf {s} }}$ являются независимыми и используют обычно супергауссовскую модель pdf для исходных сигналов ${\displaystyle p_{\mathbf {s} }=(1-\tanh(\mathbf {s} )^{2})}$, то имеем

${\displaystyle h(\mathbf {Y} )={\frac {1}{N}}\sum _{i=1}^{M}\sum _{t=1}^{N}\ln(1-\tanh(\mathbf {w_{i}^{T}x^{t}} )^{2})+\ln |\mathbf {W} |}$

В сумме, учитывая наблюдаемую смесь сигналов ${\displaystyle \mathbf {x} }$, соответствующий набор извлеченных сигналов ${\displaystyle \mathbf {y} }$ и модель сигнала источника ${\displaystyle p_{\mathbf {s} }=g'}$, мы можем найти оптимальную матрицу разложения ${\displaystyle \mathbf {W} }$, и сделать извлеченные сигналы независимыми и негауссовыми. Как и в случае с преследованием проекции, мы можем использовать метод градиентного спуска, чтобы найти оптимальное решение для матрицы несмешивания.

На основе оценки максимального правдоподобия

Максимальная вероятность оценка (MLE) это стандартный статистический инструмент для поиска значений параметров (например, матрица несмешивания ${\displaystyle \mathbf {W} }$), которые обеспечивают наилучшее соответствие некоторых данных (например, извлеченных сигналов ${\displaystyle y}$) к данной модели (например, предполагаемой совместной функции плотности вероятности (PDF) ${\displaystyle p_{s}}$ сигналов источников).^[16]

В ML "модель" включает в себя спецификацию pdf, которым в данном случае является pdf ${\displaystyle p_{s}}$ сигналов неизвестного источника ${\displaystyle s}$. С помощью ML ICA, цель состоит в том, чтобы найти матрицу несмешивания, которая дает извлеченные сигналы ${\displaystyle y=\mathbf {W} x}$ с совместным pdf как можно более похожим на совместный pdf ${\displaystyle p_{s}}$ сигналов неизвестного источника ${\displaystyle s}$.

MLE таким образом, основывается на предположении, что если модель pdf ${\displaystyle p_{s}}$ и параметры модели ${\displaystyle \mathbf {A} }$ верны, то для данных должна быть получена высокая вероятность ${\displaystyle x}$ которые действительно наблюдались. Наоборот, если ${\displaystyle \mathbf {A} }$ далеки от правильных значений параметров, то можно ожидать низкой вероятности наблюдаемых данных.

С помощью MLE, мы называем вероятность наблюдаемых данных для данного набора значений параметров модели (например, pdf ${\displaystyle p_{s}}$ и матрица ${\displaystyle \mathbf {A} }$) вероятность значений параметров модели с учетом наблюдаемых данных.

Мы определяем вероятность функция ${\displaystyle \mathbf {L(W)} }$ из ${\displaystyle \mathbf {W} }$:

${\displaystyle \mathbf {L(W)} =p_{s}(\mathbf {W} x)|\det \mathbf {W} |.}$

Это равно плотности вероятности при ${\displaystyle x}$, поскольку ${\displaystyle s=\mathbf {W} x}$.

Таким образом, если мы хотим найти ${\displaystyle \mathbf {W} }$ которые, скорее всего, привели к наблюдаемым смесям ${\displaystyle x}$ от сигналов неизвестного источника ${\displaystyle s}$ с pdf ${\displaystyle p_{s}}$ тогда нам нужно только найти, что ${\displaystyle \mathbf {W} }$ что максимизирует вероятность ${\displaystyle \mathbf {L(W)} }$. Матрица несмешивания, которая максимизирует уравнение, известна как MLE оптимальной матрицы несмешивания.

Обычной практикой является использование журнала вероятность, потому что это легче оценить. Поскольку логарифм является монотонной функцией, ${\displaystyle \mathbf {W} }$ что максимизирует функцию ${\displaystyle \mathbf {L(W)} }$ также максимизирует свой логарифм ${\displaystyle \ln \mathbf {L(W)} }$. Это позволяет нам логарифмировать приведенное выше уравнение, что дает логарифм вероятность функция

${\displaystyle \ln \mathbf {L(W)} =\sum _{i}\sum _{t}\ln p_{s}(w_{i}^{T}x_{t})+N\ln |\det \mathbf {W} |}$

Если мы заменим обычно используемый высокий -Эксцесс модель pdf для исходных сигналов ${\displaystyle p_{s}=(1-\tanh(s)^{2})}$ тогда у нас есть

${\displaystyle \ln \mathbf {L(W)} ={1 \over N}\sum _{i}^{M}\sum _{t}^{N}\ln(1-\tanh(w_{i}^{T}x_{t})^{2})+\ln |\det \mathbf {W} |}$

Эта матрица ${\displaystyle \mathbf {W} }$ что максимизирует эту функцию, является максимальная вероятность оценка.

История и предыстория

Ранняя общая основа для независимого компонентного анализа была введена Жанни Эро и Бернаром Ансом в 1984 г.^[17] доработанный Кристианом Юттеном в 1985 и 1986 годах,^[18][19][20] и усовершенствован Пьером Комоном в 1991 году,^[12] и популяризировал в своей статье 1994 года.^[10] В 1995 году Тони Белл и Терри Сейновски представил быстрый и эффективный алгоритм ICA, основанный на инфомакс, принцип, введенный Ральфом Линскером в 1987 году.

В литературе доступно множество алгоритмов, которые выполняют ICA. Широко используемым, в том числе в промышленных приложениях, является алгоритм FastICA, разработанный Hyvärinen и Oja, который использует алгоритм эксцесс как функция стоимости. Другие примеры скорее относятся к слепое разделение источников где используется более общий подход. Например, можно отказаться от предположения о независимости и разделить взаимно коррелированные сигналы, таким образом, статистически «зависимые» сигналы. Зепп Хохрайтер и Юрген Шмидхубер показали, как получить нелинейный ICA или разделение источников в качестве побочного продукта регуляризация (1999).^[21] Их метод не требует априорных знаний о количестве независимых источников.

Приложения

ICA может быть расширен для анализа нефизических сигналов. Например, ICA применялся для обнаружения тем для обсуждения в пакетах архивов списков новостей.

Некоторые приложения ICA перечислены ниже:^[3]

Независимый компонентный анализ в EEGLAB

• оптическое изображение нейронов^[22]
• сортировка спайков нейронов^[23]
• распознавание лица^[24]
• моделирование рецептивных полей первичных зрительных нейронов^[25]
• прогнозирование цен на фондовом рынке^[26]
• мобильная связь ^[27]
• определение спелости томатов по цвету^[28]
• удаление артефактов, таких как моргание, из ЭЭГ данные.^[29]
• анализ изменений экспрессии генов с течением времени в одном клетка РНК-секвенирование эксперименты.^[30]
• исследования сеть состояния покоя мозга.^[31]

Смотрите также

• Математический портал

• Слепая деконволюция
• Факторный анализ
• Гильбертовый спектр
• Обработка изображений
• Мультилинейный PCA
• Мультилинейное подпространственное обучение
• Неотрицательная матричная факторизация (NMF)
• Нелинейное уменьшение размерности
• Проекционное преследование
• Вращение Varimax

Примечания

1. Хювяринен, Аапо (2013). «Независимый компонентный анализ: последние достижения». Философские труды: математические, физические и технические науки. 371 (1984): 20110534. Bibcode:2012RSPTA.37110534H. Дои:10.1098 / rsta.2011.0534. ISSN  1364-503X. JSTOR  41739975. ЧВК  3538438. PMID  23277597.
2. Исомура, Такуя; Тойоидзуми, Таро (2016). «Правило местного обучения для независимого компонентного анализа». Научные отчеты. 6: 28073. Bibcode:2016НатСР ... 628073И. Дои:10.1038 / srep28073. ЧВК  4914970. PMID  27323661.
3. Стоун, Джеймс В. (2004). Независимый компонентный анализ: введение в учебное пособие. Кембридж, Массачусетс: MIT Press. ISBN  978-0-262-69315-8.
4. Hyvärinen, Aapo; Карунен, Юха; Оя, Эркки (2001). Независимый компонентный анализ (1-е изд.). Нью-Йорк: Джон Вили и сыновья. ISBN  978-0-471-22131-9.
5. Йохан Химберг и Аапо Хювяринен, Независимый компонентный анализ двоичных данных: экспериментальное исследование, Proc. Int. Семинар по независимому компонентному анализу и слепому разделению сигналов (ICA2001), Сан-Диего, Калифорния, 2001.
6. Хай Нгуен и Ронг Чжэн, Бинарный независимый анализ компонентов с использованием или смесей, IEEE Transactions on Signal Processing, Vol. 59, выпуск 7. (июль 2011 г.), стр. 3168–3181.
7. Паински, Амихай; Россет, Сахарон; Федер, Меир (2014). Обобщенный двоичный анализ независимых компонентов. Международный симпозиум IEEE по теории информации (ISIT), 2014 г.. С. 1326–1330. Дои:10.1109 / ISIT.2014.6875048. ISBN  978-1-4799-5186-4. S2CID  18579555.
8. Джеймс В. Стоун (2004 г.); «Независимый компонентный анализ: введение в учебное пособие», MIT Press, Кембридж, Массачусетс, Лондон, Англия; ISBN  0-262-69315-1
9. Kruskal, JB. 1969; «К практическому методу, который помогает раскрыть структуру набора наблюдений путем нахождения линейного преобразования, которое оптимизирует новый« индекс конденсации », страницы 427–440 из: Milton, RC, & Nelder, JA (eds), Statistical computing ; Нью-Йорк, Academic Press
10. Пьер Комон (1994) Анализ независимых компонентов, новая концепция? http://www.ece.ucsb.edu/wcsl/courses/ECE594/594C_F10Madhow/comon94.pdf
11. Hyvärinen, Aapo; Эркки Оя (2000). «Независимый компонентный анализ: алгоритмы и приложения». Нейронные сети. 4-5. 13 (4–5): 411–430. CiteSeerX  10.1.1.79.7003. Дои:10.1016 / s0893-6080 (00) 00026-5. PMID  10946390.
12. П.Комон, Независимый компонентный анализ, Практикум по статистике высшего порядка, июль 1991 г., переиздано в JL. Лакум, редактор, «Статистика высшего порядка», стр. 29–38. Эльзевир, Амстердам, Лондон, 1992. HAL ссылка
13. Hyvärinen, Aapo; Карунен, Юха; Оя, Эркки (2001). Независимый компонентный анализ (Перепечатка ред.). Нью-Йорк, штат Нью-Йорк: Wiley. ISBN  978-0-471-40540-5.
14. Хювяринен, Аапо (1998). «Новые приближения дифференциальной энтропии для независимого компонентного анализа и проекционного поиска». Достижения в системах обработки нейронной информации. 10: 273–279.
15. Bell, A.J .; Сейновски, Т. J. (1995). "Подход с максимизацией информации к слепому разделению и слепой деконволюции", Neural Computing, 7, 1129-1159
16. Джеймс В. Стоун (2004). «Независимый компонентный анализ: введение в учебное пособие», MIT Press, Кембридж, Массачусетс, Лондон, Англия; ISBN  0-262-69315-1
17. Hérault, J .; Анс Б. (1984). "Réseau de нейронов и синапсов, модифицируемых: Décodage de messages sensoriels composites par apprentissage non supervisé et постоянный". Comptes Rendus de l'Académie des Sciences, Série III. 299: 525–528.
18. Анс Б., Эро Дж. И Юттен К. (1985). Адаптивные элементы нейромиметики архитектур: обнаружение примитивов. Cognitiva 85 (Том 2, стр. 593-597). Париж: CESTA.
19. Эро, Дж., Юттен, К., и Анс, Б. (1985). Обнаружение величественных примитивов в составном сообщении, равном архитектуре вычисления нейромиметики и обучению без надзора. Материалы 10-го семинара Traitement du signal et ses applications (Том 2, с. 1017-1022). Ницца (Франция): GRETSI.
20. Эро, Дж., И Юттен, К. (1986). Пространственно-временная адаптивная обработка сигналов с помощью моделей нейронных сетей. Междунар. Конф. по нейронным сетям для вычислений (стр. 206-211). Snowbird (Юта, США).
21. Хохрайтер, Зепп; Шмидхубер, Юрген (1999). «Извлечение признаков с помощью LOCOCODE» (PDF). Нейронные вычисления. 11 (3): 679–714. Дои:10.1162/089976699300016629. ISSN  0899-7667. PMID  10085426. S2CID  1642107. Получено 24 февраля 2018.
22. Браун, GD; Ямада, S; Сейновски, Т.Дж. (2001). «Анализ независимых компонентов на нейронном коктейле». Тенденции в неврологии. 24 (1): 54–63. Дои:10.1016 / s0166-2236 (00) 01683-0. PMID  11163888. S2CID  511254.
23. Левицки, MS (1998). «Обзор методов сортировки спайков: обнаружение и классификация нейронных потенциалов действия». Сеть: вычисления в нейронных системах. 9 (4): 53–78. Дои:10.1088 / 0954-898X_9_4_001. S2CID  10290908.
24. Барлетт, MS (2001). Анализ изображения лица путем обучения без учителя. Бостон: Международная серия Kluwer по инженерии и информатике.
25. Белл, Эй Джей; Сейновски, Т.Дж. (1997). «Независимыми компонентами естественных сцен являются краевые фильтры». Исследование зрения. 37 (23): 3327–3338. Дои:10.1016 / s0042-6989 (97) 00121-1. ЧВК  2882863. PMID  9425547.
26. Назад, AD; Weigend, AS (1997). «Первое применение независимого компонентного анализа для извлечения структуры из доходности акций». Международный журнал нейронных систем. 8 (4): 473–484. Дои:10.1142 / s0129065797000458. PMID  9730022. S2CID  872703.
27. Hyvarinen, A, Karhunen, J & Oja, E (2001a). Независимый компонентный анализ. Нью-Йорк: Джон Уайли и сыновья.
28. Польдер, Г; ван дер Хейен, FWAM (2003). «Оценка распределения соединений на спектральных изображениях томатов с использованием независимого компонентного анализа». Австрийское компьютерное общество: 57–64.
29. Делорм, А; Сейновски, Т; Макейг, S (2007). «Улучшенное обнаружение артефактов в данных ЭЭГ с использованием статистики более высокого порядка и независимого компонентного анализа». NeuroImage. 34 (4): 1443–1449. Дои:10.1016 / j.neuroimage.2006.11.004. ЧВК  2895624. PMID  17188898.
30. Trapnell, C; Cacchiarelli, D; Гримсби, Дж (2014). «Динамика и регуляторы решений клеточной судьбы выявляются псевдовременным упорядочением отдельных клеток». Природа Биотехнологии. 32 (4): 381–386. Дои:10.1038 / nbt.2859. ЧВК  4122333. PMID  24658644.
31. Kiviniemi, Vesa J .; Кантола, Джуха-Хейкки; Яухиайнен, Юкка; Hyvärinen, Aapo; Тервонен, Осмо (2003). «Независимый компонентный анализ недетерминированных источников сигнала фМРТ». NeuroImage. 19 (2): 253–260. Дои:10.1016 / S1053-8119 (03) 00097-1. PMID  12814576. S2CID  17110486.

Рекомендации

• Комон, Пьер (1994): «Независимый компонентный анализ: новая концепция?», Обработка сигналов, 36 (3): 287–314 (Оригинальная статья, описывающая концепцию ICA)
• Hyvärinen, A .; Karhunen, J .; Оя, Э. (2001): Независимый анализ компонентов, Нью-Йорк: Wiley, ISBN  978-0-471-40540-5 ( Вступительная глава )
• Hyvärinen, A .; Оя, Э. (2000): «Независимый компонентный анализ: алгоритмы и применение», Нейронные сети, 13 (4-5): 411-430. (Техническое, но педагогическое введение).
• Comon, P .; Юттен К., (2010): Справочник по слепому разделению источников, независимому компонентному анализу и приложениям. Academic Press, Оксфорд, Великобритания. ISBN  978-0-12-374726-6
• Ли, Т.-В. (1998): Независимый компонентный анализ: теория и приложения, Бостон, Массачусетс: Kluwer Academic Publishers, ISBN  0-7923-8261-7
• Ачарья, Ранджан (2008): Новый подход к слепому разделению источников сверточных источников - разделение на основе вейвлетов с использованием функции усадки ISBN  3-639-07797-0 ISBN  978-3639077971 (эта книга посвящена обучению без учителя со слепым разделением источников)

внешняя ссылка

• Что такое независимый компонентный анализ? Аапо Хювяринен
• Независимый анализ компонентов: Учебное пособие Аапо Хювяринен
• Учебник по независимому анализу компонентов
• FastICA как пакет для Matlab, на языке R, C ++
• Наборы инструментов ICALAB для Matlab, разработанный в RIKEN
• Набор инструментов для высокопроизводительного анализа сигналов предоставляет C ++ реализации FastICA и Infomax
• Набор инструментов ICA Инструменты Matlab для ICA с Bell-Sejnowski, Molgedey-Schuster и ICA среднего поля. Разработано в ДТУ.
• Демонстрация проблемы коктейльной вечеринки
• EEGLAB Toolbox МКА ЭЭГ для Matlab, разработанный в UCSD.
• FMRLAB Toolbox МКА фМРТ для Matlab, разработанный в UCSD
• МЕЛОДИК, часть Программная библиотека FMRIB.
• Обсуждение использования ICA в контексте биомедицинского представления формы
• Алгоритмы FastICA, CuBICA, JADE и TDSEP для Python и другие ...
• Group ICA Toolbox и Fusion ICA Toolbox
• Учебное пособие: Использование ICA для очистки сигналов ЭЭГ