Сходства между Wiener и LMS - Similarities between Wiener and LMS

В Фильтр наименьших средних квадратов решение сходится к Винеровский фильтр решение, предполагая, что неизвестная система LTI и шум стационарный. Оба фильтра можно использовать для идентификации импульсной характеристики неизвестной системы, зная только исходный входной сигнал и выходной сигнал неизвестной системы. Посредством ослабления критерия ошибки для уменьшения текущей ошибки выборки вместо минимизации общей ошибки по всем n алгоритм LMS может быть получен из фильтра Винера.

Вывод фильтра Винера для идентификации системы

Учитывая известный входной сигнал ${displaystyle s[n]}$, вывод неизвестной системы LTI ${displaystyle x[n]}$ можно выразить как:

${displaystyle x[n]=sum _{k=0}^{N-1}h_{k}s[n-k]+w[n]}$

куда ${displaystyle h_{k}}$ - неизвестные коэффициенты отвода фильтра и ${displaystyle w[n]}$ это шум.

Модельная система ${displaystyle {hat {x}}[n]}$, используя решение фильтра Винера с порядком N, можно выразить как:

${displaystyle {hat {x}}[n]=sum _{k=0}^{N-1}{hat {h}}_{k}s[n-k]}$

куда ${displaystyle {hat {h}}_{k}}$ - коэффициенты отвода фильтра, которые необходимо определить.

Ошибка между моделью и неизвестной системой может быть выражена как:

${displaystyle e[n]=x[n]-{hat {x}}[n]}$

Общая квадратичная ошибка ${displaystyle E}$ можно выразить как:

${displaystyle E=sum _{n=-infty }^{infty }e[n]^{2}}$

${displaystyle E=sum _{n=-infty }^{infty }(x[n]-{hat {x}}[n])^{2}}$

${displaystyle E=sum _{n=-infty }^{infty }(x[n]^{2}-2x[n]{hat {x}}[n]+{hat {x}}[n]^{2})}$

Использовать Минимальная среднеквадратичная ошибка критерий по всем ${displaystyle n}$ установив его градиент к нулю:

${displaystyle abla E=0}$который${displaystyle {frac {partial E}{partial {hat {h}}_{i}}}=0}$ для всех ${displaystyle i=0,1,2,...,N-1}$

${displaystyle {frac {partial E}{partial {hat {h}}_{i}}}={frac {partial }{partial {hat {h}}_{i}}}sum _{n=-infty }^{infty }[x[n]^{2}-2x[n]{hat {x}}[n]+{hat {x}}[n]^{2}]}$

Подставьте определение ${displaystyle {hat {x}}[n]}$:

${displaystyle {frac {partial E}{partial {hat {h}}_{i}}}={frac {partial }{partial {hat {h}}_{i}}}sum _{n=-infty }^{infty }[x[n]^{2}-2x[n]sum _{k=0}^{N-1}{hat {h}}_{k}s[n-k]+(sum _{k=0}^{N-1}{hat {h}}_{k}s[n-k])^{2}]}$

Распределите частную производную:

${displaystyle {frac {partial E}{partial {hat {h}}_{i}}}=sum _{n=-infty }^{infty }[-2x[n]s[n-i]+2(sum _{k=0}^{N-1}{hat {h}}_{k}s[n-k])s[n-i]]}$

Используя определение дискретного взаимная корреляция:

${displaystyle R_{xy}(i)=sum _{n=-infty }^{infty }x[n]y[n-i]}$

${displaystyle {frac {partial E}{partial {hat {h}}_{i}}}=-2R_{xs}[i]+2sum _{k=0}^{N-1}{hat {h}}_{k}R_{ss}[i-k]=0}$

Переставьте термины:

${displaystyle R_{xs}[i]=sum _{k=0}^{N-1}{hat {h}}_{k}R_{ss}[i-k]}$ для всех ${displaystyle i=0,1,2,...,N-1}$

Эту систему N уравнений с N неизвестными можно определить.

Результирующие коэффициенты фильтра Винера могут быть определены как: ${displaystyle W=R_{xx}^{-1}P_{xs}}$, куда ${displaystyle P_{xs}}$ вектор взаимной корреляции между ${displaystyle x}$ и ${displaystyle s}$.

Вывод алгоритма LMS

Ослабляя бесконечную сумму фильтра Винера до ошибки во времени ${displaystyle n}$, алгоритм LMS может быть получен.

Квадрат ошибки может быть выражен как:

${displaystyle E=(d[n]-y[n])^{2}}$

Используя критерий минимальной среднеквадратичной ошибки, возьмите градиент:

${displaystyle {frac {partial E}{partial w}}={frac {partial }{partial w}}(d[n]-y[n])^{2}}$

Применить правило цепочки и заменить определение y [n]

${displaystyle {frac {partial E}{partial w}}=2(d[n]-y[n]){frac {partial }{partial w}}(d[n]-sum _{k=0}^{N-1}{hat {w}}_{k}x[n-k])}$

${displaystyle {frac {partial E}{partial w_{i}}}=-2(e[n])(x[n-i])}$

Использование градиентного спуска и размера шага ${displaystyle mu }$:

${displaystyle w[n+1]=w[n]-mu {frac {partial E}{partial w}}}$

который становится для i = 0, 1, ..., N-1,

${displaystyle w_{i}[n+1]=w_{i}[n]+2mu (e[n])(x[n-i])}$

Это уравнение обновления LMS.

Смотрите также

• Винеровский фильтр
• Фильтр наименьших средних квадратов

Рекомендации

• J.G. Проакис и Д. Манолакис, Цифровая обработка сигналов: принципы, алгоритмы и приложения, Прентис-Холл, 4-е изд., 2007.