Ансамблевый фильтр Калмана - Ensemble Kalman filter
В ансамбль фильтр Калмана (EnKF) это рекурсивный фильтр подходит для задач с большим количеством переменных, таких как дискретизации из уравнения в частных производных в геофизических моделях. EnKF возник как версия Фильтр Калмана для больших задач (по сути, ковариационная матрица заменяется выборочная ковариация ), и теперь это важный ассимиляция данных компонент ансамблевое прогнозирование. EnKF относится к фильтр твердых частиц (в этом контексте частица - это то же самое, что и член ансамбля), но EnKF делает предположение, что все задействованные распределения вероятностей Гауссовский; когда это применимо, это намного эффективнее, чем фильтр твердых частиц.
Вступление
Ансамблевый фильтр Калмана (EnKF) представляет собой Монте-Карло реализация Байесовское обновление проблема: учитывая функция плотности вероятности (pdf) состояния моделируемой системы ( прежний, часто называемый прогнозом в науках о Земле) и вероятность данных, Теорема Байеса используется для получения PDF после учета правдоподобия данных ( задний, часто называемый анализом). Это называется байесовским обновлением. Байесовское обновление сочетается с продвижением модели во времени, время от времени добавляя новые данные. Оригинал Фильтр Калмана, введен в 1960 г.,[1] предполагает, что все PDF-файлы Гауссовский (предположение Гаусса) и дает алгебраические формулы для замены иметь в виду и ковариационная матрица байесовским обновлением, а также формулой для продвижения ковариационной матрицы во времени при условии, что система является линейной. Однако поддержание ковариационной матрицы невозможно с вычислительной точки зрения для многомерных систем. По этой причине были разработаны EnKF.[2][3] EnKF представляют собой распределение состояния системы с помощью набора векторов состояния, называемого ансамбль, и заменим ковариационную матрицу на выборочная ковариация вычисляется из ансамбля. Ансамбль работает так, как будто это случайный пример, но участники ансамбля действительно не независимый - EnKF связывает их вместе. Одним из преимуществ EnKF является то, что продвижение PDF-файла во времени достигается простым продвижением каждого члена ансамбля.[4]
Вывод
Фильтр Калмана
Давайте сначала рассмотрим Фильтр Калмана. Позволять обозначить -размерный вектор состояния модели и предположим, что она Гауссово распределение вероятностей со средним и ковариация , т.е. его pdf
Здесь и далее означает пропорциональный; PDF-файл всегда масштабируется так, что его интеграл по всему пространству равен единице. Этот , называется прежний, был разработан со временем путем запуска модели и теперь должен быть обновлен с учетом новых данных. Естественно предположить, что распределение ошибок данных известно; данные должны иметь оценку ошибки, иначе они не имеют смысла. Здесь данные предполагается, что имеет гауссовский PDF с ковариацией и значит , куда так называемый матрица наблюдения. Ковариационная матрица описывает оценку погрешности данных; если случайные ошибки в записях вектора данных независимы, диагонально, а его диагональные элементы - это квадраты стандартное отклонение («Размер ошибки») ошибки соответствующих записей вектора данных . Значение какова будет ценность данных для состояния при отсутствии ошибок данных. Тогда плотность вероятности данных условное состояние системы , называется вероятность данных, является
PDF-файл государства и вероятность данных объединяются, чтобы дать новую плотность вероятности состояния системы зависит от ценности данных (в задний ) посредством Теорема Байеса,
Данные фиксируется после получения, поэтому обозначим апостериорное состояние как вместо и апостериорный PDF . Это может быть показано алгебраическими манипуляциями[5] что апостериорный PDF также является гауссовым,
с апостериорным средним и ковариация заданные формулами обновления Калмана
куда
так называемый Кальман усиление матрица.
Ансамблевый фильтр Калмана
EnKF - это приближение Монте-Карло фильтра Калмана, которое позволяет избежать развития ковариационной матрицы PDF вектора состояния. . Вместо этого PDF-файл представлен ансамблем
является матрица, столбцы которой являются членами ансамбля, и называется предыдущий ансамбль. В идеале участники ансамбля должны образовывать образец из предыдущего распределения. Однако участники ансамбля в целом не независимый за исключением начального ансамбля, поскольку каждый шаг EnKF связывает их вместе. Они считаются приблизительно независимыми, и все расчеты производятся так, как если бы они действительно были независимыми.
Реплицируйте данные в матрица
так что каждый столбец состоит из вектора данных плюс случайный вектор из -мерное нормальное распределение . Если, кроме того, столбцы являются образцом из априорная вероятность распределения, то столбцы
сформировать образец из апостериорная вероятность распределение. Чтобы увидеть это в скалярном случае с : Позволять , и потом
- .
Первая сумма - это апостериорное среднее, а вторая сумма, ввиду независимости, имеет дисперсию
- ,
что является апостериорной дисперсией.
EnKF теперь получается простой заменой ковариации состояний в матрице усиления Калмана по выборочной ковариации вычисляется из членов ансамбля (называемых ковариация ансамбля),[6] то есть:
Выполнение
Базовая формулировка
Вот и следим.[7][8] Предположим, что матрица ансамбля и матрица данных такие же, как указано выше. Среднее по ансамблю и ковариация равны
куда
и обозначает матрицу всех единиц указанного размера.
Задний ансамбль тогда дается
где возмущенная матрица данных как указано выше.
Обратите внимание, что поскольку ковариационная матрица, она всегда положительно полуопределенный и обычно положительно определенный, поэтому существует обратное выше, и формула может быть реализована с помощью Разложение Холецкого.[9] В,[7][8] заменяется выборкой ковариации куда а обратное заменяется на псевдообратный, вычисленный с использованием сингулярное разложение (СВД).
Поскольку эти формулы являются матричными операциями с доминирующим Уровень 3 операции,[10] они подходят для эффективной реализации с использованием программных пакетов, таких как ЛАПАК (по серийным и Общая память компьютеры) и ScaLAPACK (на распределенная память компьютеры).[9] Вместо вычисления обратный матрицы и умножая на нее, гораздо лучше (в несколько раз дешевле и точнее) вычислить Разложение Холецкого матрицы и рассматривать умножение на обратное как решение линейной системы с множеством одновременных правых частей.[10]
Реализация без матрицы наблюдения
Поскольку мы заменили ковариационную матрицу на ансамблевую ковариацию, это приводит к более простой формуле, в которой наблюдения ансамбля используются напрямую без явного указания матрицы . Более конкретно, определите функцию формы
Функция называется функция наблюдения или в обратные задачи контекст, оператор пересылки. Значение какова будет ценность данных для состояния при условии, что измерение точное. Тогда апостериорный ансамбль можно переписать как
куда
и
с
Следовательно, обновление ансамбля может быть вычислено путем оценки функции наблюдения на каждом члене ансамбля один раз и матрица не нужно знать явно. Эта формула также верна[9] для функции наблюдения с фиксированным смещением , который также не нужно знать явно. Вышеупомянутая формула обычно использовалась для нелинейной функции наблюдения , например, положение ураган вихрь.[11] В этом случае функция наблюдения по существу аппроксимируется линейной функцией от ее значений в членах ансамбля.
Реализация для большого количества точек данных
Для большого количества точек данных, умножение на становится узким местом. Следующая альтернативная формула полезна, когда количество точек данных большой (например, при ассимиляции данных с координатной сеткой или пикселей), а ошибка данных ковариационная матрица является диагональным (что имеет место, когда ошибки данных не коррелированы) или дешевым для разложения (например, полосатым из-за ограниченного ковариационного расстояния). С использованием Формула Шермана – Моррисона – Вудбери[12]
с
дает
что требует только решения систем с матрицей (предполагается, что это дешево) и системы размера с правые части. Видеть[9] для подсчета операций.
Дальнейшие расширения
Описанная здесь версия EnKF включает рандомизацию данных. Для фильтров без рандомизации данных см..[13][14][15]
Поскольку ковариация ансамбля равна не имеющий ранга (переменных состояния намного больше, обычно миллионов, чем членов ансамбля, обычно меньше сотни), в нем есть большие члены для пар точек, которые пространственно удалены. Поскольку на самом деле значения физических полей в удаленных местах не так уж и велики. коррелированный, ковариационная матрица искусственно сужается в зависимости от расстояния, что приводит к локализованный EnKF алгоритмы.[16][17] Эти методы изменяют ковариационную матрицу, используемую в вычислениях, и, следовательно, апостериорный ансамбль больше не состоит только из линейных комбинаций предыдущего ансамбля.
Для нелинейных задач EnKF может создать апостериорный ансамбль с нефизическими состояниями. Это можно облегчить регуляризация, Такие как наказание состояний с большими пространственными градиенты.[6]
Для проблем с согласованные черты, Такие как ураганы, грозы, линии огня, линии шквала, и фронты дождя возникает необходимость корректировки состояния численной модели путем деформации состояния в пространстве (ее сетки), а также путем аддитивной корректировки амплитуд состояний. В 2007 году Равела и др. представить совместную модель корректировки положения и амплитуды с использованием ансамблей и систематически получить последовательное приближение, которое может применяться как к EnKF, так и к другим формулировкам.[18] Их метод не предполагает, что амплитуды и ошибки положения являются независимыми или совместно гауссовыми, как это делают другие. В морфинге EnKF используются промежуточные состояния, полученные методами, заимствованными из регистрация изображения и морфинг, а не линейные комбинации состояний.[19][20]
EnKF полагаются на предположение Гаусса, хотя на практике они используются для нелинейных задач, где предположение Гаусса может не выполняться. Связанные фильтры, пытающиеся ослабить допущение Гаусса в EnKF при сохранении его преимуществ, включают фильтры, которые соответствуют государственному PDF с несколькими гауссовскими ядрами,[21] фильтры, приближающие состояние PDF к Гауссовы смеси,[22] вариант фильтр твердых частиц с вычислением веса частиц по оценка плотности,[20] и вариант сажевого фильтра с толстохвостый данные pdf для облегчения дегенеративность сажевого фильтра.[23]
Смотрите также
- Ассимиляция данных
- Численный прогноз погоды # Ансамбли
- Фильтр твердых частиц
- Рекурсивная байесовская оценка
Рекомендации
- ^ Кальман, Р. Э. (1960). «Новый подход к задачам линейной фильтрации и прогнозирования». Журнал фундаментальной инженерии. 82 (1): 35–45. Дои:10.1115/1.3662552. S2CID 1242324.
- ^ Эвенсен, Г. (1994). «Последовательная ассимиляция данных с нелинейной квазигеострофической моделью с использованием методов Монте-Карло для прогнозирования статистики ошибок». Журнал геофизических исследований. 99 (C5): 143–162. Bibcode:1994JGR .... 9910143E. Дои:10.1029 / 94JC00572. HDL:1956/3035.
- ^ Houtekamer, P .; Митчелл, Х. Л. (1998). «Ассимиляция данных с использованием ансамблевого фильтра Калмана». Ежемесячный обзор погоды. 126 (3): 796–811. Bibcode:1998MWRv..126..796H. CiteSeerX 10.1.1.3.1706. Дои:10.1175 / 1520-0493 (1998) 126 <0796: DAUAEK> 2.0.CO; 2.
- ^ Для обзора EnKF и связанных методов ассимиляции данных см. Эвенсен, Г. (2007). Ассимиляция данных: ансамблевый фильтр Калмана. Берлин: Springer. ISBN 978-3-540-38300-0.
- ^ Андерсон, Б. Д. О .; Мур, Дж. Б. (1979). Оптимальная фильтрация. Энглвуд Клиффс, Нью-Джерси: Прентис-Холл. ISBN 978-0-13-638122-8.
- ^ а б Johns, C.J .; Мандель, Дж. (2008). "Двухэтапный ансамблевый фильтр Калмана для плавного усвоения данных". Экологическая и экологическая статистика. 15 (1): 101–110. CiteSeerX 10.1.1.67.4916. Дои:10.1007 / s10651-007-0033-0. S2CID 14820232.
- ^ а б Burgers, G .; van Leeuwen, P.J .; Эвенсен, Г. (1998). «Схема анализа в ансамблевом фильтре Калмана». Ежемесячный обзор погоды. 126 (6): 1719–1724. Bibcode:1998MWRv..126.1719B. CiteSeerX 10.1.1.41.5827. Дои:10.1175 / 1520-0493 (1998) 126 <1719: ASITEK> 2.0.CO; 2.
- ^ а б Эвенсен, Г. (2003). «Ансамблевый фильтр Калмана: теоретическая формулировка и практическая реализация». Ocean Dynamics. 53 (4): 343–367. Bibcode:2003OcDyn..53..343E. CiteSeerX 10.1.1.5.6990. Дои:10.1007 / s10236-003-0036-9. S2CID 129233333.
- ^ а б c d Мандель, Дж. (Июнь 2006 г.). «Эффективная реализация ансамблевого фильтра Калмана» (PDF). Центр отчетов по вычислительной математике. Университет Колорадо в Денвере и Центр медицинских наук. 231.
- ^ а б Голуб, Г.Х.; Ссуда, К.Ф.В. (1989). Матричные вычисления (Второе изд.). Балтимор: Johns Hopkins Univ. Нажмите. ISBN 978-0-8018-3772-2.
- ^ Chen, Y .; Снайдер, К. (2007). "Ассимиляция положения вихря с помощью ансамблевого фильтра Калмана". Ежемесячный обзор погоды. 135 (5): 1828–1845. Bibcode:2007MWRv..135.1828C. Дои:10.1175 / MWR3351.1.
- ^ Hager, W. W. (1989). «Обновление инверсии матрицы». SIAM Обзор. 31 (2): 221–239. Дои:10.1137/1031049.
- ^ Андерсон, Дж. Л. (2001). «Фильтр Калмана настройки ансамбля для усвоения данных». Ежемесячный обзор погоды. 129 (12): 2884–2903. Bibcode:2001MWRv..129.2884A. CiteSeerX 10.1.1.5.9952. Дои:10.1175 / 1520-0493 (2001) 129 <2884: AEAKFF> 2.0.CO; 2.
- ^ Эвенсен, Г. (2004). «Стратегии выборки и схемы анализа квадратного корня для EnKF». Ocean Dynamics. 54 (6): 539–560. Bibcode:2004OcDyn..54..539E. CiteSeerX 10.1.1.3.6213. Дои:10.1007 / s10236-004-0099-2. S2CID 120171951.
- ^ Типпет, М. К .; Андерсон, Дж. Л .; Bishop, C.H .; Hamill, T. M .; Уитакер, Дж. С. (2003). «Ансамблевые фильтры с квадратным корнем». Ежемесячный обзор погоды. 131 (7): 1485–1490. Bibcode:2003MWRv..131.1485T. CiteSeerX 10.1.1.332.775. Дои:10.1175 / 1520-0493 (2003) 131 <1485: ESRF> 2.0.CO; 2.
- ^ Андерсон, Дж. Л. (2003). «Локальная структура наименьших квадратов для ансамблевой фильтрации». Ежемесячный обзор погоды. 131 (4): 634–642. Bibcode:2003MWRv..131..634A. CiteSeerX 10.1.1.10.6543. Дои:10.1175 / 1520-0493 (2003) 131 <0634: ALLSFF> 2.0.CO; 2.
- ^ Отт, Э.; Хант, Б. Р .; Szunyogh, I .; Зимин, А. В .; Kostelich, E.J .; Corazza, M .; Калнай, Э.; Патил, Д .; Йорк, Дж. А. (2004). «Локальный ансамблевой фильтр Калмана для ассимиляции атмосферных данных». Теллус А. 56 (5): 415–428. arXiv:физика / 0203058. Bibcode:2004TellA..56..415O. Дои:10.3402 / tellusa.v56i5.14462. S2CID 218577557.
- ^ Ravela, S .; Эмануэль, К.; Маклафлин, Д. (2007). «Ассимиляция данных путем выравнивания полей». Physica. D: Нелинейные явления. 230 (1–2): 127–145. Bibcode:2007PhyD..230..127R. Дои:10.1016 / j.physd.2006.09.035.
- ^ Beezley, J.D .; Мандель, Дж. (2008). «Морфирующий ансамбль фильтров Калмана». Теллус А. 60 (1): 131–140. arXiv:0705.3693. Bibcode:2008TellA..60..131B. Дои:10.1111 / j.1600-0870.2007.00275.x. S2CID 1009227.
- ^ а б Mandel, J .; Бизли, Дж. Д. (ноябрь 2006 г.). Предиктор-корректор и фильтры морфинга ансамбля для ассимиляции разреженных данных в нелинейные системы большой размерности (PDF). 11-й симпозиум по комплексным системам наблюдения и ассимиляции атмосферы, океанов и поверхности суши (IOAS-AOLS), CD-ROM, документ 4.12, 87-е ежегодное собрание Американского метеорологического общества, Сан-Антонио, Техас, январь 2007 г. Отчет СКК 239. Университет Колорадо в Денвере и Центр медицинских наук.
- ^ Андерсон, Дж. Л .; Андерсон, С. Л. (1999). «Монте-Карло реализация задачи нелинейной фильтрации для получения ансамблевых ассимиляций и прогнозов». Ежемесячный обзор погоды. 127 (12): 2741–2758. Bibcode:1999MWRv..127.2741A. Дои:10.1175 / 1520-0493 (1999) 127 <2741: AMCIOT> 2.0.CO; 2.
- ^ Bengtsson, T .; Снайдер, К .; Нычка, Д. (2003). «К нелинейному ансамблевому фильтру для систем большой размерности». Журнал геофизических исследований: атмосферы. 108 (D24): СТС 2–1–10. Bibcode:2003JGRD..108.8775B. Дои:10.1029 / 2002JD002900.
- ^ ван Леувен, П. (2003). «Фильтр минимизации дисперсии для крупномасштабных приложений». Ежемесячный обзор погоды. 131 (9): 2071–2084. Bibcode:2003MWRv..131.2071V. CiteSeerX 10.1.1.7.3719. Дои:10.1175 / 1520-0493 (2003) 131 <2071: AVFFLA> 2.0.CO; 2.
внешняя ссылка
- Веб-страница EnKF
- TOPAZ, прогнозирование состояния северной части Атлантического океана и морского льда в Арктике в режиме реального времени с помощью EnKF
- EnKF-C, компактная платформа для ассимиляции данных в крупномасштабные слоистые геофизические модели с EnKF
- PDAF – Платформа параллельной ассимиляции данных - программное обеспечение с открытым исходным кодом для ассимиляции данных, предоставляющее различные варианты EnKF