Уравнение Гамильтона – Якоби – Беллмана. - Hamilton–Jacobi–Bellman equation

В теория оптимального управления, то Гамильтон – Якоби – Беллман (HJB) уравнение дает необходимое и достаточное условие за оптимальность из контроль по отношению к функция потерь.^[1] В общем случае это нелинейный уравнение в частных производных в функция значения, что означает его решение является сама функция ценности. Как только это решение известно, его можно использовать для получения оптимального управления, взяв максимизатор (или минимизатор) Гамильтониан участвует в уравнении HJB.^[2][3]

Уравнение является результатом теории динамическое программирование который был впервые разработан в 1950-х годах Ричард Беллман и коллеги.^[4][5][6] Подключение к Уравнение Гамильтона – Якоби из классическая физика был впервые нарисован Рудольф Кальман.^[7] В дискретное время проблемы, соответствующие разностное уравнение обычно называют Уравнение беллмана.

В то время как классический вариационные задачи, такой как проблема брахистохрона, может быть решена с помощью уравнения Гамильтона – Якоби – Беллмана,^[8] метод применим к более широкому кругу задач. Далее его можно обобщить на стохастический систем, и в этом случае уравнение HJB является уравнением второго порядка эллиптическое уравнение в частных производных.^[9] Однако серьезным недостатком является то, что уравнение HJB допускает классические решения только для достаточно гладкий значение, которое не гарантируется в большинстве ситуаций. Вместо этого понятие вязкость раствора требуется, в котором обычные производные заменяются на (многозначные) субпроизводные.^[10]

Задачи оптимального управления

Рассмотрим следующую задачу детерминированного оптимального управления за период времени ${\displaystyle [0,T]}$:

${\displaystyle V_{T}(x(0),0)=\min _{u}\left\{\int _{0}^{T}C[x(t),u(t)]\,dt+D[x(T)]\right\}}$

куда ${\displaystyle C[\cdot ]}$ - скалярная функция нормы затрат и ${\displaystyle D[\cdot ]}$ это функция, которая дает завещанная стоимость в конечном состоянии, ${\displaystyle x(t)}$ - вектор состояния системы, ${\displaystyle x(0)}$ считается заданным, и ${\displaystyle u(t)}$ за ${\displaystyle 0\leq t\leq T}$ это вектор управления, который мы пытаемся найти.

Система также должна быть подчинена

${\displaystyle {\dot {x}}(t)=F[x(t),u(t)]\,}$

куда ${\displaystyle F[\cdot ]}$ дает вектор, определяющий физическую эволюцию вектора состояния во времени.

Уравнение в частных производных

Для этой простой системы (позволяя ${\displaystyle V=V_{T}}$) уравнение в частных производных Гамильтона – Якоби – Беллмана имеет вид

${\displaystyle {\dot {V}}(x,t)+\min _{u}\left\{\nabla V(x,t)\cdot F(x,u)+C(x,u)\right\}=0}$

в соответствии с конечным условием

${\displaystyle V(x,T)=D(x),\,}$

куда ${\displaystyle {\dot {V}}(x,t)}$ обозначает частную производную от ${\displaystyle V}$ по временной переменной ${\displaystyle t}$. Здесь ${\displaystyle a\cdot b}$ обозначает скалярное произведение векторов ${\displaystyle a}$ и ${\displaystyle b}$ и ${\displaystyle \nabla V(x,t)}$ в градиент из ${\displaystyle V}$ по переменным ${\displaystyle x}$.

Неизвестный скаляр ${\displaystyle V(x,t)}$ в приведенном выше уравнении с частными производными - это уравнение Беллмана функция значения, который представляет собой затраты, понесенные при запуске в состоянии ${\displaystyle x}$ вовремя ${\displaystyle t}$ и оптимально управлять системой с тех пор и до времени ${\displaystyle T}$.

Вывод уравнения

Интуитивно уравнение HJB можно вывести следующим образом. Если ${\displaystyle V(x(t),t)}$ оптимальная функция затрат (также называемая «функцией ценности»), то по Ричарду Беллману принцип оптимальности, идущий от времени т к т + dt, у нас есть

${\displaystyle V(x(t),t)=\min _{u}\left\{V(x(t+dt),t+dt)+\int _{t}^{t+dt}C(x(s),u(s))\,ds\right\}.}$

Обратите внимание, что Расширение Тейлора первого члена в правой части есть

${\displaystyle V(x(t+dt),t+dt)=V(x(t),t)+{\dot {V}}(x(t),t)\,dt+\nabla V(x(t),t)\cdot {\dot {x}}(t)\,dt+{\mathcal {o}}(dt),}$

куда ${\displaystyle {\mathcal {o}}(dt)}$ обозначает члены разложения Тейлора более высокого порядка, чем один в маленький-о обозначение. Тогда, если мы вычтем ${\displaystyle V(x(t),t)}$ с обеих сторон разделить на dt, и возьмем предел как dt стремится к нулю, мы получаем уравнение HJB, определенное выше.

Решение уравнения

Уравнение HJB обычно решено в обратном направлении, начиная с ${\displaystyle t=T}$ и заканчивая ${\displaystyle t=0}$.^{[нужна цитата ]}

При решении по всему пространству состояний и ${\displaystyle V(x)}$ непрерывно дифференцируемо, уравнение HJB является необходимое и достаточное условие для оптимума, когда конечное состояние не ограничено.^[11] Если мы сможем решить ${\displaystyle V}$ тогда мы можем найти из него контроль ${\displaystyle u}$ при этом достигается минимальная стоимость.

В общем случае уравнение HJB не имеет классического (гладкого) решения. Для таких ситуаций было разработано несколько понятий обобщенных решений, в том числе: вязкость раствора (Пьер-Луи Лайонс и Майкл Крэндалл ),^[12] минимаксное решение (Андрей Измайлович Субботин [RU ]), и другие.

Приближенное динамическое программирование было введено Д. П. Бертсекас и Я. Н. Цициклис с использованием искусственные нейронные сети (многослойные персептроны ) для аппроксимации функции Беллмана в целом.^[13] Это эффективная стратегия смягчения последствий для уменьшения влияния размерности за счет замены запоминания полного отображения функций для всего пространственного домена запоминанием отдельных параметров нейронной сети. В частности, для систем с непрерывным временем был представлен приближенный подход динамического программирования, сочетающий обе итерации политики с нейронными сетями.^[14] В дискретном времени был представлен подход к решению уравнения HJB, объединяющий итерации значений и нейронные сети.^[15]

Расширение на стохастические задачи

Идея решения проблемы управления путем применения принципа оптимальности Беллмана и последующей разработки в обратном направлении стратегии оптимизации может быть обобщена на задачи стохастического управления. Считайте то же самое, что и выше

${\displaystyle \min _{u}\mathbb {E} \left\{\int _{0}^{T}C(t,X_{t},u_{t})\,dt+D(X_{T})\right\}}$

теперь с ${\displaystyle (X_{t})_{t\in [0,T]}\,\!}$ стохастический процесс для оптимизации и ${\displaystyle (u_{t})_{t\in [0,T]}\,\!}$ рулевое управление. Сначала используя Bellman, а затем расширяя ${\displaystyle V(X_{t},t)}$ с Правило Ито, можно найти стохастическое уравнение HJB

${\displaystyle \min _{u}\left\{{\mathcal {A}}V(x,t)+C(t,x,u)\right\}=0,}$

куда ${\displaystyle {\mathcal {A}}}$ представляет оператор стохастического дифференцирования, и с учетом терминального условия

${\displaystyle V(x,T)=D(x)\,\!.}$

Обратите внимание, что случайность исчезла. В этом случае решение ${\displaystyle V\,\!}$ последнего не обязательно решает основную проблему, это только кандидат, и требуется дополнительный подтверждающий аргумент. Этот метод широко используется в финансовой математике для определения оптимальных инвестиционных стратегий на рынке (см., Например, Проблема портфеля Мертона ).

Приложение к LQG Control

В качестве примера мы можем рассмотреть систему с линейной стохастической динамикой и квадратичной стоимостью. Если динамика системы задана

${\displaystyle dx_{t}=(ax_{t}+bu_{t})dt+\sigma dw_{t},}$

и стоимость накапливается по ставке ${\displaystyle C(x_{t},u_{t})=r(t)u_{t}^{2}/2+q(t)x_{t}^{2}/2}$, уравнение HJB имеет вид

${\displaystyle -{\frac {\partial V(x,t)}{\partial t}}={\frac {1}{2}}q(t)x^{2}+{\frac {\partial V(x,t)}{\partial x}}ax-{\frac {b^{2}}{2r(t)}}\left({\frac {\partial V(x,t)}{\partial x}}\right)^{2}+{\frac {\sigma ^{2}}{2}}{\frac {\partial ^{2}V(x,t)}{\partial x^{2}}}.}$

с оптимальным действием, данным

${\displaystyle u_{t}=-{\frac {b}{r(t)}}{\frac {\partial V(x,t)}{\partial x}}}$

Предполагая квадратичную форму функции цены, мы получаем обычный Уравнение Риккати для гессиана функции цены, как обычно для Линейно-квадратично-гауссовское управление.

Смотрите также

• Уравнение беллмана, дискретный аналог уравнения Гамильтона – Якоби – Беллмана.
• Принцип максимума Понтрягина, необходимое, но не достаточное условие для оптимума, путем максимизации Гамильтониан, но это имеет преимущество перед HJB в том, что его нужно удовлетворять только по одной рассматриваемой траектории.

Рекомендации

1. Кирк, Дональд Э. (1970). Теория оптимального управления: введение. Энглвуд Клиффс, Нью-Джерси: Прентис-Холл. С. 86–90. ISBN  0-13-638098-0.
2. Юн, Цзюнминь; Чжоу, Сюнь Юй (1999). «Динамическое программирование и уравнения HJB». Стохастические управления: гамильтоновы системы и уравнения HJB. Springer. С. 157–215 [стр. 163]. ISBN  0-387-98723-1.
3. Найду, Десинени С. (2003). «Уравнение Гамильтона – Якоби – Беллмана». Оптимальные системы управления. Бока-Ратон: CRC Press. стр. 277–283 [стр. 280]. ISBN  0-8493-0892-5.
4. Беллман, Р. Э. (1954). «Динамическое программирование и новый формализм в вариационном исчислении». Proc. Natl. Акад. Sci. 40 (4): 231–235. Bibcode:1954ПНАС ... 40..231Б. Дои:10.1073 / пнас.40.4.231. ЧВК  527981. PMID  16589462.
5. Беллман, Р. Э. (1957). Динамическое программирование. Принстон, штат Нью-Джерси.
6. Bellman, R .; Дрейфус, С. (1959). «Применение динамического программирования для определения оптимальных спутниковых траекторий». J. Br. Межпланета. Soc. 17: 78–83.
7. Кальман, Рудольф Э. (1963). «Теория оптимального управления и вариационное исчисление». В Bellman, Ричард (ред.). Математические методы оптимизации. Беркли: Калифорнийский университет Press. С. 309–331. OCLC  1033974.
8. Кемаджо-Браун, Изабель (2016). «Краткая история теории оптимального управления и некоторых последних разработок». В Будзбане, Григорий; Хьюз, Гарри Рэндольф; Шурц, Анри (ред.). Вероятность на алгебраических и геометрических структурах. Современная математика. 668. С. 119–130. Дои:10,1090 / conm / 668/13400. ISBN  9781470419455.
9. Чанг, Фву-Ранк (2004). Стохастическая оптимизация в непрерывном времени. Кембридж, Великобритания: Издательство Кембриджского университета. С. 113–168. ISBN  0-521-83406-6.
10. Барди, Мартино; Капуццо-Дольчетта, Итало (1997). Оптимальное управление и вязкостные решения уравнений Гамильтона – Якоби – Беллмана.. Бостон: Биркхойзер. ISBN  0-8176-3640-4.
11. Бертсекас, Дмитрий П. (2005). Динамическое программирование и оптимальное управление. Athena Scientific.
12. Барди, Мартино; Капуццо-Дольчетта, Итало (1997). Оптимальное управление и вязкостные решения уравнений Гамильтона-Якоби-Беллмана. Бостон: Биркхойзер. ISBN  0-8176-3640-4.
13. Bertsekas, Dimitri P .; Цициклис, Джон Н. (1996). Нейродинамическое программирование. Athena Scientific. ISBN  978-1-886529-10-6.
14. Абу-Халаф, Мурад; Льюис, Фрэнк Л. (2005). «Почти оптимальные законы управления для нелинейных систем с насыщающими исполнительными механизмами с использованием подхода нейронной сети HJB». Automatica. 41 (5): 779–791. Дои:10.1016 / j.automatica.2004.11.034.
15. Аль-Тамими, Асма; Льюис, Фрэнк Л .; Абу-Халаф, Мурад (2008). «Решение нелинейного HJB с дискретным временем с использованием приближенного динамического программирования: доказательство сходимости». IEEE Transactions по системам, человеку и кибернетике, часть B (кибернетика). 38 (4): 943–949. Дои:10.1109 / TSMCB.2008.926614.

дальнейшее чтение

• Бертсекас, Дмитрий П. (2005). Динамическое программирование и оптимальное управление. Athena Scientific.
• Фам, Хуйен (2009). "Классический подход к динамическому программированию в PDE". Непрерывное стохастическое управление и оптимизация с финансовыми приложениями. Springer. С. 37–60. ISBN  978-3-540-89499-5.
• Стенгель, Роберт Ф. (1994). «Условия оптимальности». Оптимальное управление и оценка. Нью-Йорк: Дувр. С. 201–222. ISBN  0-486-68200-5.