Уравнение Беллмана для задачи Майера. Уравнение Беллмана для задачи Больца. Порядок решения задачи оптимального управления на основе метода динамического управления

Уравнение Беллмана для задачи Майера

Рассмотрим уравнение Беллмана для следующей задачи оптимального управления.

Движение управляемой системы определяется векторным дифференциальным уравнением

где х, и и/— векторы следующего вида :

Здесь хДО и/,(Г, х, и) — непрерывные функции, и;(г) — кусочнонепрерывные функции.

Начальное состояние системы задано:

Требуется найти управление п(г), удовлетворяющее ограничениям и доставляющее минимум функционалу I — Я(х(О)), где О — некоторая фиксированная величина. Значение х(О) в рассматриваемой задаче не задано.

Уравнение Веллмана для задачи Майера имеет вид

где функция Веллмана определяется выражением

Функция 7(1, х(1)) удовлетворяет граничному условию 7(0, х(0)) = = К(х(Ш

Уравнение Беллмана для задачи Больца

Для задачи (20.1)—(20.4) с критерием оптимальности

фиксированным О и свободным правым концом траектории уравнение Беллмана имеет вид

где функция Беллмана определяется соотношением

Функция 7(1, х(1)) удовлетворяет граничному условию 7(0, х(О)) — = И(х(О)). Если система (20.1) является автономной и подынтегральная функция ?(х(т),п(т)) от 1 в явном виде не зависит, то уравнение Беллмана упрощается:

Если на правом конце траектории заданы граничные условия

а момент времени О не фиксирован, то функция 7(1, х(1)) удовлетворяет граничному условию 7(0,х(0)) = К(х,...х/сд).

Порядок решения задачи оптимального управления на основе метода динамического программирования

Рассмотрим порядок вычисления оптимального управления с использованием метода динамического программирования на примере задачи Больца с фиксированным временем и свободным правым концом траектории.

1. Составить функцию

С эуА

2. Минимизировать Н — по и е и и найти явную

V Эху

зависимость оптимального управления от вектора дУ / Эх :

3. Решить дифференциальное уравнение в частных производных:

с соответствующими граничным условием, например, У(О, х(0)) — = Я(х(О)).

4. Подставляя результаты решения этого уравнения в (20.5), найти оптимальный закон управления и0 = и0^,х^>), дУ/дх).

Это закон оптимального управления с обратной связью, так как вектор управления является функцией текущего состояния х(1) и текущего момента времени Г.

Пример

Рассмотрим систему, определяемую следующими уравнениями: с начальными условиями

Управление и(0 удовлетворяет ограничению |п(с)| < 1. Требуется перевести систему из заданного начального состояния (20.7) в начало фазовой системы координат (хг(^) = 0, х2($) = 0) за минимальное время.

Имеем задачу с закрепленными концами и свободным временем в. Система (20.6) является автономной.

Для задачи оптимального быстродействия критерий оптимальности

  • ? ( ЭУ)
  • 7 = 11Л. Составим функцию Н С,х(С),и(1),— :

о У Эх)

Оптимальное управление и0, доставляющее минимум (20.8), имеет вид

Уравнение Беллмана с оптимальным управлением в рассматриваемом примере

ЭУ

Рассмотрим область в плоскости Охгх2, где--->0, тогда уравнение

(20.9) будет иметь вид

ОУ

Будем искать функцию У(х1; х2) = х2) в области---> 0:

дх2

Подставим эту функцию в (20.10) и приравняем коэффициенты при одинаковых степенях к нулю:

откуда а3 = 0,а2 = 0, а3 = а4/2, а5 = 1, тогда

где а4 — произвольное число.

Аналогично определяем функцию У21, х2) Для области---< 0:

Эх2

Таким образом, функция (20.12) определена в области, где

а функция (20.13) — в области, где

Области (20.14) и (20.15) совпадают. Это означает, что функция Веллмана не может иметь вид (20.11).

Угадать класс функций, в котором уравнение Веллмана имеет решение, — трудная задача. Это уравнение можно решить методом характеристик [7]. Решение уравнения (20.10):

Функция У(хх, х2) терпит разрыв на линии переключения управления, определяемой уравнениями

п Р

Однако скалярное произведение г является величиной непрерыв-

(ох )

ной вдоль любой траектории, так как при оптимальном управлении из урав-

/ Э17 ( дУ

нения Белл мана 1 +1 ~ I / = 0 следует, что І ~ | / = -1. В данном присох ) ох )

мере выполняются ослабленные необходимые условия оптимальности: для автономной системы функция У(х1} х2) удовлетворяет уравнению Веллмана, но не является непрерывной и непрерывно дифференцируемой,

(ІХ

но при этом вдоль любой траектории х(г) системы — = /(х,п) произведе-

х т Эс

ЭУт г

ние / является непрерывным.

дх }

Для нестационарной системы ослабленное необходимое условие оптимальности заключается в следующем:

1) функция Веллмана У(г, х) удовлетворяет уравнению Веллмана

ПА X (ЭУ)

2) функция является непрерывной по I и х;

ОҐ )

  • 3) вектор-функции и /(?,х,и) либо непрерывны ПО С и х, либо
  • ( дх )

скалярное произведение гу,х,и) является непрерывным вдоль (ох )

любой траектории х(0 с оптимальным управлением.

 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ   ОРИГИНАЛ     След >