§ 12.9] ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ 385

Вид управления и (т) на интервале t + At, Т не оказывает влияния на первое слагаемое в правой части (12.163). Поэтому на рассматриваемом интервале времени следует так выбрать управление, чтобы минимизировать второе слагаемое в правой части (12.163) при выполнении условий

и {%) еи, X (т) ех, х{т) еОт, г + < -с < т. (i2.i64)

На основании принципа оптимальности перепишем (12.163) следующим образом:

t+At

il5(f, x) = min I fo{x, u)dx + >p[t + At, x{t + At)] . (12.165)

Ha интервале t, t + At управление и (т) должно быть выбрано так, чтобы минимизировать правую часть (12.165). От этого выбора зависят оба слагаемых правой части.

Заменим на малом интервале Д матричную функцию / (ж, и) и функцию

/о (х, и) их фиксированными значениями в точке t, а производную х отношением конечных разностей Ах = х (t -{- Ai) - х (t) и Ai. Тогда вместо (12.165) можно записать приближенно

il5(i, x)min{/o(x, и) At +\> (t At, х + Ах)}. (12.166)

Кроме того, имеем

х + Ах = X {t + At) = X (t) + At-f Ix {t), и (t)] = X + At-f {x, u). (12.167)

► Ha основании (12.166) и (12.167) можно найти приближенное значение ф {t, х). Для конечного момента времени Т и любых ж 6 Gt следует, что ф (Г, х) == 0. Поэтому вычисление -ф {t, х) удобно начинать с конца, т. е. с момента времени t = Т ж области G. На первом шаге расчета рассматривается момент времени t = Т - At. При t At = Т величина ж + Дж вследствие краевого условия принадлежит множеству G. Подставляя в (12.166) и (12.167) значение t = Т ~ Atm учитывая, что-ф (Г, х) = О, имеем

ф (Т -At,x)=. minfo[x,u{T - At)\ At,

x + Ax=x-{-At.f[x, u{T - At)\.

Далее фиксируется произвольное значение х Х. Минимум правой части первого равенства (12.168) вычисляется по тем значениям и (Т - Д) из множества U, для которых точка х -Н Дж, определяемая вторым равенством (12.168), соответствует значению b 6 G. Если для какой-либо точки X Х таких значений гг (Г - Д*) не существует, то функция ф (Г - Д, х) не определена в точке х.

Таким образом, по значению функции ф {Т, ж) можно приближенно определить значения функции ф (Г - At, х) на некотором подмножестве Х из X. Так как на интервале Т - Д, Т управление и (т) принято постоянньш и равным и {Т - Д), го одновременно с нахождением функции ф (Г - At, ж) приближенно найдено управление и {Т - At, х), которое реализует эту функцию.

На втором шаге рассматривается момент времени t = Т - 2Д. Из (12.166) и (12.167) можно получить

i{T - 2At,x) = mm{fo[x,u{T - 2At)\At-]-\{T - At, ж-f Дж)), ]

> (12.169)

x + Ax = x-\-At-f[x, u{T - 2At)].

(12.168)

ф(*-ЬА,ж--Дж)-ф(*,ж)Ч-[-Э- + 2 -§.-]AtAt)At. (12.170) Здесь б (Д) - величина более высокого порядка малости, чем At. Входя-

Далее фиксируется произвольная точка х X. Минимум правой части (12.169) вычисляется по тем значениям и (Т - 2At) 6 U, для которых точка X + Ах, определяемая вторым равенством (12.169), принадлежит подмножеству Xl. Находится значение функции ф (Г - 2At, х) на некотором подмножестве из Xl- На интервале Т - 2At, Т - At управление и (т) принимается постоянным и равным значению и (Т - 2At), реализуюгцим ф (Г - 2At, х). На интервале Т - At, Т управление, как функция ж (Г - Д), было определено после первого шага. Так как х (Т - At) связано с ж (Г - 2At) вторым равенством (12.169), то после двух шагов оказывается определенным управление и {Т- 2Д;,ж) на интервале времени Т - 2Ai, Т. Это будет кусочно-постоянная функция с интервалами постоянства, равными Л;.

Последуюш,ие шаги рассчитываются аналогично. Если весь интервал управления Т разбит на т шагов, то после т-го шага определяется функция ф (О, ж) на подмножестве Xj из Z и управление и (О, ж), как кусочно-постоянная функция с интервалами постоянства At. Если начальная точка ж (0) = = а принадлежит подмножеству для которого определена функция

ф (О, ж), то, положив X = а, получаем ф (О, а) - минимум функционала (12.161) исходной задачи управления и иф, а) = и* (т) - оптимальное управление. Подставляя затем оптимальное управление в (12.156) или (12.157) и решая систему исходных дифференциальных уравнений, можно определить оптимальную траекторию движения ж* (т).

Если ж (0) == а не принадлежит подмножеству Z, то задача не имеет решения. Надо учитывать при этом, что вся задача решалась приближенно, в том числе найдено было приближенно и подмножество Х-

При использовании динамического программирования число шагов должно. быть достаточно большим, чтобы получить приемлемую точность решения. В результате большой трудоемкости использование этого метода оказывается невозможным без применения вычислительных машин.

Серьезным недостатком метода является то, что с ростом размерности задачи (порядка п дифференциального уравнения) весьма серьезно возрастают требования к быстродействию и объему памяти вычислительных маппш. Действительно, на к-м шаге вьшисляется функция ф (Г - к At, ж), зависящая от переменных ж, . . ., ж и определенная на множестве Xk. Ее надо хранить в памяти машжны до тех пор, пока не будет вычислена функция ф [Г - - (& -j- 1) Д, х]. Это значит, что в памяти машины должна храниться таблица, в которой записаны значения ф (Г - к At, х) для различных точек из Хй- Этих точек оказывается много, так как таблица доли-ша достаточно точно и равномерно определять функцию ф (Г - к At, ж). Кроме того, в памяти машины приходится запоминать кусочно-постоянную в общем случае -мерную функцию управления и (Т - к At, ж), зависящую от Xl, . . ., Хп ш вычисленную при значениях аргумента т с интервалом At.

В сложных системах объем вычислительных операций при реализации приближенного решения задачи динамического программирования оказывается непосильным даже для самых крупных и быстродействующих современных вычислительных машин.

Уравнение Беллмана. Введем предположение, что функция ф имеет непрерывные частные производные по всем своим аргументам: t, Xi, . . ., ж . Тогда в равенстве (12.166) функцию ф (i + Д*, ж -Н Дж) можно представить следующим образом:

§ 12.10] АНАЛИТИЧЕСКОЕ КОНСТРУИРОВАНИЕ РЕГУЛЯТОРОВ 387

щие в правую часть (12.170) производные Xt удовлетворяют (12.156). Поэтому

{t + M,x+Ax) = {t,x) + l+ --fi] At+8 (At) At. (12.171)

Подставим (12.171) в (12.166). Функция -ф (f, х) не зависит от управления и {t) в момент t. Поэтому ее можно вынести за знак минимума. Деля полученное равенство на At и переходя к пределу при At О, имеем

min{-b2 -/a(0. u{t)] + fo[x{t), u{t)]]=0 (12.172)

при условиях .

x = fix, и), X (0) = я, ж (Г) = 6 6 От, x{t) еХ, о < i < Т. (12.173)

Уравнение (12.172) и представляет собой уравнение Беллмана с краевым условием -ф (Г, х) = 0. Сумма первых двух членов (12.172) есть полная производная функции -ф (t, х) по времени. Поэтому уравнение Беллмана можно записать в другом виде:

-Ь/о[ж(0,и(г)]}=0. (12.174)

Требование непрерывной дифференцируемости функции я]; [t, х) является весьма жестким и во многих задачах не выполняется. Б. Г. Болтянский показал [18], что можно ослабить требования к функции я]; {t, х). В ней допускаются разрывы частных производных на некотором множестве точек.

Заметим, что если функции и /{ не зависят явно от времени, то решение уравнения (12.174) - функция я5 и оптимальное управление и, которое реализует минимум в (12.174), тоже не зависит явно от времени, т. е. = = я5 (ж) и и = и{х), однако в общем случае я]; (if, ж) и в = w (f, х).

Аналитическое нахождение функции яр в явной форме удается только в некоторых частных случаях. Один из таких случаев рассмотрен в следующем параграфе.

§ 12.10. Аналитическое конструирование регуляторов

Так называемая задача аналитического конструирования регуляторов была сформулирована и решена А. М. Лотовым [77]. Эта задача развивалась также в работах А. А. Красовского [60] и Н. Н. Красовского [62, 63).

Скалярное управление. Пусть имеется стационарный объект, уравнения которого для фазовых координат, записанные в матричной форме, имеют вид

х = Ах-\- Си. - (12.175)

Здесь ж = II Xi llnxi - матрица-столбец фазовых координат, А = \\ !! хп- квадратная матрица коэффициентов, С = \\Ci xi - матрица-столбец коэффициентов, и - скаляр. Требуется определить оптимальное управление и = и (ж . . ., ж ), минимизирующее функционал качества

/= J (2 bixl-\-au)dt= j Vdt {bi-Q, i.= \,. ..., n,.a:>0). (12.176)

0 i=l .0