К ПРАКТИЧЕСКОЙ РЕАЛИЗАЦИИ РЕШЕНИЯ ЗАДАЧИ ОПТИМАЛЬНОГО УПРАВЛЕНИЯ

УДК 51-74, 519.6

А. И. Дивеев, Е. Ю. Шмалько

DOI 10.21685/2307-4205-2020-2-6

К ПРАКТИЧЕСКОЙ РЕАЛИЗАЦИИ РЕШЕНИЯ ЗАДАЧИ ОПТИМАЛЬНОГО УПРАВЛЕНИЯ

А. I. Diveev, Е. Yu. Shmalko

ТО THE PRACTICAL IMPLEMENTATION OF SOLVING

THE OPTIMAL CONTROL PROBLEM

Аннотация. Актуальность и цели. Повсеместная роботизация и современная высокопроизводительная технология изготовления роботов требуют от разработчиков систем автоматического управления таких же высокопроизводительных методов создания систем управления этими роботами. Обычная процедура построения систем управления включает разработку математической модели объекта управления, робота, формализацию задачи управления, разработку нового или применение одного из существующих методов для решения формальной математической задачи и реализацию полученного решения на бортовом процессоре объекта управления, робота. Одной из наиболее известных задач управления является задача оптимального управления, сформулированная Л. С. Понтрягиным [1]. В самой книге неоднократно указывается на техническую направленность полученных результатов, в частности в аннотации к монографии сказано: «Этот принцип (имеется в виду принцип максимума Понтрягина) позволят решать ряд задач математического и прикладного характера...», далее там же: «Книга представляет интерес... и как руководство, которым могут пользоваться инженер и конструктор». Как показали дальнейшие исследования, что даже реализация численного метода решения краевой задачи, к которой приводит принцип максима Понтрягина, представляет собой существенную проблему [2]. Но если эту проблему с помощью современных вычислителей еще как-то сегодня решают, то вопрос о том, что дальше делать с полученным решением и как его реализовывать в реальном объекте управления, остается открытым. Считается, что для реализации решения, необходимо построить дополнительную систему стабилизации, но единого мнения и метода, как это сделать, не существует. Настоящая работа посвящена исследованию методов реализации решения задачи оптимального управления. В связи с ужесточением требований к времени создания систем управления робототехниче-скими устройствами эта проблема становится чрезвычайно актуальной. Материалы и методы. В работе приводятся исследования различных методов синтеза систем стабилизации движения объекта управления

© Дивеев А. И., Шмалько Е. Ю., 2020

Abstract. Background. Ubiquitous robotics and modern high-performance robot manufacturing technology require developers of automatic control systems to use high-performance methods for creating control systems for these robots. The usual procedure for constructing control systems includes developing a mathematical model of a control object, a robot, formalizing a control problem, applying one of the existing methods or developing a new one to solve a formal mathematical problem and implementing the resulting solution on an on-board processor of a control object, a robot. One of the most well-known control problems is the optimal control problem formulated by L.S. Pontryagin. The book itself repeatedly indicates the technical orientation of the results obtained, in particular, in the annotation to the monograph it is said "This principle (meaning the Pontryagin&s maximum principle) will allow solving a number of mathematical and applied problems ...", then in the same place "The book is ... a manual that can be used by an engineer and designer. ". As further studies have shown, even the numerical solution of the boundary value problem, which the Pontryagin&s maxim principle leads to, is a rather difficult problem. But, if this problem is somehow solved today using modern computers, the question of what to do next with the resulting solution and how to implement it in a real control object remains open. It is believed that to implement the solution, it is necessary to build an additional stabilization system, but there is no consensus on how to do this. The present work is devoted to the study of meth ods for implementing the solution of the optimal control problem. In connection with the tightening of the time requirements for the creation of control systems for robotic devices, this task becomes extremely urgent. Materials and methods. The paper presents studies of various methods for the control system synthesis for stabilizing the movement of a control object along a given path. Both classical technical and analytical approaches, as well as modern computational methods based on the use of evolutionary algorithms are considered. As one of the alternatives, it is proposed to reformulate the optimal control problem with the inclusion of the stabilization system synthesis problem in its formulation. Results. Various approaches to the implementation of the

по заданной траектории. Рассматриваются как классические технические и аналитические подходы, так и современные вычислительные методы, основанные на применении эволюционных алгоритмов. В качестве одной из альтернатив предложено переформулировать задачу оптимального управления с включением в ее постановку задачу синтеза системы стабилизации. Результаты. Приведены различные подходы к реализации решения задачи оптимального управления в системе управления реального объекта. Продемонстрированы проблемы, достоинства и недостатки рассмотренных методов синтеза систем стабилизации движением объекта управления по заданной траектории. Сформулирована задача оптимального управления, включающая этап синтеза системы стабилизации движения по оптимальной траектории. Выводы. Рассмотрены и исследованы с точки зрения прикладной реализации различные методы синтеза системы стабилизации достижения объекта управления по заданной траектории. Результаты исследования показывают, что либо разработанные известными методами системы стабилизации не обеспечивают точного движения объекта управления по заданной траектории с сохранением значения критерия качества, либо постановка задачи синтеза управления оказывается существенно сложнее задачи оптимального управления и ее решение требует разработки новых вычислительных методов. Все системы стабилизации изменяют математическую модель объекта управления, которая рассматривалась при решении задачи оптимального управления, поэтому с точки зрения исходного критерия качества движение по заданной траектории реального объекта не является оптимальным.

solution of the optimal control problem in the control system of a real object are presented. Advantages and disadvantages of the considered methods for stabilization systems synthesis for the motion of a control object along a given path are demonstrated. The optimal control problem is formulated, which includes the stage of synthesis of a stabilization system for movement along an optimal trajectory. Conclusions. From the point of view of applied implementation, various methods of the system synthesis for stabilizing a control object along a given path to achieve the goal are considered and investigated. The results of the study show that either the stabilization systems developed by well-known methods do not provide the exact movement of the control object along a given trajectory while maintaining the value of the quality criterion, or the formulation of the control synthesis problem is much more complicated than the optimal control problem and its solution requires the development of new computational methods. All stabilization systems change the mathematical model of the control object, which was considered when solving the optimal control problem, therefore, from the point of view of the initial quality criterion, movement along a given trajectory of a real object is not optimal.

Введение

Решение задачи оптимального управления в постановке Л. С. Понтрягина [1] приводит к нахождению функции управления, аргументом которой является время. Очевидно, что такое управление является разомкнутым и не может быть поставлено непосредственно в систему управления реальным объектом, так как любое несовпадение по времени движения объекта и управления приведет к тому, что цель управления не будет достигнута и значение критерия качества будет отличаться от полученного при решении математической задачи. Для реализации полученного решения требуется разработка системы управления с функцией обратной связи. Решение задачи оптимального управления на основе решения уравнения Р. Беллмана [3] приводит к нахождению управления в виде функции от координат пространства состояний. Однако решение в численном виде этого уравнения с помощью метода динамического программирования, предложенного также Р. Беллманом [4], как правило, возможно только для одного начального значения. Поэтому оно ничем не лучше с точки зрения практической реализации, чем решение, полученное для задачи в постановке Л. С. Понтрягина. Любое отклонение реального объекта от значений координат вектора состояния, полученных при решении методом динамического программирования, приведет также к непопаданию в цель и к изменению значения критерия качества. Для реализации этих решений необходимо создание систем управления, стабилизирующих движение объекта управления относительно найденных решений.

При разработке системы стабилизации движения возникают различные проблемы и подходы к их преодолению при реализации системы стабилизации. Например, одна из проблем состоит

в том, что если стабилизировать программную траекторию во времени, точное движение по оптимальной пространственной траектории не будет оптимальным движением, если оно не совпадает с ним по времени. Цель настоящей работы состоит в рассмотрении различных методов прикладной реализации решения задачи оптимального управления.

Задача оптимального управления

В математической постановке задачи оптимального управления задана математическая модель объекта управления в виде системы обыкновенных дифференциальных уравнений, записанных в форме Коши

X = f (x, u), (1)

где x - вектор состояния объекта управления, x е Rп, u - вектор управления, u е U с Rm , U -компактное множество, m < п .

Для системы (1) заданы начальные и терминальные условия

X (0) = X0, (2)

X (tf) = х-f, (3)

где t f - терминальное время окончания процесса управления, которое не задано, но ограничено и определяется по достижению терминального состояния (3)

\\t, если t < t+ и ||xf - x(t) ||< 8, tf = \\ + " (4)

[t - иначе,

где t + - заданное предельное время процесса управления, 8 - заданная точность попадания в терминальное состояние.

Задан критерий качества управления в виде интегрального функционала

J = J fo(x(t), u(t))dt ^ mill, (5)

J u ()eU

где u - любое допустимое управление, которое для любого момента времени принадлежит компактному множеству U и при котором решение системы (1) из начального состояния (2) достигает терминального состояния (3).

Решением задачи оптимального управления в данной постановке является векторная функция времени

u = v (t), (6)

значение которой в любой момент времени процесса управления принадлежит заданному компактному множеству

v(t) eU, Vt е [0; tf ]. (7)

Оптимальное решение x(t, x0) системы дифференциальных уравнений с оптимальной функцией управления

x = f (x, v(t)) (8)

из начального состояния (2) достигает в момент tf терминального состояния (3),

|| x(tf,x0) - xf ||< 8 , (9)

с минимальным значением критерия качества (5)

J f0( x(t, x0), v (t)) Л = min (J f0(x(t), u (t ))dt, Vu (•) e u| . (10)

Данное оптимальное решение x(t, x0) не обладает никакими специальными свойствами. В идеале для реализации данного решения необходимо было бы, чтобы оно было устойчивым по Ляпунову [5]. Для обеспечения этого свойства в системе (8) нет необходимых ресурсов, так как свободный вектор управления задействован под решение задачи оптимального управления (1)-(8). Для неустойчивого решения дифференциального уравнения любое возмущение в любой момент времени X(t1, x0) + Ax может привести к сколь угодно большим отклонениям, поэтому для реализации решения необходимо рассмотреть другие задачи.

Задача синтеза системы стабилизации оптимальной траектории

После решения задачи оптимального управления (1) - (8) рассмотрим задачу синтеза системы стабилизации в окрестности полученной оптимальной траектории x (t, x0). В данной задаче рассматривается следующая модель объекта управления

x = f (x, D(x(t, x0 - x(t), q ))), (11)

где D(y, q) - операторное уравнение системы стабилизации, q - вектор постоянных параметров q = [q1 — qp ]T , в частности, если оператор статический, то он является векторной функцией своих аргументов

x = f (x, h(x(t, x0 - x(t), q))). (12)

Для определения значений параметров используем критерий

f || x(t, x0) - x(t)|| dt ^ min. (13)

В качестве нормы в формуле (13) может быть использована любая выпуклая норма между векторными функциями.

Заметим, что дифференциальное уравнение (12) существенно отличается от исходного уравнения (1) или (8). Напомним, что система (12) описывает динамику движения реального объекта управления с системой стабилизации. Тогда возникает вопрос, оптимальное управление какого объекта мы хотим получить. Уравнение (1) описывает динамику абстрактного объекта до включения в него контура системы стабилизации. Тем не менее, если решить задачу (11)—(13), получим систему дифференциальных уравнений, частное решение которой из начального состояния (2) будет в процессе управления находиться в окрестности оптимальной траектории x (t, x0) и скорее всего достигнет терминального состояния (3), возможно, в другое время, чем tf. Здесь следует отметить интересный пример, приведенный в монографии [6], где показано, что любое приближение двух функций по любой норме не гарантирует близости значений функционала качества, вычисленных для этих функций.

Другой проблемой при построении системы стабилизации является то, что она в некоторых случаях не может быть построена принципиально, из-за отсутствия избыточных ресурсов управления по отношению к исходной задаче (1)-(8). Например, если задача оптимального управления решалась по критерию быстродействия, то оптимальное управление, как правило, для такой задачи находится на границе компактного множества U, поэтому в случае отклонения решения от оптимальной траектории по времени приближение невозможно реализовать никакой системой стабилизации.

Другой путь реализации оптимального управления состоит в дискретизации функции оптимального управления по времени. Введем интервал времени At и отметим на оси времени значения оптимальной траектории, получим множество точек в пространстве состояний

XX = {x(0, x0), x( At, x0), x(2 At, x0), —, x (K At, x0)}, (14)

где K - количество точек оптимальной траектории.

Здесь можно решить задачу общего синтеза [7], т.е. для системы (1) найти функцию обратной

связи

и = Ь( х), (15)

чтобы система дифференциальных уравнений

X = f (х, Ь(х* - х)) (16)

имела устойчивую точку равновесия х* п. Затем, подставляя вместо точек равновесия точки оптимальной траектории из множества (14) через заданный интервал времени, обеспечить движение объекта в окрестности оптимальной траектории. Данный подход наиболее конструктивен, по сравнению с вышеперечисленными. Он имеет еще преимущество в том, что замкнутый объект управления всегда устойчив относительно некоторой точки в пространстве состояний, поэтому он обладает свойствами робастности и его поведение не сильно изменяется при малых возмущениях начального состояния или самой математической модели.

Проблема решения задачи общего синтеза для обеспечения устойчивости объекта управления или системы дифференциальных уравнений, описывающих модель объекта управления, не такая простая задача. Сегодня наиболее популярными методами ее решения являются методы обратного обхода интегратора (Ьаск^ерр^) [8] и метод аналитического конструирования агрегированных регуляторов [9].

Следует отметить, что множество значений оптимальной траектории в пространстве состояний вместе с множеством значений оптимального управления в эти же моменты времени получается при решении задачи оптимального управления в постановке Р. Беллмана при численном решении уравнения Беллмана методом динамического программирования.

Данный подход имеет следующие недостатки. Во-первых, задача общего синтеза является достаточно сложной. В задаче необходимо найти векторную функцию обратной связи (15), такую, чтобы система уравнений (16) имела устойчивую точку равновесия х* еКп, т.е. чтобы матрица линеаризованной системы (16) в точке равновесия имела все собственные значения в левой полуплоскости комплексной плоскости

AE-fx*) Л

f (х*, h (0)) = 0, (17)

= An + an-1An-1 +... a1A + a0 = (A-A1)(A-A2).... . (A-A n) = 0, (18)

где Ау = ау + /ру, < 0, у = 1,...,п, / = >/—1 .

Следовательно, любое частное решение системы (16) из некоторой области начальных условий Х0 с Кп стремится в устойчивую точку равновесия х* е Кп.

Во-вторых, не все точки оптимальной траектории могут быть точками устойчивого равновесия, например, система дифференциальных уравнений

при любой функции Н(х1,х2) имеет точки равновесия только на оси х1, х2 = 0 .

В-третьих, траектория движения между точками равновесия может существенно отличаться от оптимальной.

Задача оптимального синтезированного управления

Если все же при реализации решения задачи оптимального управления нельзя обойтись без решения задачи синтеза системы управления, то почему бы не объединить эти две задачи в одну.

Пусть задана математическая модель объекта управления (1). Заданы начальное (2) и терминальное (3) состояния. Задан критерий качества (5). Задана ограниченная область пространства состояний, в которую входят начальное и терминальное состояния

х0,х7 е X с Кп. (19)

Задан дополнительный критерий качества для синтеза системы управления. Допустим, этот критерий состоит в комбинации времени и точности достижения точки равновесия:

J1 = t max + s5 max, (20)

где tmax - максимальное время достижения устойчивой точки равновесия из рассматриваемой области (19); 8max - наихудшая точность достижения устойчивой точки равновесия из области (19); s - весовой коэффициент.

Задан интервал времени переключения

At < t+ . (21)

Необходимо, во-первых, решить задачу общего синтеза для области (19) и найти управление в виде функции обратной связи

u = h(x* - x), (22)

где x* - ограниченный вектор постоянных параметров, имеющий размерность n. Он может не описывать координаты устойчивой точки равновесия X(x*) в пространстве состояний, но оказывает влияние на ее положение

f(x(x*),h(x* - x(x*))) = 0. (23)

Точку x* называем определяющей.

При поиске функции управления (22) используем критерий качества (20), причем значения времени попадания в точку равновесия и точность определяем для ограниченной области в уравнении (19).

На втором этапе находим координаты определяющих точек

x*1,..., x*,K , (24)

где K - количество определяющих точек

K = [t+ / At] . (25)

Вычислительный эксперимент

Рассмотрим пример решения задачи оптимального синтезированного управления для управления мобильным роботом.

Математическая модель объекта управления имеет вид

x1 = 0,5(u1 + u2) cos( x3),

x2 = 0,5(u1 + u2)sin(x3), (26)

x3 = 0,5(u1 - u2).

На управление робота наложено ограничение

-10 < иг < 10, i = 1,2. (27)

Задано начальное положение робота

x1(0) = 10, x2(0) = 10, x3(0) = 0. (28)

Задано терминальное состояние робота

xf = 0 , x( = 0 , x3f = 0 . (29)

Задан критерий качества управления, включающий штраф за фазовые ограничения:

J = tf + Z Jо-yl(xj -Xx(t))2 + (x2,j -x2(t))2)dt, (30)

где ^ определяется по формуле (4), в которой г += 2,5 с, 8 = 0,01, г1 = 3, г2 = 1,5, г3 = 3, г4 = 1,5, х11 = 2,5, х21 = 2,5, х12 = 2, х2 2 = 8, х13 = 7,5, х2 3 = 7,5, х14 = 8, х2 4 = 2, А) - функция Хэвисайда

Для задачи синтеза управления определяем область пространства состояний, включающую начальное и терминальное состояния

X = {-2<X, < 10, -2<x2 < 10, -0,5п<x1 <0,5п}.

Для области (32) для терминальной точки (29) решаем задачу общего синтеза методом Декартового генетического программирования [10]. В результате получаем следующую функцию управления:

и1 = B + C + sgn(B)exp(| B | -1), u2 = C - B - sgn(B)exp(| B | -1),

в = qx( х*- х1)+sgn(( х*- х1)( х2- х2)^1(х*- х1)( х2- х2)1, С = 2(х* - х1) + sgn(х* - х1)q2, = 3,1094, q2 = 3,6289.

Из заданного интервала (21) Аг = 0,7 и предельного времени г + = 2,5 вычисляем по формуле (25) количество определяющих точек К = 3 .

По критерию (30) находим оптимальные положения определяющих точек эволюционным алгоритмом роя частиц [9]:

х*1 = [-1,8344 1,6675 -0,4539]г , х*2 = [5,5795 -1,0247 -0,8759]г, х*3 = [-0,02161 0,2841 -0,01236]г .

Графики оптимальных траекторий на плоскости {х1, х2} приведены на рис. 1.

Рис. 1. Траектория оптимального синтезированного управления

На рис. 1 кругами обозначены фазовые ограничения, черными маленькими квадратами -определяющие точки, траектория движения задана черной линией. Как видим из графика, несмотря на сложные фазовые ограничения, эволюционному алгоритму удалось найти такие положения определяющих точек, что траектория движения достигла терминального состояния, не задев фазовые ограничения. Значение функционала (30) J = 2,6313.

Для сравнения была решена задача оптимального управления (26) - (31) прямым методом, в котором управления искались как кусочно-линейные функции времени на 10 интервалах для А^ = 0,25 с. Для поиска решения использовался также эволюционный алгоритм роя частиц [11]. Графики оптимальных траекторий приведены на рис. 2. Как видим из рисунка, оптимальная траектория имеет более резкие повороты, чем при синтезированном оптимальном управлении, и также проходит вблизи фазовых ограничений. Значение функционала для оптимального решения J = 2,5113.

-1 01 234567В9 10

Рис. 2. Траектория оптимального управления

Задача синтезированного оптимального управления ранее рассматривалась [12] как один из методов решения задачи оптимального управления с целью упрощения этой задачи для групп объектов, где имеется большое количество фазовых ограничений, в том числе и динамических.

Заключение

Рассмотрены методы реализации решения задачи оптимального управления. Показано, что для реализации решения необходимо сконструировать систему стабилизации. Формально для построения оптимальной системы стабилизации необходимо решить задачу общего синтеза управления, которая является более сложной, чем исходная задача оптимального управления. Предложено объединить две задачи в одну и назвать ее задачей оптимального синтезированного управления. Решение новой задачи состоит из двух этапов, но после решения сложной задачи общего синтеза на первом этапе задача оптимального управления существенно упрощается и редуцируется к задаче конечномерной оптимизации, в которой необходимо найти конечное число координат определяющих точек. Приведен пример решения задачи оптимального синтезированного управления.

Работа выполнена при частичной поддержке Российского научного фонда (№ 19-11-00258).

Библиографический список

References

Дивеев Асхат Ибрагимович

доктор технических наук, профессор, главный научный сотрудник, начальник отдела управления робототехническими устройствами, Федеральный исследовательский центр «Информатика и управление» Российской академии наук (Россия, г. Москва, ул. Вавилова, 42, корп. 2) E-mail: aidiveev@mail.ru

Diveev Askhat Ibragimovich

doctor of technical sciences, professor, chief researcher, head of the department of robotics control,

Federal Research Center "Computer Science and Control" of the Russian Academy of Sciences (42/2 Vavilova street, Moscow, Russia)

Шмалько Елизавета Юрьевна

кандидат технических наук, старший научный сотрудник, отдел управления робототехническими устройствами,

Федеральный исследовательский центр «Информатика и управление» Российской академии наук (Россия, г. Москва, ул. Вавилова, 42, корп. 2) E-mail: e.shmalko@gmail.com

Shmalko Elizaveta Yurievna

candidate of technical sciences, senior researcher, department of robotics control, Federal Research Center "Computer Science and Control" of the Russian Academy of Sciences (42/2 Vavilova street, Moscow, Russia)

Образец цитирования:

Дивеев, А. И. К практической реализации решения задачи оптимального управления / А. И. Дивеев, Е. Ю. Шмалько // Надежность и качество сложных систем. — 2020. — № 2 (30). — С. 37—46. — БОТ 10.21685/2307-4205-2020-2-6.