7.74 폰트랴긴의 최대 원리

1. 개요

폰트랴긴의 최대 원리(Pontryagin’s Maximum Principle, PMP)는 최적 제어 이론의 핵심 정리로, 제어 입력에 제약이 있는 최적 제어 문제에 대한 필요 조건을 제공한다. 레프 세묘노비치 폰트랴긴(Lev Semyonovich Pontryagin)과 그의 동료들이 1956년에 발표하고 1962년 저서 The Mathematical Theory of Optimal Processes에서 체계적으로 정리한 이 원리는, 고전적 변분법이 다루기 어려운 제어 입력의 구간 제약을 자연스럽게 포함하는 강력한 이론적 틀을 제공한다.

2. 문제의 설정

다음의 최적 제어 문제를 고려하라.

\min_{\mathbf{u}(\cdot)} \quad J = \phi(\mathbf{x}(t_f)) + \int_{t_0}^{t_f} L(\mathbf{x}(t), \mathbf{u}(t), t) \, dt

제약 조건:

\dot{\mathbf{x}}(t) = \mathbf{f}(\mathbf{x}(t), \mathbf{u}(t), t), \quad \mathbf{x}(t_0) = \mathbf{x}_0

\mathbf{u}(t) \in \mathcal{U}, \quad \forall t \in [t_0, t_f]

여기서 \mathbf{x}(t) \in \mathbb{R}^n은 상태 벡터, \mathbf{u}(t) \in \mathbb{R}^m은 제어 입력 벡터, \mathcal{U} \subseteq \mathbb{R}^m은 허용 제어 집합이다. 종단 시각 t_f는 고정되어 있다고 가정한다.

3. 해밀토니안의 정의

최대 원리의 핵심 구성 요소는 해밀토니안(Hamiltonian) 함수이다. 공상태 벡터(costate vector) \boldsymbol{\lambda}(t) \in \mathbb{R}^n을 도입하여 해밀토니안을 다음과 같이 정의한다.

H(\mathbf{x}, \boldsymbol{\lambda}, \mathbf{u}, t) = L(\mathbf{x}, \mathbf{u}, t) + \boldsymbol{\lambda}^T \mathbf{f}(\mathbf{x}, \mathbf{u}, t)

일부 문헌에서는 부호 관례(sign convention)를 달리하여 H = -L + \boldsymbol{\lambda}^T \mathbf{f}로 정의하기도 한다. 이 경우 최소화 조건이 최대화 조건으로 바뀌며, 본 절에서는 전자의 관례를 따른다. 따라서 최적 제어는 해밀토니안을 최소화하는 조건으로 표현된다.

4. 최대 원리의 진술

\mathbf{u}^*(t)가 최적 제어이고, \mathbf{x}^*(t)가 이에 대응하는 최적 상태 궤적이라 하자. 그러면 연속적이고 구분적으로 미분 가능한 공상태 벡터 \boldsymbol{\lambda}^*(t)가 존재하여 다음의 조건들을 만족한다.

4.1 상태 방정식 (State Equation)

\dot{\mathbf{x}}^*(t) = \frac{\partial H}{\partial \boldsymbol{\lambda}} \bigg\vert_{\mathbf{x}^*, \boldsymbol{\lambda}^*, \mathbf{u}^*} = \mathbf{f}(\mathbf{x}^*(t), \mathbf{u}^*(t), t)

4.2 공상태 방정식 (Costate Equation)

\dot{\boldsymbol{\lambda}}^*(t) = -\frac{\partial H}{\partial \mathbf{x}} \bigg\vert_{\mathbf{x}^*, \boldsymbol{\lambda}^*, \mathbf{u}^*} = -\frac{\partial L}{\partial \mathbf{x}} - \left( \frac{\partial \mathbf{f}}{\partial \mathbf{x}} \right)^T \boldsymbol{\lambda}^*

공상태 방정식은 상태 방정식과 반대 방향의 시간 흐름을 가지며, 종단 시각에서의 경계 조건에 의해 결정된다.

4.3 해밀토니안 최소화 조건 (Hamiltonian Minimization Condition)

H(\mathbf{x}^*(t), \boldsymbol{\lambda}^*(t), \mathbf{u}^*(t), t) \leq H(\mathbf{x}^*(t), \boldsymbol{\lambda}^*(t), \mathbf{u}, t), \quad \forall \mathbf{u} \in \mathcal{U}

즉, 최적 제어 \mathbf{u}^*(t)는 매 시각 t에서 허용 제어 집합 \mathcal{U} 위에서 해밀토니안을 점별(pointwise)로 최소화한다.

\mathbf{u}^*(t) = \arg\min_{\mathbf{u} \in \mathcal{U}} H(\mathbf{x}^*(t), \boldsymbol{\lambda}^*(t), \mathbf{u}, t)

4.4 종단 조건 (Transversality Condition)

종단 상태가 자유인 경우, 공상태 벡터의 종단 조건은 다음과 같다.

\boldsymbol{\lambda}^*(t_f) = \frac{\partial \phi}{\partial \mathbf{x}} \bigg\vert_{\mathbf{x}^*(t_f)}

종단 상태에 등식 제약 \boldsymbol{\psi}(\mathbf{x}(t_f)) = \mathbf{0}이 존재하는 경우, 횡단성 조건은 다음과 같이 수정된다.

\boldsymbol{\lambda}^*(t_f) = \frac{\partial \phi}{\partial \mathbf{x}} \bigg\vert_{\mathbf{x}^*(t_f)} + \left( \frac{\partial \boldsymbol{\psi}}{\partial \mathbf{x}} \bigg\vert_{\mathbf{x}^*(t_f)} \right)^T \boldsymbol{\nu}

여기서 \boldsymbol{\nu} \in \mathbb{R}^p는 종단 제약에 대응하는 라그랑주 승수 벡터이다.

5. 해밀토니안의 시간 거동

자율 시스템(autonomous system), 즉 \mathbf{f}와 L이 시간 t에 명시적으로 의존하지 않는 경우, 최적 궤적을 따라 해밀토니안은 시간에 대해 상수이다.

\frac{dH^*}{dt} = \frac{\partial H}{\partial t} = 0 \quad \Rightarrow \quad H^*(t) = \text{const.}

이 성질은 고전 역학에서 에너지 보존 법칙과 유사한 구조를 가지며, 수치 해의 정확성을 검증하는 데 활용된다.

자유 종단 시간 문제에서는 추가적으로 다음의 조건이 성립한다.

H^*(t_f) = -\frac{\partial \phi}{\partial t_f}

종단 비용이 t_f에 명시적으로 의존하지 않고 시간 최적 문제인 경우, L = 1이므로 H^*(t_f) = 0이 된다.

6. 제어 입력에 제약이 없는 경우

허용 제어 집합 \mathcal{U} = \mathbb{R}^m으로 제약이 없는 경우, 해밀토니안 최소화 조건은 1차 최적성 조건으로 대체된다.

\frac{\partial H}{\partial \mathbf{u}} \bigg\vert_{\mathbf{u}^*} = \mathbf{0}

이 조건은 변분법으로부터 도출되는 오일러-라그랑주 방정식과 동치이다. 2차 충분 조건으로서 다음이 추가적으로 요구된다.

\frac{\partial^2 H}{\partial \mathbf{u}^2} \bigg\vert_{\mathbf{u}^*} \succ 0 \quad (\text{양정치})

이는 해밀토니안이 \mathbf{u}^*에서 극소를 가짐을 보장한다.

7. 제어 입력에 구간 제약이 있는 경우

제어 입력이 u_{\min} \leq u(t) \leq u_{\max}로 제한되는 스칼라 제어 문제에서, 해밀토니안 최소화 조건의 해는 다음과 같은 형태를 갖는다.

u^*(t) = \begin{cases} u_{\min} & \text{if } \frac{\partial H}{\partial u} > 0 \\ u_{\max} & \text{if } \frac{\partial H}{\partial u} < 0 \\ \text{singular arc} & \text{if } \frac{\partial H}{\partial u} = 0 \text{ (유한 구간)} \end{cases}

제어 입력이 허용 범위의 극단값 사이를 전환하는 경우를 뱅뱅 제어(bang-bang control)라 하며, \frac{\partial H}{\partial u} = 0이 유한 시간 구간에서 성립하는 경우를 특이 호(singular arc)라 한다. 시간 최적 제어 문제에서는 뱅뱅 제어가 빈번하게 나타난다.

8. 두 점 경계값 문제

최대 원리로부터 도출되는 상태 방정식과 공상태 방정식을 결합하면, 2n개의 1차 상미분 방정식으로 구성된 두 점 경계값 문제(Two-Point Boundary Value Problem, TPBVP)를 얻는다.

\dot{\mathbf{x}}^* = \frac{\partial H}{\partial \boldsymbol{\lambda}}, \quad \mathbf{x}^*(t_0) = \mathbf{x}_0

\dot{\boldsymbol{\lambda}}^* = -\frac{\partial H}{\partial \mathbf{x}}, \quad \boldsymbol{\lambda}^*(t_f) = \frac{\partial \phi}{\partial \mathbf{x}} \bigg\vert_{\mathbf{x}^*(t_f)}

이 문제에서 상태 변수의 초기 조건과 공상태 변수의 종단 조건이 서로 다른 시각에 주어지므로, 초기값 문제(initial value problem)로 직접 풀 수 없다. 사격법(shooting method), 다중 사격법(multiple shooting method), 배치법(collocation method) 등의 수치적 기법이 이 경계값 문제의 해를 구하는 데 사용된다.

9. 선형 시스템에서의 적용

시스템이 선형이고 성능 지표가 이차인 경우, 즉

\dot{\mathbf{x}} = \mathbf{A}(t)\mathbf{x} + \mathbf{B}(t)\mathbf{u}

J = \frac{1}{2}\mathbf{x}^T(t_f)\mathbf{S}_f\mathbf{x}(t_f) + \frac{1}{2}\int_{t_0}^{t_f} [\mathbf{x}^T\mathbf{Q}\mathbf{x} + \mathbf{u}^T\mathbf{R}\mathbf{u}] \, dt

해밀토니안은 다음과 같다.

H = \frac{1}{2}\mathbf{x}^T\mathbf{Q}\mathbf{x} + \frac{1}{2}\mathbf{u}^T\mathbf{R}\mathbf{u} + \boldsymbol{\lambda}^T[\mathbf{A}\mathbf{x} + \mathbf{B}\mathbf{u}]

제어 입력에 제약이 없는 경우, \frac{\partial H}{\partial \mathbf{u}} = \mathbf{0}으로부터 최적 제어를 다음과 같이 얻는다.

\mathbf{u}^* = -\mathbf{R}^{-1}\mathbf{B}^T\boldsymbol{\lambda}^*

공상태를 \boldsymbol{\lambda}^* = \mathbf{P}(t)\mathbf{x}^*로 가정하면, 행렬 \mathbf{P}(t)가 리카티 미분 방정식(Riccati differential equation)을 만족함을 보일 수 있으며, 이는 선형 이차 조절기(LQR)의 유도로 이어진다.

10. 필요 조건과 충분 조건

폰트랴긴의 최대 원리가 제공하는 조건은 필요 조건이다. 즉, 최적 제어는 반드시 이 조건을 만족해야 하지만, 이 조건을 만족하는 모든 제어가 최적인 것은 아니다. 충분 조건을 보장하기 위해서는 추가적인 조건이 요구된다.

볼록성에 기반한 대표적인 충분 조건은 다음과 같다. 만약 해밀토니안 H(\mathbf{x}, \boldsymbol{\lambda}^*, \mathbf{u}, t)가 (\mathbf{x}, \mathbf{u})에 대해 공동 볼록(jointly convex)이면, 최대 원리의 필요 조건은 충분 조건이기도 하다. 이 조건은 선형 시스템과 이차 비용 함수의 조합에서 자연스럽게 만족된다.

비선형 시스템의 경우, 충분 조건의 검증을 위해 켤레점(conjugate point) 이론, 최적 제어의 야코비 조건(Jacobi condition), 또는 해밀턴-야코비-벨만(Hamilton-Jacobi-Bellman) 방정식과의 연계가 사용된다.

11. 로봇 공학에서의 적용

로봇 시스템에서 폰트랴긴의 최대 원리는 다음과 같은 문제에 적용된다.

시간 최적 궤적 계획: 관절 토크의 물리적 한계 내에서 로봇이 목표 자세에 최단 시간에 도달하는 궤적을 계산한다. 이 경우 해밀토니안의 최소화 조건은 토크가 항상 허용 범위의 경계에 놓이는 뱅뱅 제어를 산출한다.

에너지 최적 제어: 로봇의 총 에너지 소비를 최소화하면서 주어진 작업을 수행하는 제어 입력을 결정한다. 공상태 변수는 에너지 절약의 한계 가치(marginal value)를 나타내며, 각 관절의 토크 배분을 최적화하는 역할을 한다.

공상태 변수의 물리적 해석: 공상태 벡터 \boldsymbol{\lambda}(t)는 각 상태 변수의 한계적 변화가 성능 지표에 미치는 영향, 즉 비용의 민감도(sensitivity)를 나타낸다. 이는 경제학에서의 그림자 가격(shadow price)과 유사한 개념이며, 시스템의 어떤 상태 변수가 성능에 가장 큰 영향을 미치는지 식별하는 데 활용된다.

12. 참고 문헌

• Pontryagin, L. S., Boltyanskii, V. G., Gamkrelidze, R. V., & Mishchenko, E. F. (1962). The Mathematical Theory of Optimal Processes. Wiley-Interscience.
• Kirk, D. E. (2004). Optimal Control Theory: An Introduction. Dover Publications.
• Bryson, A. E., & Ho, Y.-C. (1975). Applied Optimal Control: Optimization, Estimation, and Control. Hemisphere Publishing.
• Lewis, F. L., Vrabie, D., & Syrmos, V. L. (2012). Optimal Control (3rd ed.). Wiley.
• Liberzon, D. (2012). Calculus of Variations and Optimal Control Theory: A Concise Introduction. Princeton University Press.

version: 1.0