7.73 최적 제어 문제의 정식화

1. 최적 제어의 기본 개념

최적 제어(optimal control)는 동적 시스템의 거동을 지배하는 제어 입력을 선택하되, 주어진 성능 지표(performance index)를 최소화 또는 최대화하는 문제를 다루는 분야이다. 일반적인 정적 최적화와 달리, 최적 제어에서는 결정 변수가 시간의 함수, 즉 제어 함수 \mathbf{u}(t)이며, 시스템의 동역학이 등식 제약 조건으로 작용한다. 로봇 공학에서 최적 제어는 궤적 생성, 에너지 효율 극대화, 작업 시간 최소화 등 광범위한 문제에 적용된다.

2. 시스템 동역학과 상태 공간 표현

최적 제어 문제의 기본 구성 요소는 시스템의 상태 방정식(state equation)이다. 연속 시간 시스템의 동역학은 다음과 같은 상태 공간 형식으로 기술된다.

\dot{\mathbf{x}}(t) = \mathbf{f}(\mathbf{x}(t), \mathbf{u}(t), t)

여기서 \mathbf{x}(t) \in \mathbb{R}^n은 상태 벡터, \mathbf{u}(t) \in \mathbb{R}^m은 제어 입력 벡터, \mathbf{f}: \mathbb{R}^n \times \mathbb{R}^m \times \mathbb{R} \rightarrow \mathbb{R}^n은 시스템 동역학을 기술하는 벡터장(vector field)이다.

로봇 매니퓰레이터의 경우, 관절 위치 \mathbf{q}와 관절 속도 \dot{\mathbf{q}}를 상태 벡터로 정의하면 \mathbf{x} = [\mathbf{q}^T, \dot{\mathbf{q}}^T]^T이고, 운동 방정식 \mathbf{M}(\mathbf{q})\ddot{\mathbf{q}} + \mathbf{C}(\mathbf{q}, \dot{\mathbf{q}})\dot{\mathbf{q}} + \mathbf{g}(\mathbf{q}) = \boldsymbol{\tau}로부터 다음의 상태 방정식을 얻는다.

\begin{bmatrix} \dot{\mathbf{q}} \\ \ddot{\mathbf{q}} \end{bmatrix} = \begin{bmatrix} \dot{\mathbf{q}} \\ \mathbf{M}^{-1}(\mathbf{q})[\boldsymbol{\tau} - \mathbf{C}(\mathbf{q}, \dot{\mathbf{q}})\dot{\mathbf{q}} - \mathbf{g}(\mathbf{q})] \end{bmatrix}

3. 성능 지표의 일반 형식

최적 제어 문제의 핵심은 최소화할 성능 지표(cost functional)의 정의이다. 가장 일반적인 형식은 볼차(Bolza) 형식으로, 다음과 같이 구성된다.

J = \phi(\mathbf{x}(t_f), t_f) + \int_{t_0}^{t_f} L(\mathbf{x}(t), \mathbf{u}(t), t) \, dt

여기서 \phi(\mathbf{x}(t_f), t_f)는 종단 비용(terminal cost) 또는 마이어(Mayer) 항으로 최종 시각 t_f에서의 상태에 대한 비용을 나타내고, L(\mathbf{x}(t), \mathbf{u}(t), t)는 적분 비용(running cost) 또는 라그랑주(Lagrange) 항으로 경로 전체에 걸친 누적 비용을 나타낸다.

3.1 마이어 형식(Mayer Form)

적분 비용이 없고 종단 비용만 존재하는 경우이다.

J = \phi(\mathbf{x}(t_f), t_f)

최종 상태의 정확도만이 중요한 문제, 예를 들어 로봇 말단 장치의 최종 위치 오차 최소화 문제가 이에 해당한다.

3.2 라그랑주 형식(Lagrange Form)

종단 비용 없이 적분 비용만 존재하는 경우이다.

J = \int_{t_0}^{t_f} L(\mathbf{x}(t), \mathbf{u}(t), t) \, dt

에너지 소비 최소화, 토크 부하 최소화 등의 문제가 이 형식에 해당한다.

3.3 형식 간의 등가 변환

세 형식은 상태 변수의 확장(state augmentation)을 통해 상호 변환 가능하다. 라그랑주 형식을 마이어 형식으로 변환하려면, 보조 상태 변수 x_{n+1}을 도입하여 다음과 같이 정의한다.

\dot{x}_{n+1}(t) = L(\mathbf{x}(t), \mathbf{u}(t), t), \quad x_{n+1}(t_0) = 0

그러면 적분 비용은 J = x_{n+1}(t_f)로 종단 비용 형식이 된다. 이 등가성은 이론적 분석에서 표현의 통일성을 확보하는 데 유용하다.

4. 경계 조건과 제약 조건

4.1 초기 조건과 종단 조건

최적 제어 문제는 반드시 초기 조건을 포함하며, 종단 조건의 형태에 따라 여러 유형으로 분류된다.

고정 초기 조건과 고정 종단 조건(fixed-fixed):

\mathbf{x}(t_0) = \mathbf{x}_0, \quad \mathbf{x}(t_f) = \mathbf{x}_f

로봇이 특정 초기 자세에서 목표 자세로 정확히 이동해야 하는 점대점(point-to-point) 이동 문제가 이에 해당한다.

고정 초기 조건과 자유 종단 조건(fixed-free):

\mathbf{x}(t_0) = \mathbf{x}_0, \quad \mathbf{x}(t_f) \text{ 자유}

종단 상태에 대한 제약이 없으며, 종단 비용 \phi를 통해 최종 상태를 간접적으로 유도한다.

고정 초기 조건과 종단 매니폴드 제약:

\mathbf{x}(t_0) = \mathbf{x}_0, \quad \boldsymbol{\psi}(\mathbf{x}(t_f), t_f) = \mathbf{0}

여기서 \boldsymbol{\psi}: \mathbb{R}^n \times \mathbb{R} \rightarrow \mathbb{R}^p (p < n)는 종단 상태가 만족해야 하는 등식 제약이다. 로봇의 최종 위치만 지정하고 최종 속도는 자유로운 경우가 이에 해당한다.

4.2 경로 제약 조건

실제 로봇 시스템에서는 물리적 한계에 의한 경로 제약(path constraint)이 존재한다.

제어 입력 제약:

\mathbf{u}(t) \in \mathcal{U} \subseteq \mathbb{R}^m, \quad \forall t \in [t_0, t_f]

허용 제어 집합 \mathcal{U}는 통상 다음과 같은 구간 제약으로 표현된다.

\mathbf{u}_{\min} \leq \mathbf{u}(t) \leq \mathbf{u}_{\max}

이는 액추에이터의 최대 토크 또는 최대 전압 한계를 반영한다.

상태 제약:

\mathbf{h}(\mathbf{x}(t), t) \leq \mathbf{0}, \quad \forall t \in [t_0, t_f]

관절 각도 한계, 관절 속도 한계, 장애물 회피 조건 등이 이에 해당한다.

혼합 제약:

\mathbf{c}(\mathbf{x}(t), \mathbf{u}(t), t) \leq \mathbf{0}

상태와 제어 입력이 동시에 관여하는 제약으로, 마찰 원추(friction cone) 제약이나 동력학적 실현 가능성 조건이 이에 해당한다.

5. 고정 시간과 자유 시간 문제

최종 시각 t_f가 미리 지정되어 있는지에 따라 문제의 구조가 달라진다.

고정 종단 시간 문제: t_f가 주어진 상수인 경우이다. 주어진 시간 내에 최적의 궤적을 찾는 문제로, 해의 존재 조건이 비교적 단순하다.

자유 종단 시간 문제: t_f 자체가 최적화 변수인 경우이다. 시간 최적(time-optimal) 제어 문제가 대표적이며, 이 경우 t_f에 대한 추가적인 최적성 조건(횡단성 조건)이 필요하다. 최소 시간 문제에서 성능 지표는 다음과 같다.

J = t_f - t_0

로봇의 사이클 시간 최소화, 긴급 장애물 회피 기동 등에서 자유 시간 문제가 나타난다.

6. 최적 제어 문제의 표준 정식화

이상의 구성 요소를 종합하면, 일반적인 최적 제어 문제는 다음과 같이 정식화된다.

\min_{\mathbf{u}(\cdot), t_f} \quad J = \phi(\mathbf{x}(t_f), t_f) + \int_{t_0}^{t_f} L(\mathbf{x}(t), \mathbf{u}(t), t) \, dt

제약 조건:

\dot{\mathbf{x}}(t) = \mathbf{f}(\mathbf{x}(t), \mathbf{u}(t), t), \quad \forall t \in [t_0, t_f]

\mathbf{x}(t_0) = \mathbf{x}_0

\boldsymbol{\psi}(\mathbf{x}(t_f), t_f) = \mathbf{0}

\mathbf{h}(\mathbf{x}(t), t) \leq \mathbf{0}, \quad \forall t \in [t_0, t_f]

\mathbf{u}(t) \in \mathcal{U}, \quad \forall t \in [t_0, t_f]

이 문제는 무한 차원 함수 공간에서의 최적화 문제로, 유한 차원 비선형 계획법(nonlinear programming)과 본질적으로 다른 구조를 갖는다.

7. 허용 제어와 최적 제어의 존재성

제어 함수 \mathbf{u}(\cdot)가 모든 제약 조건을 만족하면 허용 제어(admissible control)라 한다. 허용 제어의 집합이 비어 있지 않고, 성능 지표가 하한(infimum)을 갖는 경우에 최적 제어의 존재가 보장된다.

최적 해의 존재를 엄밀히 보장하기 위해서는 다음의 조건이 요구된다(Filippov 존재 정리).

1. 허용 제어 집합 \mathcal{U}가 콤팩트(compact)하다.
2. 동역학 함수 \mathbf{f}가 \mathbf{x}에 대해 연속이고 \mathbf{u}에 대해 연속이다.
3. 속도 집합 \{\mathbf{f}(\mathbf{x}, \mathbf{u}, t) : \mathbf{u} \in \mathcal{U}\}가 각 (\mathbf{x}, t)에 대해 볼록(convex)이다.

이러한 조건이 만족되지 않을 경우, 최적 해가 고전적 의미에서 존재하지 않을 수 있으며, 이완 제어(relaxed control)의 개념이 필요하게 된다.

8. 로봇 공학에서의 전형적 성능 지표

8.1 최소 에너지 제어

로봇 관절 토크의 제곱 적분을 최소화하는 문제이다.

J = \int_{t_0}^{t_f} \boldsymbol{\tau}^T \mathbf{R} \boldsymbol{\tau} \, dt

여기서 \mathbf{R}은 양정치 가중 행렬이다. 이 지표는 에너지 효율성과 액추에이터 부하 저감을 동시에 추구한다.

8.2 최소 시간 제어

로봇이 초기 자세에서 목표 자세까지 도달하는 시간을 최소화하는 문제이다.

J = t_f

이 문제에서는 제어 입력이 대부분의 시간 구간에서 허용 범위의 경계(bang-bang 제어)에 놓이는 특성이 있다.

8.3 최소 저크 궤적

관절 가가속도(jerk)의 적분을 최소화하여 매끄러운 궤적을 생성하는 문제이다.

J = \int_{t_0}^{t_f} \dddot{\mathbf{q}}^T \dddot{\mathbf{q}} \, dt

이 지표는 로봇 구조물에 가해지는 충격을 저감하고, 작업 정밀도를 향상시키는 데 유효하다.

8.4 복합 성능 지표

실제 응용에서는 다수의 목표를 가중 합으로 결합한 복합 지표를 사용한다.

J = w_1 \int_{t_0}^{t_f} \boldsymbol{\tau}^T \boldsymbol{\tau} \, dt + w_2 \int_{t_0}^{t_f} \lVert \mathbf{x}(t) - \mathbf{x}_d(t) \rVert^2 dt + w_3 \phi(\mathbf{x}(t_f))

여기서 w_1, w_2, w_3 > 0은 각 목표의 상대적 중요도를 반영하는 가중치이고, \mathbf{x}_d(t)는 원하는 기준 궤적이다.

9. 해법의 분류

최적 제어 문제의 풀이 방법은 크게 두 범주로 나뉜다.

간접법(indirect method): 변분법에 기반하여 최적성의 필요 조건을 유도하고, 이를 만족하는 해를 구하는 방법이다. 폰트랴긴의 최대 원리(Pontryagin’s maximum principle)가 대표적이며, 공상태(costate) 변수를 도입하여 두 점 경계값 문제(two-point boundary value problem)를 풀게 된다.

직접법(direct method): 연속 시간 최적 제어 문제를 유한 차원 비선형 계획 문제로 이산화(discretization)하여 수치적으로 해를 구하는 방법이다. 직접 전사법(direct transcription), 직접 배치법(direct collocation), 직접 사격법(direct shooting) 등이 이에 해당한다.

간접법은 이론적으로 정밀한 해를 제공하지만 초기 추정치에 민감하고 구현이 복잡하며, 직접법은 구현이 용이하고 제약 조건 처리가 유연하여 로봇 공학 응용에서 널리 채택되고 있다.

10. 참고 문헌

• Kirk, D. E. (2004). Optimal Control Theory: An Introduction. Dover Publications.
• Bryson, A. E., & Ho, Y.-C. (1975). Applied Optimal Control: Optimization, Estimation, and Control. Hemisphere Publishing.
• Betts, J. T. (2010). Practical Methods for Optimal Control and Estimation Using Nonlinear Programming (2nd ed.). SIAM.
• Lewis, F. L., Vrabie, D., & Syrmos, V. L. (2012). Optimal Control (3rd ed.). Wiley.
• Siciliano, B., Sciavicco, L., Villani, L., & Oriolo, G. (2009). Robotics: Modelling, Planning and Control. Springer.

version: 1.0