397.80 운영자 개입 시점과 자율 계획의 경계

397.80 운영자 개입 시점과 자율 계획의 경계

1. 서론

자율 로봇 시스템의 임무 계획에서 운영자 개입 시점(Operator Intervention Point)과 자율 계획의 경계(Boundary of Autonomous Planning)를 적절히 설정하는 것은 시스템의 안전성, 효율성, 그리고 임무 성공률을 결정짓는 핵심 설계 문제이다. 과도한 자율화는 예측 불가능한 상황에서의 오류 누적과 안전 위험을 초래하며, 과도한 인간 개입은 시스템의 반응 속도와 운용 효율을 저하시킨다. 본 절에서는 운영자 개입이 필요한 시점을 체계적으로 식별하는 방법론, 자율 계획의 유효 범위를 결정하는 기준, 그리고 개입 시점의 동적 조절 메커니즘을 상세히 기술한다.

2. 운영자 개입 시점의 분류

2.1 계획 전 개입 (Pre-Planning Intervention)

계획 전 개입은 자율 계획 수립이 시작되기 전에 운영자가 임무의 고수준 매개변수를 설정하는 단계이다. 이 단계에서 운영자는 다음의 요소를 결정한다.

  • 임무 목표 설정(Mission Objective Setting): 달성해야 할 최종 목표와 하위 목표의 우선순위를 지정한다.
  • 운용 제약 정의(Operational Constraint Definition): 금지 영역, 시간 윈도우, 자원 한도 등의 제약 조건을 명시한다.
  • 자율성 수준 설정(Autonomy Level Setting): 자율 시스템에 부여할 의사 결정 권한의 범위를 결정한다.
  • 비상 대응 정책(Contingency Policy): 예외 상황 발생 시의 대응 절차를 사전에 정의한다.

계획 전 개입은 시간 압박이 상대적으로 낮고, 운영자가 숙고된 결정을 내릴 수 있는 단계이므로, 임무의 전략적 방향을 설정하는 데 적합하다.

2.2 계획 중 개입 (In-Planning Intervention)

계획 수립 과정에서의 운영자 개입은 자율 시스템이 생성한 중간 결과를 검토하고 수정하는 것이다. 개입이 요구되는 대표적 상황은 다음과 같다.

2.2.1 모호성 해소 (Disambiguation)

임무 명세에 모호한 요소가 존재하거나, 환경 정보가 불완전하여 자율 시스템이 다수의 동등한 해석을 도출할 때 운영자의 명확화가 필요하다.

|\mathcal{I}_{\text{valid}}(\mathcal{L})| > 1 \Rightarrow \text{운영자 질의 생성}

여기서 \mathcal{I}_{\text{valid}}(\mathcal{L})은 임무 지시 \mathcal{L}의 유효 해석 집합이다.

2.2.2 위험 결정 (Risk Decision)

임무 계획이 사전 정의된 위험 임계치(Risk Threshold)를 초과하는 행동을 포함할 때, 운영자의 명시적 승인이 요구된다.

R(\pi) > R_{\text{threshold}} \Rightarrow \text{운영자 승인 요청}

여기서 R(\pi)는 계획 \pi의 위험 수준 평가 함수이다.

2.2.3 다중 대안 선택 (Multiple Alternative Selection)

자율 시스템이 유사한 품질의 복수 계획 대안을 도출할 때, 수치적으로 구별하기 어려운 질적 차이에 대한 운영자의 판단이 필요하다.

2.3 실행 중 개입 (In-Execution Intervention)

계획의 실행 단계에서의 운영자 개입은 실시간성(Real-Time)이 요구되므로, 개입의 시기와 범위를 정밀하게 제어해야 한다.

2.3.1 비상 정지 (Emergency Stop)

로봇이나 주변 인원의 안전이 위협받을 때 즉각적인 실행 중단을 명령한다. 비상 정지는 최소 지연(Minimum Latency)으로 실행되어야 하며, 모든 자율 동작에 우선한다.

2.3.2 동적 재지시 (Dynamic Redirection)

환경 변화, 새로운 정보, 또는 우선순위 변경에 따라 현재 실행 중인 계획을 수정하거나 대체 계획을 지시한다. 이 경우 기존 실행 중인 행동의 안전한 종료(Graceful Termination)가 보장되어야 한다.

2.3.3 확인 지점 (Checkpoint Confirmation)

사전 정의된 확인 지점(Checkpoint)에서 운영자의 승인을 기다린 후 다음 단계를 진행한다. 이 방식은 위험도가 높은 임무에서 단계별 안전 확인을 보장한다.

3. 자율 계획의 경계 결정 기준

3.1 역량 기반 경계 (Competence-Based Boundary)

자율 계획의 경계는 시스템이 높은 신뢰도로 수행할 수 있는 역량(Competence)의 범위에 의해 결정된다. 역량 경계(Competence Boundary)는 다음과 같이 형식화된다.

\mathcal{B}_{\text{comp}} = \{(s, a) : P_{\text{success}}(a \mid s) \geq \tau_{\text{comp}}\}

여기서 P_{\text{success}}(a \mid s)는 상태 s에서 행동 a의 예측 성공 확률, \tau_{\text{comp}}는 역량 임계치이다. 역량 경계 밖의 상태-행동 쌍에 대해서는 운영자 개입이 요청된다.

3.2 불확실성 기반 경계 (Uncertainty-Based Boundary)

자율 시스템의 상태 추정(State Estimation) 또는 결과 예측(Outcome Prediction)의 불확실성이 임계치를 초과할 때 자율 계획의 경계에 도달한 것으로 판단한다.

H(X \mid \text{observations}) > H_{\text{threshold}} \Rightarrow \text{인간 개입 요청}

여기서 H(\cdot)는 엔트로피(Entropy)로 측정된 불확실성이다. 불확실성의 원천은 환경 모델의 불확실성(Epistemic Uncertainty)과 환경의 고유 확률성(Aleatoric Uncertainty)으로 구분되며, 주로 인식론적 불확실성이 높을 때 인간 개입이 효과적이다.

3.3 윤리적 경계 (Ethical Boundary)

윤리적 판단이 요구되는 결정은 자율 계획의 경계를 넘는 것으로 간주된다. 예를 들어, 다음의 상황에서는 인간의 윤리적 판단이 필수적이다.

  • 인명과 재산의 상충 관계에서의 우선순위 결정
  • 법적 책임이 수반되는 결정
  • 사회적 규범에 대한 고려가 필요한 상황
  • 비가역적(Irreversible) 결과를 초래하는 행동

3.4 규제 기반 경계 (Regulation-Based Boundary)

법률, 규제, 또는 기관의 정책에 의해 인간 감독이 의무화된 영역은 자율 계획의 경계를 형성한다. 이러한 규제 기반 경계는 도메인에 따라 상이하며, 항공(FAA), 의료(FDA), 군사(DoD) 등의 규제 기관에 의해 명시적으로 규정된다.

4. 개입 시점의 동적 조절 메커니즘

4.1 불확실성 기반 도움 요청 (Uncertainty-Aware Help Seeking)

자율 시스템이 자신의 불확실성을 실시간으로 평가하고, 불확실성이 임계치를 초과할 때 자동으로 운영자에게 도움을 요청하는 메커니즘이다. Ren et al. (2023)은 LLM 기반 계획기에서 토큰 확률과 자기 일관성(Self-Consistency)을 활용하여 불확실성을 추정하고, 임계치 초과 시 인간에게 질의하는 프레임워크를 제안하였다.

도움 요청의 빈도와 시점은 다음의 최적화 문제로 형식화된다.

\min_{t_1, t_2, \ldots} \sum_{i} \left[ \alpha \cdot C_{\text{delay}}(t_i) + \beta \cdot C_{\text{error}}(t_i) \right]

여기서 C_{\text{delay}}(t_i)는 도움 요청으로 인한 지연 비용, C_{\text{error}}(t_i)는 자율 결정의 예상 오류 비용이다. \alpha와 \beta는 시간 압박과 안전 요구 사항에 따라 조절되는 가중치이다.

4.2 점진적 자율화 (Graduated Autonomy)

점진적 자율화는 시스템의 성능 이력(Performance History)에 기반하여 자율성 수준을 점진적으로 확장하는 전략이다. 시스템이 특정 유형의 결정에서 일관되게 높은 성능을 보여주면, 해당 유형에 대한 자율 권한을 확대한다.

L_{\text{auto}}^{k+1}(d) = \begin{cases} L_{\text{auto}}^k(d) + \Delta L, & \text{if } \text{success\_rate}^k(d) \geq \tau_{\text{promote}} \\ L_{\text{auto}}^k(d) - \Delta L, & \text{if } \text{success\_rate}^k(d) < \tau_{\text{demote}} \\ L_{\text{auto}}^k(d), & \text{otherwise} \end{cases}

여기서 L_{\text{auto}}^k(d)는 k번째 에피소드에서 결정 유형 d의 자율성 수준, \tau_{\text{promote}}와 \tau_{\text{demote}}는 승격 및 강등 임계치이다.

4.3 문맥 기반 개입 스케줄링 (Context-Aware Intervention Scheduling)

운영자의 개입 시점을 운영자의 현재 가용성(Availability)과 인지 부하(Cognitive Load)를 고려하여 스케줄링한다. 긴급하지 않은 개입 요청은 운영자의 부하가 낮은 시점으로 지연(Deferral)될 수 있다.

t_{\text{intervention}}^* = \arg\min_{t \geq t_{\text{request}}} \left[ C_{\text{delay}}(t - t_{\text{request}}) + C_{\text{load}}(\text{WL}(t)) \right]

여기서 \text{WL}(t)는 시각 t에서의 운영자 작업 부하(Workload), C_{\text{load}}는 부하에 따른 개입 비용 함수이다.

5. 인간-자율성 전환의 안전성 보장

5.1 안전한 전환 프로토콜 (Safe Handover Protocol)

자율 모드에서 인간 제어 모드로의 전환, 또는 그 반대 전환은 안전한 전환 프로토콜(Safe Handover Protocol)을 따라야 한다. 전환 프로토콜의 핵심 요소는 다음과 같다.

  1. 제어권 전환 통보(Handover Notification): 전환 의도를 충분한 시간 여유를 두고 통보한다.
  2. 상태 동기화(State Synchronization): 전환 시점에서 인간과 시스템 간의 상태 인식을 동기화한다.
  3. 능력 확인(Capability Confirmation): 수신 측(인간 또는 시스템)이 제어를 수행할 준비가 되었음을 확인한다.
  4. 안전 상태 확보(Safe State Guarantee): 전환 중 시스템이 안전 상태(Safe State)를 유지하도록 보장한다.

5.2 대체 계획 (Fallback Plan)

운영자 개입이 요청되었으나 운영자의 응답이 지연되는 경우를 대비하여, 자율 시스템은 사전에 대체 계획(Fallback Plan)을 준비해야 한다. 대체 계획은 일반적으로 보수적(Conservative)이며, 안전한 대기 상태(Safe Hold State)로의 전환을 포함한다.

\pi_{\text{fallback}} = \begin{cases} \pi_{\text{safe\_hold}}, & \text{if } T_{\text{no\_response}} > T_{\text{timeout}} \\ \text{continue}(\pi_{\text{current}}), & \text{otherwise} \end{cases}

6. 요약

운영자 개입 시점과 자율 계획의 경계는 시스템의 역량, 불확실성, 윤리적 요구, 그리고 규제 제약에 의해 결정된다. 효과적인 경계 설정을 위해서는 자율 시스템의 역량과 한계를 정확히 평가하고, 불확실성을 실시간으로 추정하며, 운영자의 인지 상태와 가용성을 고려한 동적 개입 스케줄링이 필요하다. 점진적 자율화, 불확실성 기반 도움 요청, 문맥 기반 개입 스케줄링 등의 메커니즘은 자율성과 인간 통제의 균형을 동적으로 유지하는 데 기여한다. 안전한 전환 프로토콜과 대체 계획의 확보는 전환 과정에서의 안전성을 보장하는 데 필수적이다.

참고 문헌

  • Ren, A. Z., Dixit, A., Bodrova, A., Singh, S., Tu, S., Brown, N., et al. (2023). “Robots That Ask For Help: Uncertainty Alignment for Large Language Model Planners.” Proceedings of the Conference on Robot Learning (CoRL).

version: 1.0