396.61 인간-로봇 인터페이스(HRI)와 임무 관리의 통합

1. 개요

인간-로봇 인터페이스(Human-Robot Interaction, HRI)는 인간 운영자와 로봇 시스템 사이의 정보 교환, 명령 전달, 상태 인식을 매개하는 기술적 체계이다. 임무 관리 시스템과 HRI의 효과적 통합은 운영자가 임무 상태를 정확히 파악하고, 필요 시 적시에 개입하며, 임무 목표를 효율적으로 전달할 수 있게 하는 핵심 요소이다. 본 절에서는 HRI의 이론적 기초, 임무 관리 연동 아키텍처, 인터페이스 모달리티(modality), 설계 원칙, 그리고 평가 체계를 분석한다.

2. HRI의 이론적 기초

2.1 HRI의 분류 체계

Yanco와 Drury(2004)는 HRI를 체계적으로 분류하기 위한 다차원적 분류 체계를 제안하였다. 주요 분류 차원은 다음과 같다:

**상호작용 양식(Interaction Mode)**에 따라 직접 상호작용(direct interaction)과 원격 상호작용(remote interaction)으로 구분된다. 직접 상호작용은 인간과 로봇이 동일 물리적 공간에서 상호작용하는 경우이며, 원격 상호작용은 통신 채널을 매개로 하는 경우이다.

**인간-로봇 비율(Human-Robot Ratio)**에 따라 1:1(단일 운영자-단일 로봇), 1:N(단일 운영자-다중 로봇), M:1(다중 운영자-단일 로봇), M:N(다중 운영자-다중 로봇)으로 분류된다.

**시간적 특성(Temporal Characteristics)**에 따라 동기적 상호작용(synchronous interaction)과 비동기적 상호작용(asynchronous interaction)으로 구분된다. 동기적 상호작용은 실시간 제어에, 비동기적 상호작용은 임무 계획 수립 및 사후 분석에 적합하다.

2.2 상황 인식 모델

Endsley(1995)의 3수준 상황 인식(Situation Awareness, SA) 모델은 HRI 설계의 이론적 기반을 제공한다.

수준 1 – 인지(Perception): 환경의 핵심 요소와 시스템 상태의 감지. 임무 관리 맥락에서는 로봇의 현재 위치, 속도, 에너지 잔량, 센서 상태 등의 인지에 해당한다.

수준 2 – 이해(Comprehension): 인지된 정보의 의미 파악과 종합. 현재 임무 진행률, 잔여 임무의 실행 가능성, 위험 요소의 평가 등이 이에 해당한다.

수준 3 – 예측(Projection): 미래 상태의 예측. 임무 완료 예상 시간, 에너지 소진 시점, 환경 변화 예측 등이 포함된다.

임무 관리와 통합된 HRI는 이 세 수준 모두를 효과적으로 지원해야 하며, 각 수준에 해당하는 정보를 적절한 형태로 운영자에게 제공해야 한다.

3. 임무 관리 연동 아키텍처

3.1 기능적 통합 모델

HRI와 임무 관리 시스템의 통합은 다음의 기능적 인터페이스를 통해 구현된다:

임무 명세 인터페이스(Mission Specification Interface): 운영자가 임무 목표, 제약 조건, 우선순위를 임무 관리 시스템에 전달하는 채널이다. 이 인터페이스는 직관적인 목표 설정(예: 지도 상의 영역 지정, 행동 시퀀스의 시각적 조합)을 지원해야 한다.

임무 상태 표시 인터페이스(Mission Status Display Interface): 임무 관리 시스템이 현재 임무 상태, 진행률, 예상 결과를 운영자에게 전달하는 채널이다. 정보 과부하를 방지하기 위해 계층적 정보 표시(hierarchical information display)를 적용한다.

제어 인터페이스(Control Interface): 운영자가 임무 실행에 직접 개입하기 위한 채널이다. 임무 중지, 임무 재개, 파라미터 수정, 비상 명령 등의 기능을 제공한다.

알림 인터페이스(Notification Interface): 임무 관리 시스템이 운영자의 주의를 요구하는 이벤트를 전달하는 채널이다. 경보 심각도에 따른 단계적 알림 전략을 적용한다.

3.2 계층적 정보 표시 모델

임무 관리 시스템은 다량의 정보를 생성하므로, 이를 운영자에게 효과적으로 전달하기 위해 계층적 정보 표시 모델을 적용한다. 이 모델은 정보를 추상화 수준에 따라 계층화하고, 운영자가 필요에 따라 세부 수준으로 탐색(drill-down)할 수 있도록 한다.

\mathcal{I} = \{\mathcal{I}_0, \mathcal{I}_1, \mathcal{I}_2, \ldots, \mathcal{I}_L\}

여기서:

• \mathcal{I}_0: 최상위 요약 (임무 전체 상태: 정상/주의/비상)
• \mathcal{I}_1: 임무 수준 상세 (각 과업의 진행률, 시간 추정)
• \mathcal{I}_2: 행동 수준 상세 (현재 행동의 실행 상태, 센서 데이터)
• \mathcal{I}_L: 최하위 원시 데이터 (로그, 원시 센서 값)

운영자의 인지 부하를 관리하기 위해, 기본적으로는 \mathcal{I}_0과 \mathcal{I}_1 수준의 정보만 표시하고, 이상 상황 발생 시 자동으로 해당 영역의 \mathcal{I}_2 정보를 팝업하는 적응적 정보 표시(adaptive information display) 전략을 적용한다.

4. 인터페이스 모달리티

4.1 시각적 인터페이스(Visual Interface)

시각적 인터페이스는 HRI에서 가장 풍부한 정보 대역폭을 제공하는 모달리티이다.

지도 기반 표시(Map-Based Display): 로봇의 위치, 경로, 임무 영역, 장애물, 지오펜스 등을 지리적 지도 위에 시각화한다. 2D 평면 지도와 3D 지형 표현이 동시에 지원되며, 임무 계획의 시각적 편집 기능을 제공한다.

대시보드(Dashboard): 핵심 성능 지표(KPI)를 계기판(gauge), 막대 그래프(bar chart), 시계열 차트(time-series chart) 등으로 실시간 표시한다. 배터리 잔량, 통신 품질, 임무 진행률, 처리 속도 등이 주요 표시 항목이다.

카메라 피드(Camera Feed): 로봇 탑재 카메라의 실시간 영상을 제공한다. 영상 위에 관심 영역(ROI), 객체 탐지 결과, 경로 오버레이 등의 증강 정보를 합성하는 증강 현실(AR; Augmented Reality) 기법이 적용된다.

4.2 청각적 인터페이스(Auditory Interface)

청각적 인터페이스는 시각적 주의가 다른 곳에 집중되어 있거나, 즉각적 주의 환기(attention capture)가 필요한 경우에 효과적이다. 임무 관리 시스템에서의 주요 적용은 다음과 같다:

• 경보음(Alarm Sound): 비상 상황의 심각도에 따른 차별화된 경보음 패턴
• 음성 합성(Text-to-Speech, TTS): 임무 상태 변화, 결정 요청, 시스템 메시지의 음성 전달
• 이어콘(Earcon): 특정 이벤트에 매핑된 짧은 음향 패턴

경보음 설계는 ISO 7731(Danger Signals for Work Places – Auditory Danger Signals) 표준을 준수하며, 잦은 경보로 인한 경보 피로(alarm fatigue)를 방지하기 위한 경보 억제(alarm suppression) 정책을 적용한다.

4.3 햅틱 인터페이스(Haptic Interface)

햅틱(촉각) 인터페이스는 조이스틱, 조종 장치, 웨어러블 진동기 등을 통해 촉각적 피드백을 제공한다. 임무 관리 맥락에서의 적용은 다음과 같다:

• 힘 피드백(Force Feedback): 원격 조종 시 로봇의 환경 접촉력을 운영자에게 전달
• 진동 알림(Vibrotactile Notification): 임무 상태 변화를 진동 패턴으로 전달
• 저항 피드백(Resistance Feedback): 제약 조건 위반 접근 시 조이스틱에 저항력을 인가하여 직관적 경고 제공

4.4 자연어 인터페이스(Natural Language Interface)

자연어 인터페이스는 운영자가 음성 또는 텍스트로 임무 명령을 전달할 수 있게 한다. 대규모 언어 모델(LLM)의 발전으로 자연어 기반 임무 명세의 실용성이 크게 향상되었다. 자연어 명령은 임무 관리 시스템이 이해 가능한 형식적 임무 명세로 변환되어야 하며, 이 과정에서 의미적 모호성(semantic ambiguity)의 해소가 핵심 과제이다.

자연어-형식 임무 변환 파이프라인은 다음과 같다:

\text{NL Input} \xrightarrow{\text{NLU}} \text{Intent + Entities} \xrightarrow{\text{Grounding}} \text{Formal Spec} \xrightarrow{\text{Validation}} \text{Mission Plan}

여기서 NLU(Natural Language Understanding)는 의도(intent)와 개체(entity)를 추출하는 자연어 이해 단계이다.

5. HRI 설계 원칙

5.1 Nielsen의 사용성 원칙의 적용

Jakob Nielsen(1994)이 제시한 10가지 사용성 원칙은 임무 관리 HRI 설계에 다음과 같이 적용된다:

시스템 상태의 가시성(Visibility of System Status): 임무 관리 시스템은 현재 임무 상태, 진행률, 자원 소비 상태를 항상 가시적으로 제공해야 한다.

실세계와의 일치(Match Between System and the Real World): 임무 개념을 운영자의 도메인 지식과 일치하는 용어와 시각적 은유(visual metaphor)로 표현해야 한다.

오류 방지(Error Prevention): 잘못된 임무 명령이나 위험한 파라미터 설정을 사전에 검증하고 경고해야 한다. 확인 대화 상자(confirmation dialog), 입력 값 범위 제한, 실행 전 시뮬레이션 미리보기 등을 제공한다.

사용자 제어와 자유(User Control and Freedom): 운영자가 언제든지 임무를 중단, 수정, 취소할 수 있는 명확한 제어 수단을 제공해야 한다. 되돌리기(undo) 기능의 구현이 권장된다.

5.2 인지 공학적 설계 원칙

Rasmussen(1983)의 인지 행동 분류(Skill-Rule-Knowledge framework)에 기반하여, 임무 관리 HRI는 각 인지 수준에 맞는 인터페이스를 제공해야 한다:

기능 기반 행동(Skill-Based Behavior) 수준에서는 운영자의 숙련된 감각운동 반응을 지원하는 직관적 입력 장치와 즉각적 시각 피드백을 제공한다.

규칙 기반 행동(Rule-Based Behavior) 수준에서는 사전 학습된 조건-행동 규칙을 지원하는 체크리스트, 절차 가이드, 상황별 추천 행동 표시를 제공한다.

지식 기반 행동(Knowledge-Based Behavior) 수준에서는 복잡한 문제 해결을 지원하는 상세 데이터 접근, 시뮬레이션 도구, 의사결정 지원 시스템을 제공한다.

6. 다중 로봇 임무 관리 HRI

6.1 팀 수준 인터페이스

단일 운영자가 다중 로봇을 관리해야 하는 상황에서는 팀 수준(team-level)의 추상화된 인터페이스가 필수적이다. 개별 로봇의 세부 상태를 모두 제시하는 대신, 팀 전체의 건강 상태(fleet health), 임무 완료율, 주의 필요 항목 등을 집계하여 표시한다.

집계 지표(aggregate metric)의 예:

H_{\text{fleet}} = \frac{1}{N} \sum_{i=1}^{N} h_i

여기서 H_{\text{fleet}}는 전체 함대 건강 지수, h_i는 개별 로봇 i의 건강 지수, N은 로봇 수이다.

6.2 주의 분배 지원

다중 로봇 관리에서 운영자의 주의(attention)는 제한된 인지 자원이다. 단일 운영자가 관리 가능한 로봇 수(Fan-Out)를 초과하면 임무 성능이 급격히 저하된다. 이를 지원하기 위해 자동 주의 유도(automatic attention guidance) 시스템이 통합된다:

• 긴급도 기반 정렬(Urgency-Based Sorting): 주의가 가장 필요한 로봇을 자동으로 최상위에 배치
• 시각적 강조(Visual Highlighting): 이상 상태의 로봇을 색상, 크기, 깜박임으로 강조
• 자동 초점(Auto-Focus): 비상 이벤트 발생 로봇의 상세 정보를 자동으로 팝업

7. HRI-임무 관리 통합의 평가 체계

7.1 평가 지표

HRI와 임무 관리 통합의 효과성은 다음의 지표로 평가한다:

7.2 사용자 중심 평가 프로토콜

HRI 평가는 실제 운영 시나리오에 기반한 사용자 중심 평가(user-centered evaluation)를 통해 수행한다. 평가 프로토콜의 주요 단계는 다음과 같다:

1. 시나리오 설계: 대표적 임무 시나리오(정상 운용, 비상 상황, 다중 로봇 관리 등)를 설계
2. 참가자 모집: 다양한 숙련도의 운영자를 피험자로 모집
3. 수행 측정: 객관적 성능 지표(완료 시간, 오류 수)와 주관적 자기 보고(작업 부하, 만족도)를 동시 수집
4. 생리적 측정: 시선 추적(eye tracking), 심박 변이(HRV) 등의 생리적 데이터 수집
5. 통계적 분석: 수집된 데이터에 대한 분산 분석(ANOVA), 회귀 분석 등을 수행

8. 참고 문헌

• H. A. Yanco and J. L. Drury, “Classifying Human-Robot Interaction: An Updated Taxonomy,” Proceedings of the IEEE International Conference on Systems, Man, and Cybernetics, pp. 2841–2846, 2004.
• M. R. Endsley, “Toward a Theory of Situation Awareness in Dynamic Systems,” Human Factors, vol. 37, no. 1, pp. 32–64, 1995.
• J. Nielsen, “Usability Engineering,” Morgan Kaufmann, 1994.
• J. Rasmussen, “Skills, Rules, and Knowledge; Signals, Signs, and Symbols, and Other Distinctions in Human Performance Models,” IEEE Transactions on Systems, Man, and Cybernetics, vol. SMC-13, no. 3, pp. 257–266, 1983.
• M. A. Goodrich and A. C. Schultz, “Human-Robot Interaction: A Survey,” Foundations and Trends in Human-Computer Interaction, vol. 1, no. 3, pp. 203–275, 2007.
• S. G. Hart and L. E. Staveland, “Development of NASA-TLX (Task Load Index): Results of Empirical and Theoretical Research,” Advances in Psychology, vol. 52, pp. 139–183, 1988.
• J. Brooke, “SUS – A Quick and Dirty Usability Scale,” Usability Evaluation in Industry, CRC Press, pp. 189–194, 1996.

version: 1.0