년 9월 AI 및 로봇 연구 동향

1. 서론: 2017년 9월, AI 및 로봇 기술의 변곡점

2017년은 인공지능(AI) 기술에 대한 기대와 투자가 역사적 최고조에 달했던 시기였다. 기술 분야의 거대 기업들은 AI 기술 개발 및 확보에 막대한 자본을 투자하고 있었으며, 이는 당시 기술주 중심의 나스닥 종합 주가 지수가 2012년 대비 두 배 이상 상승한 것에서도 간접적으로 확인된다.1 이러한 거시적 배경 속에서, 학계와 산업계 연구 현장에서는 AI의 근본적인 능력을 확장하고, 이를 통해 현실 세계의 복잡한 문제들을 해결하기 위한 치열한 연구가 전개되고 있었다.

본 보고서는 2017년 9월이라는 특정 시점을 현미경 삼아, 당시 AI 및 로봇공학 분야에서 나타난 세 가지 핵심적인 기술적 흐름을 심층적으로 분석하고자 한다. 이 흐름들은 개별적으로 존재하기보다 서로 영향을 주고받으며 기술 생태계의 다층적 발전을 견인했다.

첫째, **알고리즘의 성숙(Maturity)**이다. 특히 심층 강화학습(Deep Reinforcement Learning, DRL)은 더 이상 이론적 탐구의 대상에 머무르지 않고, 게임 환경을 넘어 다양한 의사결정 문제에 적용 가능한 성숙한 프레임워크로 자리 잡아가고 있었다. 이는 DRL의 원리와 주요 알고리즘을 집대성하는 종합적인 서베이 논문이 등장한 것에서 명확히 드러난다.

둘째, **패러다임의 확장(Exploration)**이다. 딥러닝의 성공이 고전적 컴퓨팅 하드웨어의 발전에 크게 의존하고 있었던 만큼, 연구자들은 무어의 법칙(Moore’s Law) 이후의 시대를 대비하기 시작했다. 고전적 컴퓨팅의 근본적인 한계를 뛰어넘기 위한 대안으로 양자 컴퓨팅과 머신러닝을 융합하려는 양자 머신러닝(Quantum Machine Learning, QML)이라는 새로운 연구 지평이 본격적으로 논의되기 시작한 시점이 바로 이 무렵이다.

셋째, **현실 세계로의 전이(Transition)**이다. 로봇공학 분야에서는 DRL과 같은 복잡한 AI 알고리즘을 실제 물리적 시스템에 안정적으로 적용하기 위한 기반 기술의 중요성이 그 어느 때보다 부각되었다. 특히, 시뮬레이션과 현실 세계 간의 간극(Sim-to-Real Gap)을 줄이고 연구의 신뢰성과 재현성을 확보하기 위한 정교한 시뮬레이션 및 벤치마킹 방법론이 고도화되고 있었다.

이러한 동시 다발적인 발전 양상은 기술 진보가 단일한 선형적 경로를 따르지 않음을 보여준다. 어떤 분야에서는 기존 패러다임을 정제하고 성숙시키는 작업이 이루어지는 동안, 다른 분야에서는 완전히 새로운 패러다임을 탐색하고, 또 다른 분야에서는 이 모든 발전을 현실에 적용하기 위한 견고한 기반을 다지는 작업이 병행되었다. 본 보고서는 각 장에서 이러한 핵심 동향을 대표하는 2017년 9월의 주요 연구들을 상세히 해부하고, 이들의 상호 연관성과 기술사적 의미를 분석하여 당시의 기술적 단면을 입체적으로 재구성하는 것을 목표로 한다.

2. 심층 강화학습의 현주소 - “A Brief Survey of Deep Reinforcement Learning” (arXiv:1708.05866) 심층 분석

2.1 서론: DRL의 부상과 2017년의 위상

2017년 9월은 심층 강화학습(DRL)이 AI 분야의 혁명을 이끌 핵심 기술로 확고히 자리매김한 시점이었다. 딥마인드(DeepMind)가 심층 신경망을 이용해 인간 전문가 수준으로 아타리(Atari) 2600 비디오 게임을 정복한 연구 결과는 DRL의 잠재력을 전 세계에 각인시킨 기념비적인 사건이었다.3 이후 복잡한 보드게임인 바둑에서 세계 챔피언을 이긴 알파고(AlphaGo)의 등장은 DRL이 고차원 상태 공간(high-dimensional state space)에서의 순차적 의사결정 문제를 해결할 가장 유력한 방법론임을 증명했다.4

이러한 배경 속에서, Kai Arulkumaran과 동료 연구자들이 2017년 8월 19일에 arXiv에 처음 제출하고 9월 28일에 개정한 서베이 논문 “A Brief Survey of Deep Reinforcement Learning“은 당시까지 폭발적으로 축적된 DRL 연구 성과를 체계적으로 집대성하고 향후 연구 방향을 제시하는 중요한 학술적 이정표 역할을 했다.6 이 논문은 DRL의 다양한 접근법을 가치 기반(Value-based) 방법론과 정책 기반(Policy-based) 방법론이라는 두 가지 큰 줄기로 명확히 분류하고, 각 계열의 핵심 알고리즘들을 상세히 소개함으로써 후속 연구자들에게 귀중한 지적 토대를 제공했다.3

2.2 강화학습의 수학적 기초: 마르코프 결정 과정(MDP)

DRL을 이해하기 위해서는 그 근간을 이루는 수학적 프레임워크인 마르코프 결정 과정(Markov Decision Process, MDP)에 대한 이해가 선행되어야 한다. MDP는 순차적 의사결정 문제를 모델링하기 위한 공식적인 틀을 제공한다. 이 논문에서 설명하는 MDP의 핵심 구성요소는 다음과 같다.5

• 상태 집합 (S): 에이전트가 관찰할 수 있는 모든 가능한 환경의 상태.

• 행동 집합 (A): 에이전트가 각 상태에서 취할 수 있는 모든 가능한 행동.

• 전이 동역학 (T(s_{t+1}|s_t, a_t)): 시간 t에 상태 s_t에서 행동 a_t를 취했을 때, 시간 t+1에 상태 s_{t+1}로 전이될 확률 분포.

• 보상 함수 (R(s_t, a_t, s_{t+1})): 상태 s_t에서 행동 a_t를 수행하여 상태 s_{t+1}로 전이했을 때 에이전트가 받는 즉각적인 스칼라 보상.

• 할인율 ($\gamma \in $): 미래 보상의 현재 가치를 결정하는 요소. \gamma가 0에 가까우면 즉각적인 보상을, 1에 가까우면 장기적인 보상을 더 중요하게 고려한다.

강화학습 에이전트의 궁극적인 목표는 정책(policy) \pi(a_t|s_t)를 학습하는 것이다. 정책은 특정 상태 s_t가 주어졌을 때 행동 a_t를 선택할 확률 분포를 정의하는 에이전트의 행동 전략이다. 에이전트는 시간 t로부터 미래에 받을 할인된 누적 보상의 기댓값, 즉 반환값(return)을 최대화하는 방향으로 정책을 개선해 나간다. 반환값 G_t는 다음과 같이 정의된다.

G_t = \sum_{k=0}^{\infty} \gamma^k r_{t+k+1}
최적 정책 \pi^*는 모든 상태 s에 대해 기댓값 \mathbb{E}를 최대화하는 정책이다. DRL은 바로 이 최적 정책을 심층 신경망을 이용해 근사적으로 찾아내는 과정이라 할 수 있다.

2.3 가치 기반 DRL: Deep Q-Network (DQN)의 원리

가치 기반 방법론은 최적 정책을 간접적으로 학습한다. 즉, 정책을 직접 찾는 대신, 특정 정책 \pi를 따를 때의 가치를 평가하는 가치 함수(value function)를 먼저 학습하고, 이 가치 함수를 기반으로 최적의 행동을 선택한다. 그중에서도 행동-가치 함수(action-value function) Q^\pi(s, a)는 상태 s에서 행동 a를 취한 후 정책 \pi를 따랐을 때 기대되는 반환값을 의미한다.

모든 정책 중에서 최대의 가치를 주는 최적 행동-가치 함수 Q^*(s, a)는 벨만 최적 방정식(Bellman optimality equation)을 만족한다.

Q^*(s, a) = \mathbb{E}_{s' \sim \mathcal{E}} [r + \gamma \max_{a'} Q^*(s', a') | s, a]
DQN은 심층 신경망(파라미터 \theta를 가짐)을 사용하여 이 최적 Q-함수를 Q(s, a; \theta)로 근사하는 획기적인 방법을 제안했다. 하지만 신경망과 같은 비선형 함수 근사기를 강화학습에 직접 적용할 경우, 데이터 간의 상관관계와 타겟 값의 비정상성(non-stationarity)으로 인해 학습이 매우 불안정해지는 문제가 있었다. DQN은 이 문제를 해결하기 위해 두 가지 핵심적인 기법을 도입했다.

1. 경험 리플레이 (Experience Replay): 에이전트의 경험 (s_t, a_t, r_{t+1}, s_{t+1})을 순서대로 학습에 사용하지 않고, 리플레이 버퍼(replay buffer)라는 큰 메모리에 저장한 뒤 무작위로 샘플링하여 학습에 사용한다. 이는 데이터 간의 시간적 상관관계를 깨뜨려 학습의 안정성을 높인다.

2. 고정된 타겟 네트워크 (Fixed Target Network): Q-값을 업데이트하기 위한 타겟 값 y_i = r + \gamma \max_{a'} Q(s', a'; \theta^-)를 계산할 때, 현재 학습 중인 네트워크(\theta)가 아닌, 주기적으로만 업데이트되는 별도의 타겟 네트워크(\theta^-)를 사용한다. 이는 타겟 값이 매 스텝마다 급격하게 변하는 것을 막아 학습 과정을 안정화시킨다.

DQN의 손실 함수는 샘플링된 미니배치에 대한 평균 제곱 오차(MSE)를 기반으로 다음과 같이 정의된다.

L_i(\theta_i) = \mathbb{E}_{(s,a,r,s') \sim U(D)} \left[ \left( r + \gamma \max_{a'} Q(s', a'; \theta_i^-) - Q(s, a; \theta_i) \right)^2 \right]
여기서 U(D)는 리플레이 버퍼 D에서의 균등 분포를 의미하며, \theta_i는 i번째 반복에서의 네트워크 파라미터, \theta_i^-는 타겟 네트워크의 파라미터이다. 이 손실 함수를 경사 하강법으로 최소화함으로써, 네트워크는 점차 벨만 최적 방정식을 만족하는 방향으로 수렴하게 된다.

2.4 정책 기반 DRL: Trust Region Policy Optimization (TRPO)과 Actor-Critic

정책 기반 방법론은 가치 함수를 거치지 않고 정책 \pi_\theta(a|s)를 파라미터 \theta를 가진 함수(예: 신경망)로 직접 모델링하고, 누적 보상을 최대화하는 파라미터 \theta를 직접 찾는 방식이다. 이는 정책 경사 정리(Policy Gradient Theorem)에 기반하며, 목적 함수 J(\theta)의 경사(gradient)를 따라 파라미터를 업데이트한다.

하지만 기본적인 정책 경사 방법은 업데이트 스텝의 크기(learning rate)에 매우 민감하여 학습이 불안정하고 수렴 속도가 느리다는 단점이 있었다. TRPO(Trust Region Policy Optimization)는 이러한 문제를 해결하기 위해 제안된 알고리즘이다. TRPO의 핵심 아이디어는 정책을 업데이트할 때, 새로운 정책이 이전 정책으로부터 너무 멀리 벗어나지 않도록 신뢰 영역(trust region) 내에서만 최적화를 수행하는 것이다. 이 제약 조건은 두 정책 분포 간의 KL 발산(KL Divergence)을 사용하여 수학적으로 표현된다. TRPO의 최적화 문제는 다음과 같이 공식화할 수 있다.

\text{maximize}_{\theta} \quad \mathbb{E}_{s \sim \rho_{\theta_{old}}, a \sim \pi_{\theta_{old}}} \left[ \frac{\pi_\theta(a|s)}{\pi_{\theta_{old}}(a|s)} \hat{A}_{\theta_{old}}(s,a) \right]

\text{subject to} \quad \mathbb{E}_{s \sim \rho_{\theta_{old}}} \leq \delta

여기서 \hat{A}는 어드밴티지 함수(advantage function)의 추정치이며, \delta는 신뢰 영역의 크기를 결정하는 하이퍼파라미터이다. 이 제약 조건 덕분에 TRPO는 단조로운 성능 향상(monotonic improvement)을 이론적으로 보장하며, 기존 정책 경사 방법에 비해 훨씬 안정적인 학습이 가능하다.

한편, Actor-Critic 방법은 가치 기반 방법과 정책 기반 방법을 결합한 하이브리드 형태이다. 이름에서 알 수 있듯이, Actor와 Critic이라는 두 개의 구성요소로 이루어진다.

• Actor: 정책을 학습하며, 현재 상태에서 어떤 행동을 할지 결정한다. (정책 기반)

• Critic: Actor가 선택한 행동이 얼마나 좋았는지를 평가한다. 이 평가는 가치 함수(주로 어드밴티지 함수)를 통해 이루어진다. (가치 기반)

A3C(Asynchronous Advantage Actor-Critic)는 Actor-Critic 구조를 병렬 컴퓨팅 환경에 맞게 확장한 혁신적인 알고리즘이다. A3C는 중앙의 글로벌 네트워크 파라미터를 공유하는 여러 개의 에이전트(worker)를 생성한다. 각 worker는 자신만의 환경 복사본과 상호작용하며 독립적으로 경험을 쌓고, 일정 시간마다 자신이 계산한 그래디언트를 이용해 글로벌 네트워크를 비동기적으로(asynchronously) 업데이트한다. 이 방식은 각 worker가 서로 다른 경험을 탐색하기 때문에 데이터 간의 상관관계를 자연스럽게 줄여주어, DQN의 경험 리플레이 버퍼 없이도 안정적인 학습을 가능하게 했다. 이는 학습 속도와 효율성을 획기적으로 개선하는 결과를 낳았다.

2.5 2017년 9월의 DRL: 도전과제와 연구 동향

Arulkumaran 등의 서베이 논문이 발표된 2017년 9월, DRL 분야는 눈부신 성공에도 불구하고 여러 근본적인 도전과제에 직면해 있었다. 이러한 과제들은 당시 연구 커뮤니티의 주요 관심사였으며, 이후 DRL 연구의 방향을 결정하는 중요한 동력이 되었다.

• 샘플 비효율성 (Sample Inefficiency): DRL 알고리즘, 특히 모델-프리(model-free) 방식은 최적의 정책을 학습하는 데 엄청난 양의 환경과의 상호작용 경험을 필요로 했다.8 아타리 게임 하나를 마스터하기 위해 수백만, 수천만 프레임의 데이터가 필요한 것은 드문 일이 아니었다. 이러한 데이터 요구량은 시뮬레이션 환경에서는 감당할 수 있었지만, 실제 로봇을 이용해 데이터를 수집해야 하는 현실 세계 문제에 DRL을 적용하는 데 가장 큰 걸림돌로 작용했다.

• 탐험-활용 딜레마 (Exploration-Exploitation Dilemma): 에이전트는 현재까지의 경험을 바탕으로 최선이라고 알려진 행동을 취하는 ’활용(exploitation)’과, 더 나은 보상을 얻을 가능성을 찾기 위해 새로운 행동을 시도하는 ‘탐험(exploration)’ 사이에서 균형을 맞춰야 한다. 특히 보상이 희소(sparse)하거나 상태-행동 공간이 매우 큰 문제에서는 효율적인 탐험 전략을 설계하는 것이 여전히 매우 어려운 문제였다.

• 응용 분야 확장: DRL 커뮤니티의 관심은 더 이상 아타리 게임이나 바둑과 같은 제한된 가상 환경에서의 초인적인 성능 달성에만 머물러 있지 않았다. 연구의 초점은 DRL을 로보틱스 3, 자율주행, 자원 관리 5, 자연어 처리 등 보다 복잡하고 실용적인 문제에 적용하는 방향으로 이동하고 있었다. 이러한 흐름은 2017년 9월에 열린 IROS 학회에서 DRL을 이용한 “Socially Aware Motion Planning” 연구가 인지 로봇 분야 최우수 논문상을 수상한 것에서 상징적으로 드러난다.13 이는 DRL 커뮤니티가 벤치마크에서의 승리를 넘어, 현실 세계의 실질적인 문제를 해결하기 위한 어려운 공학적, 과학적 과제에 본격적으로 착수했음을 보여주는 중요한 신호였다.

표 1: 주요 심층 강화학습 알고리즘 비교 (2017년 9월 기준)

3. 양자 영역으로의 확장 - “Machine learning & artificial intelligence in the quantum domain” (arXiv:1709.02779) 고찰

3.1 새로운 융합의 서막: 양자 머신러닝(QML)

2017년 9월 8일, Vedran Dunjko와 Hans J. Briegel이 arXiv에 제출한 리뷰 논문 “Machine learning & artificial intelligence in the quantum domain“은 당시 막 태동하던 두 거대 기술 분야, 즉 양자 정보 기술(Quantum Information)과 지능형 학습 시스템(AI/ML)의 융합 가능성을 학문적으로 집대성한 중요한 문헌이다.14 이 논문은 양자 머신러닝(QML)이라는 새로운 연구 분야의 범위를 정의하고, 초기 연구 성과들을 체계적으로 정리하며 미래의 연구 방향을 제시했다. QML은 양자 컴퓨팅과 머신러닝 간의 상호작용을 탐구하는 학제간 연구 분야로, 한 분야의 원리나 기술을 사용하여 다른 한 분야의 난제를 해결하는 것을 포괄적인 목표로 삼는다.14

이 시기에 QML에 대한 포괄적인 리뷰 논문이 등장한 것은 단순한 학문적 호기심을 넘어선 중요한 의미를 지닌다. 딥러닝의 눈부신 성공은 본질적으로 무어의 법칙에 따른 반도체 기술의 발전과 GPU를 통한 병렬 컴퓨팅 능력의 폭발적인 증가에 힘입은 바가 크다.16 그러나 2017년 당시, 연구 커뮤니티는 이미 고전적 컴퓨팅이 언젠가 마주할 물리적 한계에 대해 인지하고 있었다. 따라서 QML 연구의 부상은 AI 연구 커뮤니티가 딥러닝의 성공에 안주하지 않고, 고전적 컴퓨팅의 한계를 뛰어넘을 차세대 패러다임을 선제적으로 모색하기 시작했음을 보여주는 전략적 지표로 해석될 수 있다. 이는 AI의 지속적인 발전을 위한 계산 패러다임의 장기적인 다각화 시도였다.

3.2 QML의 두 가지 주요 방향

Dunjko와 Briegel의 논문은 QML 연구를 크게 두 가지 상호 보완적인 방향으로 분류했다. 이는 QML 분야의 연구 지형을 이해하는 데 있어 핵심적인 틀을 제공한다.

1. 양자 컴퓨팅을 활용한 ML 가속 (Quantum-enhanced Machine Learning): 이 방향은 양자역학의 고유한 현상인 중첩(superposition)과 얽힘(entanglement)을 활용하여 고전적인 머신러닝 알고리즘의 계산 복잡도를 줄이거나 성능을 향상시키는 것을 목표로 한다. 특히 데이터의 차원이 기하급수적으로 증가하는 ‘빅데이터’ 시대에, 특정 문제에 대해 양자 알고리즘이 제공할 수 있는 지수적 또는 다항적 속도 향상(speed-up)은 매우 큰 잠재력을 지닌다.14 2017년 당시 연구되던 주요 접근법은 다음과 같다.

• 양자 서브루틴 활용: 행렬 곱셈이나 푸리에 변환과 같은 특정 선형대수 연산을 양자 알고리즘으로 대체하여 전체 ML 파이프라인의 속도를 높이는 연구.

• 양자 어닐링 (Quantum Annealing): 조합 최적화 문제와 밀접하게 관련된 특정 유형의 ML 문제(예: 볼츠만 머신 학습)를 풀기 위해 양자 어닐러를 사용하는 연구.

• 양자 샘플링: 고전적으로는 샘플링하기 어려운 복잡한 확률 분포로부터 빠르게 샘플을 생성하기 위해 양자 시스템을 활용하는 연구.

2. ML을 활용한 양자 기술 고도화 (Classical Learning for Quantum Problems): 이 방향은 고전적인 머신러닝 및 AI 기술을 사용하여 복잡한 양자 시스템을 제어, 분석, 설계하는 것을 목표로 한다. 양자 시스템은 환경 노이즈에 매우 민감하고 그 동역학이 복잡하여 모델링과 제어가 극히 어렵다. 머신러닝은 이러한 복잡한 시스템의 숨겨진 패턴을 데이터로부터 학습하여 최적의 제어 전략을 발견하는 데 강력한 도구가 될 수 있다.14 당시의 주요 연구 사례는 다음과 같다.

• 양자 실험 설계 자동화: 강화학습 에이전트를 훈련시켜 새로운 양자 상태를 생성하거나 특정 양자 연산을 수행하는 최적의 실험 절차(예: 레이저 펄스 시퀀스)를 자동으로 발견하게 하는 연구.

• 양자 상태 단층촬영 (Quantum State Tomography): 측정 데이터로부터 미지의 양자 상태를 추정하는 문제에 머신러닝 모델(예: 신경망)을 적용하여 효율성과 정확도를 높이는 연구.

• 양자 오류 보정 (Quantum Error Correction): 양자 계산 중 발생하는 오류를 탐지하고 수정하기 위한 최적의 디코딩 알고리즘을 머신러닝을 통해 학습하는 연구.

3.3 2017년 당시의 QML 연구 동향과 미래 전망

2017년 당시 QML 분야는 대부분 이론적 탐색 단계에 머물러 있었다. 하지만 양자 강화학습 에이전트가 고전적 에이전트보다 더 효율적으로 학습할 수 있는 가능성 14 이나, 양자역학적 원리를 기반으로 하는 양자 신경망(Quantum Neural Networks) 17 과 같은 혁신적인 개념들이 활발히 제안되고 논의되었다. 이러한 연구들은 비록 초기 단계였지만, 미래 컴퓨팅의 청사진을 제시하며 많은 연구자에게 영감을 주었다.

이 논문의 중요한 공헌 중 하나는 QML을 단순히 기술적 융합의 관점에서만 보지 않았다는 점이다. 저자들은 “양자역학으로 기술되는 세계에서 ’학습’과 ’지능’의 근본적인 의미는 무엇인가?“라는 철학적 질문을 제기하며, QML이 AI와 물리학의 근본 개념을 재정의할 수 있는 잠재력을 지녔음을 조명했다.14

물론, 당시의 QML 연구는 심각한 기술적 한계에 직면해 있었다. 실험적으로 구현 가능한 양자 컴퓨터는 수십 개의 큐빗(qubit)을 다루는 수준이었고, 큐빗의 상태를 안정적으로 유지할 수 있는 결맞음 시간(coherence time)이 매우 짧아 복잡한 알고리즘을 실행하기 어려웠다. 따라서 대부분의 QML 알고리즘은 시뮬레이션을 통해 검증되었으며, 실제 양자 하드웨어에서 고전적 알고리즘을 능가하는 ’양자 우위(quantum advantage)’를 입증하는 것은 먼 미래의 과제로 남아 있었다. 그럼에도 불구하고, 2017년 9월에 발표된 이 리뷰 논문은 QML이라는 새로운 분야의 씨앗을 뿌리고, 미래 AI 기술의 지형을 바꿀 중요한 연구 방향을 제시했다는 점에서 큰 의의를 가진다.

4. 다중 로봇 시스템의 발전 - “Building a ROS-Based Testbed for Realistic Multi-Robot Simulation” (Robotics, 2017) 분석

4.1 연구의 필요성: 재현성과 신뢰성의 위기

다중 로봇 시스템(Multi-Robot Systems, MRS) 연구는 여러 로봇 간의 상호작용과 협력을 통해 단일 로봇으로는 달성하기 어려운 복잡한 임무를 수행하는 것을 목표로 한다. 이러한 연구는 알고리즘의 복잡성과 하드웨어 비용 문제로 인해 시뮬레이션에 크게 의존할 수밖에 없다. 그러나 시뮬레이션 환경과 실제 물리 세계 간의 차이, 즉 ’Sim-to-Real Gap’은 오랫동안 로봇공학 연구의 신뢰성을 저해하는 고질적인 문제로 지적되어 왔다.20 시뮬레이션에서 완벽하게 작동하던 알고리즘이 실제 로봇에서는 예상치 못한 오작동을 일으키는 경우가 비일비재했다.

더욱이, MRS 연구는 실험 환경의 미묘한 차이에도 결과가 크게 달라질 수 있어 연구 결과의 재현성(reproducibility)을 확보하기가 매우 어려웠다. 이는 다른 연구자의 결과를 객관적으로 비교하고 검증하는 것을 불가능하게 만들어, 분야 전체의 발전을 더디게 하는 요인이 되었다. 이러한 문제의식 속에서, Zhi Yan과 동료 연구자들이 2017년 9월 12일 저널 ’Robotics’에 발표한 논문 “Building a ROS-Based Testbed for Realistic Multi-Robot Simulation“은 MRS 연구에 과학적 엄밀함을 더하기 위한 중요한 방법론을 제시했다.21 이 연구는 특정 알고리즘 개발이 아닌, 신뢰할 수 있는 연구를 수행하기 위한 ‘인프라’ 구축에 초점을 맞추었다는 점에서 주목할 만하다. 이는 로봇공학이 단순한 기술 시연을 넘어, 통제된 실험과 정량적 평가에 기반한 과학적 학문 분과로 성숙해가는 과정을 보여주는 중요한 사례이다.

4.2 제안된 테스트베드의 아키텍처

이 논문에서 제안한 테스트베드는 MRS 연구의 재현성과 신뢰성을 높이기 위해 다음과 같은 다층적 아키텍처를 채택했다.

• ROS (Robot Operating System) 중심 설계: 테스트베드의 핵심은 로봇 소프트웨어 개발을 위한 사실상의 표준 프레임워크인 ROS를 미들웨어로 채택한 것이다. ROS는 하드웨어 추상화와 모듈화된 통신 구조를 제공한다. 이 덕분에 연구자들은 시뮬레이션에서 개발하고 검증한 제어 소프트웨어를 실제 로봇의 하드웨어 드라이버만 교체하여 거의 수정 없이 그대로 이식할 수 있다. 이는 Sim-to-Real 문제를 완화하는 데 결정적인 역할을 한다.23

• 현실적인 3D 시뮬레이터 활용: 테스트베드는 물리 엔진과 사실적인 센서 모델링을 제공하는 MORSE(Modular OpenRobots Simulation Engine) 시뮬레이터를 채택했다.23 MORSE는 3D 환경에서 로봇의 동역학, 센서(레이저 스캐너, 카메라 등)의 노이즈, 통신 지연 등을 현실과 유사하게 모사하여 시뮬레이션의 신뢰도를 높인다.

• 분산 컴퓨팅을 통한 확장성 확보: 수십, 수백 대의 로봇으로 구성된 대규모 군집을 단일 컴퓨터에서 시뮬레이션하는 것은 계산 부하로 인해 비현실적이다. 이 문제를 해결하기 위해, 테스트베드는 컴퓨터 클러스터를 활용하여 각 로봇의 컨트롤러 소프트웨어를 개별적인 가상 머신(VM)에 분산시켜 실행하는 구조를 제안했다. 이를 통해 중앙 집중식 시뮬레이션에서 발생하는 병목 현상을 제거하고, 시뮬레이션의 규모를 유연하게 확장할 수 있게 되었다.23

이러한 아키텍처는 단순히 기술적인 조합을 넘어, MRS 연구를 위한 ’과학적 실험 장치’를 구축하려는 철학을 담고 있다. 이는 연구자들이 알고리즘 자체의 성능에만 집중할 수 있도록, 재현 가능하고 통제된 실험 환경을 제공하는 것을 목표로 한다.

4.3 벤치마킹 프로세스와 평가 지표

이 연구의 핵심적인 기여는 잘 설계된 아키텍처뿐만 아니라, 과학적 방법론에 입각한 자동화된 벤치마킹 프로세스를 제안했다는 점이다. 이는 실험의 재현성을 보장하고, 서로 다른 알고리즘들을 객관적인 기준으로 비교하기 위한 필수적인 절차이다.23

제안된 벤치마킹 프로세스는 다음과 같은 단계로 구성된다.

1. 실험 설계 (Experimental Design): 사용자는 실험에 영향을 미치는 모든 파라미터(예: 로봇의 수, 센서 노이즈 수준, 통신 범위)와 수집할 데이터, 그리고 평가 지표를 명시적으로 정의한다.

2. 자동화된 실행: 정의된 설계에 따라 테스트베드가 자동으로 실험을 수행한다. 이 과정에서 인간의 개입을 최소화하여 실험 조건의 일관성을 유지한다.

3. 데이터 수집 및 후처리: 실험이 진행되는 동안 정의된 측정값(예: 로봇의 이동 경로, 탐사된 지도)을 수집하고, 실험 종료 후 이를 가공하여 정량적인 평가 지표를 계산한다.

논문에서는 다중 로봇 탐사(multi-robot exploration) 임무를 구체적인 예시로 들어, 다음과 같은 정량적 평가 지표들을 제안했다.

• 탐사 시간 (Exploration Time, T): 주어진 환경을 완전히 탐사하는 데 소요된 총 시간.

• 탐사 효율성 (Exploration Efficiency, \mathcal{E}): 로봇 군집의 총 이동 거리 대비 총 탐사 면적의 비율. 효율적인 협력 전략을 평가하는 지표이다.

\mathcal{E} = \frac{A}{\sum_{i=1}^n D_i}
(여기서 A는 총 탐사 면적, D_i는 로봇 i의 이동 거리이다.)

• 지도 완성도 (Map Completeness): 로봇이 생성한 지도가 실제 환경의 지도(ground-truth map)와 얼마나 일치하는지를 나타내는 비율.

• 지도 품질 (Map Quality): 생성된 지도의 정확도를 픽셀 단위로 비교하여 오차를 정량화한 값.

이러한 체계적인 접근 방식은 MRS 연구 커뮤니티에 ’표준화된 실험 방법론’을 제시함으로써, 개별 연구 결과들이 상호 비교 가능하고 누적될 수 있는 과학적 토대를 마련했다는 점에서 큰 의의를 가진다.

5. IROS 2017 컨퍼런스 주요 발표 및 수상 연구 동향

5.1 IROS 2017 개요

2017년 9월 24일부터 28일까지 캐나다 밴쿠버에서 개최된 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)는 로봇 및 지능형 시스템 분야에서 세계 최고 권위를 인정받는 학술대회 중 하나이다. 매년 IROS에서 발표되고 수상하는 연구들은 해당 시점 로봇공학계의 가장 첨예한 연구 주제와 혁신적인 기술적 성취를 집약적으로 보여주는 중요한 바로미터 역할을 한다. 따라서 IROS 2017의 수상 논문 목록을 분석하는 것은 2017년 9월 당시 로봇공학의 기술적 최전선(state-of-the-art)을 이해하는 가장 효과적인 방법 중 하나이다.13

IROS 2017의 수상작들을 종합적으로 분석하면, 당시 로봇공학 연구의 중심축이 전통적인 산업용 로봇의 정밀 제어나 공장 자동화를 넘어, 인간과 함께 공존하고 상호작용하는 ’인간 중심적 로봇(Human-Centric Robotics)’으로 이동하고 있었음을 명확히 알 수 있다. 이는 단순히 로봇의 기술적 성능을 높이는 것을 넘어, 로봇이 인간의 사회적, 인지적, 물리적 환경에 어떻게 안전하고 지능적으로 통합될 수 있는가에 대한 깊은 고민이 연구의 핵심 주제로 부상했음을 의미한다.

5.2 주요 수상 논문 분석을 통한 기술 트렌드

IROS 2017의 주요 수상 논문들은 인지, 자동화, 설계 등 다양한 분야에 걸쳐 있었으며, 공통적으로 인간과의 상호작용 및 협력을 중요한 가치로 다루고 있었다.13

• 인지 로봇 (Cognitive Robotics): 인지 로봇 분야의 수상작들은 로봇이 단순히 물리적 세계를 인식하는 것을 넘어, 그 안에 담긴 의미와 사회적 맥락을 이해하려는 시도를 보여준다.

• 최우수 인지 로봇 논문상 (IROS Best Paper Award on Cognitive Robotics): “Socially Aware Motion Planning with Deep Reinforcement Learning”

이 연구는 DRL을 사용하여 로봇이 주변 사람들의 움직임을 예측하고, 사회적으로 용인되는 방식으로 자신의 경로를 계획하는 방법을 제시했다. 이는 로봇 경로 계획이 더 이상 정적인 장애물을 피하는 기하학적 문제를 넘어, 인간의 의도와 사회적 규범이라는 불확실하고 동적인 요소를 고려하는 문제로 진화하고 있음을 보여준다. DRL이 이러한 복잡한 상호작용 문제를 해결하는 강력한 도구로 활용되기 시작했음을 알리는 신호탄이었다.

• 최우수 인지 로봇 논문상 (Finalist): “Task-oriented Grasping with Semantic and Geometric Scene Understanding”

이 연구는 로봇의 물체 파지(grasping) 문제를 다루면서, 물체의 기하학적 형태(geometric)뿐만 아니라 그 물체의 용도와 관련된 의미론적 정보(semantic)를 함께 활용했다. 예를 들어, 로봇은 ’컵’을 단순히 원기둥 형태로 인식하는 것이 아니라, ’물을 마시기 위한 도구’로 이해하고 그 목적에 맞는 안정적인 파지 자세를 생성한다. 이는 로봇이 인간 중심의 과업(task-oriented)을 성공적으로 수행하기 위해서는 주변 환경에 대한 깊은 의미론적 이해가 필수적임을 시사한다.

• 자동화 (Automation): 자동화 분야에서는 특정 산업 도메인의 효율성을 극대화하기 위한 고도로 특화된 로봇 시스템이 주목받았다.

• 최우수 자동화 논문상 (IROS Best Paper Award on Automation): “A Multi-Track Elevator System for E-Commerce Fulfillment Centers”

이 연구는 급성장하는 전자상거래 물류센터의 상품 처리 효율을 높이기 위해 다중 트랙과 다중 리프트를 갖춘 혁신적인 엘리베이터 시스템을 제안했다. 이는 로봇 기술이 범용적인 문제 해결을 넘어, 특정 산업 현장의 구체적인 병목 현상을 해결하고 생산성을 직접적으로 향상시키는 데 기여하고 있음을 보여주는 사례이다.

• 로봇 설계 및 제작 (Robot Design and Fabrication): 로봇의 물리적 형태와 재질에 대한 혁신적인 아이디어들이 수상작으로 선정되었다. 이는 로봇과 인간의 물리적 상호작용 방식에 대한 근본적인 변화를 예고했다.

• 최우수 논문상 (Finalist): “Fabrication, Modeling, and Control of Plush Robots”

이 연구는 딱딱한 금속과 플라스틱 대신, 봉제 인형처럼 부드럽고 푹신한 소재(plush)로 로봇을 제작하는 방법론을 제시했다. 이러한 소프트 로봇은 본질적으로 안전하며, 특히 어린이, 노약자와의 상호작용이나 의료 및 재활 분야에서 로봇에 대한 심리적 거부감을 줄이고 물리적 안전성을 확보하는 데 큰 장점을 가진다. 이는 로봇 설계가 기능적 효율성뿐만 아니라 인간과의 정서적, 물리적 교감을 중요한 요소로 고려하기 시작했음을 보여준다.

• 최우수 학생 논문상 (IROS Best Student Paper Award): “Repetitive extreme-acceleration (14-g) spatial jumping with Salto-1P”

이 연구는 동물의 민첩한 도약 능력을 모방한 생체모방(biomimicry) 로봇을 개발하여, 14-g에 달하는 극한의 가속도로 반복적인 점프를 성공시켰다. 이는 재난 현장 탐사나 행성 탐사와 같이 인간이나 바퀴 달린 로봇이 접근하기 어려운 극한 환경에서 활약할 수 있는 고기동성 로봇 개발의 가능성을 열어주었다.

표 2: IROS 2017 주요 수상 논문 분석

6. 결론: 2017년 9월 연구 동향의 종합적 고찰 및 미래 전망

6.1 년 9월의 기술적 초상

본 보고서에서 분석한 2017년 9월의 주요 연구들은 당시 인공지능 및 로봇공학 분야가 여러 층위에서 동시다발적으로 발전하던 매우 역동적인 시기였음을 명확히 보여준다. 이 시기의 기술적 초상은 세 가지 핵심 키워드로 요약할 수 있다: 성숙, 탐색, 그리고 기반 구축.

• 성숙: 심층 강화학습(DRL)은 아타리 게임과 바둑을 정복하며 화려하게 등장한 이후, 그 이론적 토대를 다지고 다양한 문제에 적용 가능한 도구로써 성숙하는 단계에 접어들었다. Arulkumaran 등의 서베이 논문은 이러한 성숙의 증거이며, DRL을 체계적으로 정리하여 학문적 확산의 기틀을 마련했다.

• 탐색: 딥러닝의 성공 이면에서는 고전적 컴퓨팅의 잠재적 한계에 대한 인식이 싹트고 있었다. Dunjko와 Briegel의 QML 리뷰 논문은 이러한 한계를 극복하기 위한 차세대 패러다임, 즉 양자 컴퓨팅을 AI에 접목하려는 대담한 탐색이 시작되었음을 알렸다.

• 기반 구축: 첨단 AI 알고리즘의 발전은 그것을 신뢰성 있게 검증하고 현실 세계에 적용하기 위한 견고한 공학적 기반을 요구했다. Zhi Yan 등의 ROS 기반 테스트베드 연구는 복잡한 다중 로봇 시스템 연구에 과학적 엄밀함과 재현성이라는 필수적인 기반을 구축하려는 노력을 상징한다.

6.2 연구 동향의 통합적 의미

이 세 가지 흐름—성숙, 탐색, 기반 구축—은 서로 분리된 채 진행된 것이 아니라, 하나의 거대한 기술 생태계 안에서 상호 보완적인 관계를 형성했다. 성숙 단계에 접어든 DRL 알고리즘은 IROS 2017에서 발표된 ’사회적으로 인식하는 경로 계획’과 같은 인간 중심적 로봇 연구에 새로운 지능을 부여하는 핵심 동력이 되었다. 이러한 복잡한 로봇 시스템의 등장은 역설적으로 Zhi Yan 등이 제안한 재현 가능한 테스트베드의 필요성을 더욱 부각시키는 결과를 낳았다. 즉, 알고리즘의 성숙이 기반 기술의 고도화를 촉진한 것이다. 그리고 이 모든 발전의 저변에는 현재 패러다임의 성공에 안주하지 않고 미래의 계산 한계를 극복하려는 장기적인 비전이 있었으며, 이는 QML과 같은 근본적인 탐색 연구를 추동하는 원동력이 되었다.

6.3 미래 전망

2017년 9월에 나타난 이러한 징후들은 이후 AI 및 로봇 기술의 발전 방향을 정확하게 예고했다.

• DRL의 ‘샘플 비효율성’ 문제는 이후 적은 데이터로 빠르게 학습하는 메타 학습(Meta-learning)과 시뮬레이션이나 사전 데이터만으로 학습하는 오프라인 강화학습(Offline RL) 연구의 폭발적인 성장으로 이어졌다.

• IROS 2017에서 주목받았던 인간-로봇 상호작용과 시맨틱 이해(semantic understanding)에 대한 관심은, 수년 후 등장한 대규모 언어 모델(LLM)을 로봇의 ’뇌’로 활용하여 자연어 명령을 이해하고 복잡한 과업을 수행하게 하는 오늘날의 연구 흐름의 명백한 토대가 되었다.

• ROS 기반 테스트베드가 강조했던 Sim-to-Real 문제는 디지털 트윈(Digital Twin)과 같은 더욱 정교한 시뮬레이션 기술의 발전을 촉진했다.

• 초기 단계였던 QML 연구는 이후 양자 우위를 목표로 하는 하드웨어 및 알고리즘 개발 경쟁으로 이어지며 지속적으로 발전하고 있다.

결론적으로, 2017년 9월은 인공지능과 로봇공학이 단순히 ’가능성’을 증명하는 시대를 지나, 현실 세계의 복잡성과 마주하며 본격적인 ’현실화’와 ’확장’의 시대로 진입하는 중요한 변곡점이었다. 이 시기에 이루어진 알고리즘의 성숙, 새로운 패러다임의 탐색, 그리고 과학적 기반의 구축은 오늘날 우리가 목도하고 있는 AI 기술 혁명의 밑거름이 되었음을 본 보고서는 결론짓는다.

7. 참고 자료

1. ARTIFICIAL INTELLIGENCE THE NEXT DIGITAL FRONTIER? - McKinsey, https://www.mckinsey.com/~/media/mckinsey/industries/advanced%20electronics/our%20insights/how%20artificial%20intelligence%20can%20deliver%20real%20value%20to%20companies/mgi-artificial-intelligence-discussion-paper.pdf
2. Artificial Intelligence and the Modern Productivity Paradox: A Clash of Expectations and Statistics - National Bureau of Economic Research, https://www.nber.org/system/files/working_papers/w24001/w24001.pdf
3. [1708.05866] A Brief Survey of Deep Reinforcement Learning, https://ar5iv.labs.arxiv.org/html/1708.05866
4. A Brief Survey of Deep Reinforcement Learning PDF - Scribd, https://www.scribd.com/document/360081039/A-Brief-Survey-of-Deep-Reinforcement-Learning-pdf
5. A Brief Survey of Deep Reinforcement Learning, http://www.cs.columbia.edu/~allen/S19/deep_rl.pdf
6. [1708.05866] A Brief Survey of Deep Reinforcement Learning - arXiv, https://arxiv.org/abs/1708.05866
7. A Brief Survey of Deep Reinforcement Learning. (Arulkumaran, K., Deisenroth,M., Brundage, M., Bharath, A. 2017. arXiv:1708.05866), https://www.fhi.ox.ac.uk/publications/arulkumaran-k-deisenrothm-brundage-m-bharath-2017-brief-survey-deep-reinforcement-learning-arxiv1708-05866/
8. A Brief Survey of Deep Reinforcement Learning - ResearchGate, https://www.researchgate.net/publication/386700143_A_Brief_Survey_of_Deep_Reinforcement_Learning
9. A Brief Survey of Deep Reinforcement Learning | Request PDF - ResearchGate, https://www.researchgate.net/publication/319209701_A_Brief_Survey_of_Deep_Reinforcement_Learning
10. A Brief Survey of Deep Reinforcement Learning - Papers We Love Chennai, https://paperswelove.org/chennai/papers/brief-survey-of-deep-reinforcement-learning/
11. A Brief Survey of Deep Reinforcement Learning - Department of Computer Science and Technology |, https://www.cl.cam.ac.uk/~ey204/teaching/ACS/R244_2017_2018/papers/arulkumaran_IEEESP_2017.pdf
12. A Survey of Multi-Task Deep Reinforcement Learning - MDPI, https://www.mdpi.com/2079-9292/9/9/1363
13. IROS 2017, Vancouver, Canada - Award Winners, https://ewh.ieee.org/conf/iros/2017/iros2017.org/program/award-winners.html
14. [1709.02779] Machine learning & artificial intelligence in the quantum domain - arXiv, https://arxiv.org/abs/1709.02779
15. Machine learning & artificial intelligence in the quantum domain - ResearchGate, https://www.researchgate.net/publication/319622479_Machine_learning_artificial_intelligence_in_the_quantum_domain
16. A Survey on Quantum Machine Learning: Basics, Current Trends, Challenges, Opportunities, and the Road Ahead - arXiv, https://arxiv.org/html/2310.10315v3
17. Quantum machine learning - Wikipedia, https://en.wikipedia.org/wiki/Quantum_machine_learning
18. Machine learning for estimation and control of quantum systems | National Science Review, https://academic.oup.com/nsr/advance-article/doi/10.1093/nsr/nwaf269/8191249
19. Supervised Quantum Learning without Measurements - PMC - PubMed Central, https://pmc.ncbi.nlm.nih.gov/articles/PMC5651921/
20. Beyond Bio-Inspired Robotics: How Multi-Robot Systems Can Support Research on Collective Animal Behavior - PMC, https://pmc.ncbi.nlm.nih.gov/articles/PMC9252458/
21. Robotics | September 2017 - Browse Articles - MDPI, https://www.mdpi.com/2218-6581/6/3
22. Zhi Yan @ ENSTA, https://yzrobot.github.io/
23. Building a ROS-Based Testbed for Realistic Multi-Robot Simulation …, https://www.mdpi.com/2218-6581/6/3/21
24. (PDF) Building a ROS-Based Testbed for Realistic Multi-Robot Simulation: Taking the Exploration as an Example - ResearchGate, https://www.researchgate.net/publication/319657988_Building_a_ROS-Based_Testbed_for_Realistic_Multi-Robot_Simulation_Taking_the_Exploration_as_an_Example
25. yzrobot/mrs_testbed: Multi-robot Exploration Testbed - GitHub, https://github.com/yzrobot/mrs_testbed
26. Building a ROS-Based Testbed for Realistic Multi-Robot Simulation: Taking the Exploration as an Example - Semantic Scholar, https://www.semanticscholar.org/paper/Building-a-ROS-Based-Testbed-for-Realistic-Taking-Yan-Fabresse/782f92b4a931db6f8873fb1b6407b24b7dbbbaf4