년 2분기 AI 및 로봇 연구 동향

1. 서론: 2016년, 인공지능 연구의 변곡점

2016년 2분기는 인공지능(AI) 연구 역사에서 중요한 변곡점으로 기록된다. 이 시기는 딥러닝이 초기 ‘돌파구’ 단계를 지나, 다양한 분야에 걸쳐 빠르고 광범위하며 패러다임을 전환하는 성숙 단계로 진입했음을 명확히 보여주었다. 2012년 AlexNet의 성공 이후, 학계와 산업계의 관심은 더 이상 딥러닝의 ’가능성’을 증명하는 데 머무르지 않았다. 대신, 딥러닝을 어떻게 더 효과적으로, 더 깊게, 그리고 더 안전하게 작동시킬 것인가에 대한 정교한 공학적 해법을 모색하는 방향으로 전환되었다. 이러한 변화는 당대의 주요 학술대회와 연구 발표에서 뚜렷하게 나타났다.

이 시기의 시대정신은 스탠퍼드 대학의 AI100 연구 보고서와 같은 주요 문헌에서도 감지된다.1 해당 보고서는 공상 과학 소설에 등장하는 AI의 막연한 이미지를 넘어, AI가 인간의 건강, 안전, 생산성을 실질적으로 향상시키는 현실적인 기술임을 강조하며 AI에 대한 대중적 이해를 제고하고자 했다.1 기술의 현실적 영향력이 가시화되면서, 구글과 마이크로소프트 같은 거대 기술 기업들은 조직 구조를 개편하며 ‘AI 우선(AI-first)’ 전략을 선언하기 시작했다.2 이는 AI가 더 이상 일부 연구 부서의 전유물이 아니라, 기업의 핵심 동력이자 미래 전략의 중심축으로 자리 잡았음을 의미한다.

본 보고서는 2016년 2분기에 발표된 주요 연구들을 네 가지 핵심 주제로 나누어 심층적으로 분석한다. 이 주제들은 당시 개최된 최고 수준의 학술대회와 그곳에서 논의된 지적 흐름을 반영한다.

1. 제1장 (컴퓨터 비전): 전례 없는 깊이의 신경망과 구조적 독창성을 추구한 연구 동향을 분석한다. 이는 주로 6월 말 라스베이거스에서 개최된 컴퓨터 비전 및 패턴 인식 학회(CVPR) 2016에서 두드러졌다.4

2. 제2장 (로봇 공학): 물리적 에이전트에게 더 지능적인 계획 능력과 풍부한 감각 인지 능력을 부여하려는 노력을 탐구한다. 이는 5월 스톡홀름에서 열린 로봇 공학 및 자동화 국제 학회(ICRA) 2016의 핵심 의제였다.5

3. 제3장 (자연어 처리): 복잡한 언어 과제를 해결하기 위한 지배적인 접근법으로서 신경망 기반 시퀀스-투-시퀀스(Sequence-to-Sequence) 패러다임이 확고히 자리 잡는 과정을 고찰한다. 관련 연구들은 6월 샌디에이고에서 개최된 북미 컴퓨터 언어학 학회(NAACL HLT) 2016에서 발표되었다.7

4. 제4장 (AI 안전성): 주요 산업 연구소들이 발표한 기념비적인 논문을 기점으로, AI 안전성이 구체적인 공학 분야로 정립되는 과정을 추적한다.9

본격적인 분석에 앞서, 다음 표는 이 보고서에서 심층적으로 다룰 핵심 연구들을 요약하여 전체적인 조망을 제공한다. 이 표는 각 연구의 핵심적인 기여를 한눈에 파악할 수 있도록 구성되었으며, 독자가 이어지는 상세한 논의의 맥락을 이해하는 데 도움을 줄 것이다.

2. 심층 신경망의 새로운 지평: 컴퓨터 비전의 구조적 혁신

2016년 2분기, 컴퓨터 비전 분야는 ’아키텍처 공학(Architecture Engineering)’이라는 새로운 시대로 본격적으로 진입했다. 연구의 핵심은 더 이상 새로운 특징 추출기나 손실 함수를 개발하는 것이 아니라, 점점 더 깊어지는 모델의 근본적인 학습 한계를 극복할 수 있는 혁신적인 신경망 구조 자체를 설계하는 것으로 이동했다. 이러한 흐름의 중심에는 6월 26일부터 7월 1일까지 미국 라스베이거스에서 개최된 IEEE 컴퓨터 비전 및 패턴 인식 학회(CVPR 2016)가 있었다.4 이 학회에서 발표된 연구들은 신경망의 깊이를 전례 없는 수준으로 확장하기 위한 두 가지 상이하면서도 강력한 접근법을 제시하며, 향후 수년간 딥러닝 모델 설계의 방향을 결정지었다.

2.1 깊이의 장벽을 넘다: 심층 잔차 학습 (ResNet)

CVPR 2016에서 최우수 논문상(Best Paper Award)을 수상한 마이크로소프트 리서치의 “Deep Residual Learning for Image Recognition“은 딥러닝 역사상 가장 영향력 있는 논문 중 하나로 평가받는다.4 이 연구는 Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun에 의해 수행되었으며, 신경망의 깊이가 깊어질수록 오히려 성능이 저하되는 근본적인 문제를 해결함으로써 딥러닝 모델의 규모를 한 차원 높은 수준으로 끌어올렸다.11

이 연구가 해결하고자 한 핵심 문제는 ‘성능 저하(Degradation)’ 현상이었다. 당시 학계의 일반적인 통념은 신경망의 층을 더 깊게 쌓을수록 더 복잡한 특징을 학습할 수 있어 성능이 향상될 것이라는 점이었다. 하지만 실제로는 일정 수준 이상으로 층을 깊게 쌓은 ‘평범한(plain)’ 신경망은 훈련 데이터에 대한 오차(training error)가 오히려 증가하는 역설적인 현상을 보였다. 이는 과적합(overfitting)과는 다른 문제로, 모델의 표현력이 충분함에도 불구하고 최적화 과정에서 최상의 해를 찾지 못하는, 즉 학습 자체가 제대로 이루어지지 않는 문제였다. 이 성능 저하 현상은 단순히 층을 추가하는 것만으로는 모델 성능을 향상시킬 수 없다는 심각한 한계를 드러내며, 딥러닝 커뮤니티가 직면한 중대한 난관이었다.

이 문제를 해결하기 위해 저자들이 제안한 혁신적인 아이디어는 ‘잔차 학습(Residual Learning)’ 프레임워크였다. 기존 신경망이 입력 x를 받아 목표 출력 H(x)를 직접 학습하도록 설계된 반면, 잔차 학습은 신경망이 목표 출력과 입력의 차이, 즉 잔차 함수(residual function) F(x) = H(x) - x를 학습하도록 재구성한다. 그리고 최종 출력은 학습된 잔차 함수 F(x)에 입력 x를 더하는 방식으로 계산된다. 이를 구현하는 핵심적인 구조가 바로 ’잔차 블록(Residual Block)’이며, 이는 ‘스킵 연결(Skip Connection)’ 또는 ’쇼트컷 연결(Shortcut Connection)’이라고 불리는 항등 매핑(identity mapping)을 통해 구현된다. 잔차 블록의 수학적 표현은 다음과 같다.11

y = \mathcal{F}(x, \{W_i\}) + x
여기서 x와 y는 각각 고려되는 층들의 입력과 출력 벡터를 나타낸다. \mathcal{F}(x, \{W_i\})는 학습되어야 할 잔차 매핑을 의미하며, + x 연산이 바로 스킵 연결에 해당한다. 이 간단한 덧셈 연산은 역전파 과정에서 경사도(gradient)가 추가적인 변환 없이 하위 계층으로 직접 흘러갈 수 있는 고속도로 역할을 한다. 이 구조 덕분에 깊은 신경망에서 흔히 발생하던 경사도 소실(vanishing gradient) 문제가 크게 완화되었고, 이전에는 학습이 불가능했던 극도로 깊은 신경망의 최적화가 가능해졌다.11

ResNet의 영향력은 즉각적이고 압도적이었다. 이 모델은 152개 층의 깊이를 가진 앙상블 모델을 사용하여 ILSVRC 2015 이미지 분류 대회에서 3.57%라는 기록적인 오류율로 1위를 차지했을 뿐만 아니라, 동일 대회의 객체 탐지(detection), 지역화(localization) 부문과 COCO 데이터셋을 사용한 객체 탐지 및 분할(segmentation) 부문에서도 모두 1위를 석권했다.11 이는 ResNet이 학습한 깊은 표현(representation)이 특정 과제에 국한되지 않고 다양한 컴퓨터 비전 문제에 효과적으로 일반화될 수 있음을 증명한 것이다. ResNet은 사실상 성능 저하 문제를 해결했으며, 수백, 수천 개의 층을 가진 신경망의 시대를 열었다. 이는 딥러닝 모델 설계의 패러다임을 근본적으로 바꾸어 놓은 혁명적인 성과였다.

2.2 재귀적 구조를 통한 효율성 증대: DRCN

CVPR 2016에서는 ResNet과 다른 철학으로 신경망의 깊이를 탐구한 주목할 만한 연구도 발표되었다. 서울대학교의 김지원, 이중권, 이경무 교수가 발표한 “Deeply-Recursive Convolutional Network for Image Super-Resolution” (DRCN)은 파라미터 효율성을 극대화하면서 깊은 네트워크의 이점을 활용하는 새로운 접근법을 제시했다.12

DRCN의 핵심 아이디어는 ’깊은 재귀 레이어(deeply-recursive layer)’의 도입에 있다. 이 구조에서는 동일한 가중치를 가진 컨볼루션 레이어 하나를 최대 16번까지 반복적으로 적용한다. 이는 각 층마다 새로운 파라미터를 추가하지 않고도 네트워크의 유효 깊이(effective depth)와 수용 영역(receptive field)을 크게 증가시키는 효과를 가져온다. 즉, 매우 적은 수의 파라미터로 극도로 깊은 네트워크와 유사한 계산을 수행할 수 있어 모델의 효율성이 매우 높다.12

하지만 이러한 재귀 구조는 표준적인 경사 하강법으로 학습시키기가 매우 어렵다는 고질적인 문제를 안고 있다. 동일한 가중치가 반복적으로 적용되기 때문에 역전파 과정에서 경사도가 폭발하거나(exploding gradients) 소실되는(vanishing gradients) 현상이 극심해지기 때문이다. 이 논문의 중요한 기여는 이러한 학습의 어려움을 완화하기 위해 제안된 두 가지 독창적인 기법에 있다. 첫째는 ’재귀적 지도(recursive supervision)’로, 최종 출력뿐만 아니라 각 재귀 단계의 중간 출력 모두에 대해 손실을 계산하고 학습에 반영하는 방식이다. 이는 깊은 네트워크의 각 부분에 명확한 학습 신호를 전달하여 경사도 흐름을 안정시킨다. 둘째는 ’스킵 연결(skip-connection)’로, 네트워크의 입력 이미지를 최종 출력에 직접 더해주는 구조이다. 이는 모델이 원본 이미지에서 변화해야 할 잔차 정보만을 학습하도록 유도하여 학습 과정을 단순화하고 수렴을 돕는다. 개념적으로 ResNet의 스킵 연결과 유사하지만, 여기서는 이미지 재구성이라는 특정 목적을 위해 사용되었다.

DRCN은 단순히 파라미터 수를 늘리는 것만이 고성능을 달성하는 유일한 길이 아님을 명확히 보여주었다. 파라미터를 영리하게 재사용하는 재귀적 구조를 통해, DRCN은 특히 이미지 초해상도(super-resolution)와 같은 저수준 비전 과제에서 깊은 표현력의 이점을 효율적으로 활용할 수 있는 대안적인 경로를 제시했다. 이는 모델의 크기와 계산 비용에 제약이 있는 환경에서 딥러닝을 적용하는 데 중요한 영감을 주었다.

2.3 종합 및 심층 분석

2016년 2분기 컴퓨터 비전 분야의 연구 동향을 종합해 보면, 두 가지 중요한 지적 흐름이 감지된다. 첫째는 연구의 패러다임이 ’특징 공학(feature engineering)’에서 ’아키텍처 공학(architecture engineering)’으로 완전히 전환되고 성숙기에 접어들었다는 점이다. 둘째는 네트워크의 깊이를 확장하는 방법에 대해 서로 다른 두 가지 철학, 즉 ‘가산적(additive)’ 접근법과 ‘재귀적(recursive)’ 접근법이 등장하여 경쟁했다는 점이다.

과거 딥러닝 시대 이전의 컴퓨터 비전 연구는 SIFT, SURF, HOG와 같은 수작업 특징 추출기(hand-crafted feature extractor)를 설계하는 데 수년간의 노력을 쏟는 ’특징 공학’이 지배적이었다. 시스템의 성능은 이러한 특징의 품질에 의해 좌우되었다. 2012년 AlexNet의 등장은 데이터로부터 직접 특징을 학습할 수 있음을 보여주며 이러한 패러다임의 전환을 예고했다. 그리고 2016년에 이르러 이 전환은 완성 단계에 접어들었다. 이제 혁신의 중심은 특징 자체나 기본적인 학습 알고리즘이 아니라, 신경망의 ‘구조(architecture)’ 그 자체가 되었다. ResNet과 DRCN은 이러한 변화의 가장 명백한 증거다.11 두 논문의 핵심 기여는 새로운 활성화 함수나 손실 함수가 아니라, 스킵 연결이나 재귀와 같은 새로운 ’층 연결 방식’을 통해 이전에는 학습이 불가능했던 극도로 깊은 모델을 성공적으로 훈련시킨 데 있다. 이는 연구의 중심 질문이 “모델이 무엇을 배워야 하는가?“에서 “학습이 가능한 구조를 어떻게 만들 것인가?“로 이동했음을 의미한다. 이는 컴퓨터 비전 분야가 중요한 성숙기에 도달했음을 보여주는 지표이며, 이후의 모든 딥러닝 연구는 이러한 아키텍처 공학의 토대 위에서 이루어지게 되었다.

동시에, CVPR 2016에서는 깊이를 확장하는 두 가지 상이한 철학이 제시되었다. ResNet은 ‘가산적’ 혹은 ‘스케일 아웃(scaling-out)’ 철학을 대표한다. 더 나은 성능을 얻기 위한 해법은 각각 고유한 파라미터를 가진 더 많은 층(빌딩 블록)을 추가하는 것이다. 이 접근법은 표현력의 용량을 극대화하며, 충분한 데이터와 컴퓨팅 자원이 있다면 “더 많은 것이 더 좋다(more is more)“는 가정을 기반으로 한다. ResNet의 압도적인 성공은 이후 대규모 AI 모델 개발의 주류가 된 이 철학의 타당성을 입증했다.11 반면, DRCN은 ‘재귀적’ 혹은 ‘스케일 업(scaling-up)’ 철학을 보여준다. 이 접근법은 파라미터 재사용과 반복적인 정제를 통해 깊이를 추구한다. 이는 효율성과 간결한 모델 표현을 우선시하며, 잘 설계된 소규모 네트워크를 반복적으로 적용함으로써 훨씬 더 큰 순방향 네트워크에 필적하는 결과를 얻을 수 있음을 시사한다. 이 두 가지 강력한 아이디어가 같은 시기에 등장했다는 사실은 오늘날까지도 계속되는 신경망 설계의 핵심적인 긴장 관계, 즉 원초적인 규모(와 그에 따른 비용)와 알고리즘적 또는 구조적 우아함 사이의 트레이드오프를 드러낸다. 비록 ResNet이 제시한 길이 이후의 연구를 지배하게 되었지만, DRCN의 파라미터 공유와 재귀 원칙은 순환 신경망(RNN), 모델 압축, 효율적인 딥러닝 분야에서 계속해서 중요한 영향력을 미치고 있다.

3. 로봇 공학의 진화: 지능형 계획 및 촉각 인지

2016년 5월 스웨덴 스톡홀름에서 개최된 IEEE 로봇 공학 및 자동화 국제 학회(ICRA 2016)는 로봇 공학 분야가 중요한 진화를 겪고 있음을 보여주었다.5 이 시기의 연구들은 더 유능하고 자율적인 로봇을 만들기 위해 필수적인 두 가지 축, 즉 추상적인 계획 알고리즘의 발전과 정교한 물리적 감지 기술의 심화에 집중했다. 학회 발표 논문 목록을 살펴보면, 동작 계획(motion planning), 학습(learning), 그리고 촉각을 이용한 조작(tactile manipulation)이 핵심적인 연구 주제였음을 알 수 있다.14 이는 로봇이 단순히 정해진 명령을 수행하는 기계를 넘어, 불확실한 환경을 이해하고 상호작용하며 지능적으로 과업을 수행하는 에이전트로 발전하고 있음을 시사한다.

3.1 연속 시간 궤적 최적화: 가우시안 프로세스 동작 계획

ICRA 2016에서 발표된 Mustafa Mukadam, Xinyan Yan, Byron Boots의 “Gaussian Process Motion planning“은 로봇의 동작 계획 문제에 대한 새로운 패러다임을 제시한 중요한 연구다.14 이 연구는 기존의 동작 계획 방식이 가진 근본적인 한계를 극복하고자 했다.

전통적인 동작 계획 알고리즘들은 로봇의 경로를 다수의 이산적인 경유점(waypoint)들의 집합으로 표현하는 경우가 많았다. 이 방식은 계산적으로 다루기 쉽다는 장점이 있지만, 본질적으로 연속적인 로봇의 움직임을 근사하는 데 한계가 있으며, 경로의 평활성(smoothness)을 보장하기 위해 추가적인 후처리 과정이 필요했다. 이 논문의 핵심적인 혁신은 로봇의 전체 궤적을 이산적인 점들의 나열이 아닌, ’연속 시간 함수(continuous-time function)’로 직접 모델링하는 접근법을 채택한 것이다. 이를 위해 저자들은 확률 모델의 일종인 ’가우시안 프로세스(Gaussian Process, GP)’를 활용했다.16 GP는 함수의 분포를 나타내는 강력한 도구로, 불확실성을 자연스럽게 다루면서도 평활한 연속적인 경로를 모델링하는 데 매우 적합하다.

이러한 표현 방식을 기반으로, 연구팀은 동작 계획 문제를 ‘팩터 그래프(factor graph) 상에서의 확률적 추론(probabilistic inference)’ 문제로 우아하게 재정의했다.18 이 프레임워크 내에서 로봇의 궤적은 GP 사전 확률(prior)에 의해 제약을 받으며, 장애물 회피와 같은 제약 조건들은 우도(likelihood) 함수로 모델링된다. 최적의 경로는 사후 확률을 최대화하는 추론 과정을 통해 찾아지며, 이는 효율적인 수치 최적화 기법으로 해결될 수 있다.

이 접근법은 여러 가지 중요한 이점을 제공한다. 첫째, 복잡한 궤적을 소수의 상태 변수만으로 표현할 수 있어 계산적으로 매우 효율적이다. 둘째, GP 모델의 특성상 생성된 궤적은 본질적으로 평활하며, 물리적으로 실현 가능하다. 논문에서 제안된 알고리즘(GPMP2)은 실험을 통해 기존의 다른 알고리즘들보다 “견고함을 유지하면서도 수 배 더 빠르다“는 것이 입증되었다.17 이 연구는 궤적 최적화 기법을 동적인 환경에서의 실시간 재계획(replanning)에 더 가깝게 만드는 중요한 진전을 이루었으며, 확률적 추론을 로봇 공학의 핵심 문제에 접목하는 흐름을 가속화했다.

3.2 인간의 감각을 모방하다: 생체모방 능동 촉각 조작

로봇의 지능이 추상적인 알고리즘뿐만 아니라 물리적 세계와의 상호작용을 통해 발현된다는 인식이 확산되면서, ICRA 2016에서는 정교한 센서 기술에 대한 연구도 활발히 이루어졌다. 그중에서도 영국 브리스톨 로보틱스 연구소의 Luke Cramphorn, Benjamin Ward-Cherrier, Nathan F. Lepora가 발표한 “Tactile manipulation with biomimetic active touch“는 촉각 인지 분야에서 주목할 만한 성과를 보여주었다.14

이 연구는 두 가지 핵심 개념을 기반으로 한다. 첫 번째는 ‘생체모방(biomimetic)’ 촉각 센서인 ’TacTip’이다. 이 센서는 인간 손가락의 물리적 구조와 감각 능력을 모방하여 설계되었으며, 부드러운 표면과 내부의 핀 구조를 통해 접촉 시 발생하는 미세한 변형을 감지한다.23 이를 통해 로봇은 단순한 접촉 유무를 넘어 압력 분포, 질감, 형상 등 풍부한 촉각 정보를 얻을 수 있다.

두 번째 핵심 개념은 ’능동적 촉각(active touch)’이다. 이는 인지를 수동적인 데이터 수집 과정이 아닌, 목적 지향적인 능동적 행위로 보는 관점이다. 인간이 물체의 특성을 파악하기 위해 손가락으로 만져보고, 문지르고, 두드려보는 것처럼, 이 연구의 로봇은 단순히 데이터를 기다리는 것이 아니라 가장 유용한 정보를 얻기 위해 지능적으로 센서의 위치와 움직임을 제어한다.21 즉, ’인지를 위한 행동(action for perception)’을 수행하는 것이다.

이 연구의 가장 놀라운 결과는 ‘초해상도(superresolved)’ 조작 능력의 구현이었다.22 로봇이 센서에 접촉한 물체의 위치를 인지하는 정밀도가 센서 자체의 물리적 해상도(즉, 내부 핀들의 간격)보다 더 높게 나타난 것이다. 이는 능동적인 센서 움직임을 통해 시간의 흐름에 따라 수집된 여러 개의 저해상도 정보를 통합하고 추론함으로써 달성되었다. 이 결과는 지능적인 제어와 정보 처리 알고리즘이 물리적 하드웨어의 한계를 뛰어넘어 시스템의 유효 성능을 향상시킬 수 있음을 실증적으로 보여준 중요한 사례다. 이 연구는 로봇이 시각에만 의존하지 않고, 인간과 같이 풍부한 촉각 정보를 활용하여 정교한 조작 과업을 수행할 수 있는 가능성을 열었다.

3.3 종합 및 심층 분석

ICRA 2016에서 발표된 연구들을 종합적으로 분석하면, 로봇 공학 분야가 중요한 성숙 단계에 접어들었음을 알 수 있다. 특히, 정교한 ’확률적 추론’과 풍부한 ‘물리적 감지’ 능력이 서로 분리된 연구 분야가 아니라, 상호보완적인 관계로 수렴하고 있다는 점이 명확해진다.

역사적으로 로봇 연구는 종종 계획(planning)과 인지(perception)를 별개의 모듈식 문제로 다루는 경향이 있었다. 한 연구 그룹은 경로 탐색을 위한 추상적인 알고리즘 개발에 집중하는 반면, 다른 그룹은 더 나은 센서를 만드는 데 주력했다. 그러나 2016년의 연구들은 이 두 영역이 깊고 공생적인 관계로 융합되고 있음을 보여준다. 가우시안 프로세스 동작 계획 연구는 로봇 공학의 계획 문제가 결정론적이고 격자 기반의 접근법에서 벗어나, 현실 세계의 불확실성과 연속성을 다루는 정교한 확률 모델로 전환되고 있음을 보여주는 대표적인 예다.14 이러한 확률적 계획 알고리즘은 환경의 불확실성을 효과적으로 모델링하고 줄이기 위해 더 좋고 풍부한 감각 데이터를 필요로 한다.

바로 이 지점에서 생체모방 촉각 조작 연구의 중요성이 부각된다.14 이 연구는 생물학적 감각을 모방하여 로봇에게 고품질의 풍부한 데이터를 제공하려는 노력을 보여준다. 이러한 데이터는 로봇이 자신의 행동을 현실 세계에 기반(grounding)하게 하고 불확실성을 줄이는 데 필수적이다. 더 나아가, ’능동적 촉각’의 개념은 이 두 영역의 융합을 극명하게 보여준다. 풍부한 감각 데이터의 가치는 실시간 의사결정을 위해 그 데이터를 지능적으로 사용할 수 있는 계획 알고리즘과 결합될 때 비로소 완전히 실현된다. 즉, 로봇은 단순히 데이터를 수집하는 것이 아니라, 어떤 데이터를 수집해야 자신의 불확실성을 가장 효과적으로 줄일 수 있는지 ’계획’하고 행동한다.

결론적으로, 이 두 연구 동향은 독립적인 것이 아니라 상호 강화적이다. 이는 로봇 공학이 개별 기술 요소의 개발을 넘어, 지능적인 물리적 에이전트를 구축하기 위한 보다 총체적이고 통합적인 접근 방식으로 나아가고 있음을 의미한다. 추상적 추론 능력과 물리적 상호작용 능력이 긴밀하게 결합될 때, 비로소 진정한 의미의 로봇 지능이 발현될 수 있다는 인식이 확산되고 있었던 것이다.

4. 언어의 이해와 생성: 자연어 처리의 신경망 혁명

2016년 6월, 미국 샌디에이고에서 개최된 북미 컴퓨터 언어학 학회(NAACL HLT 2016)는 자연어 처리(NLP) 분야에서 신경망 기반 접근법이 확고한 주류로 자리 잡았음을 선언하는 장이었다.7 특히, 어텐션 메커니즘(attention mechanism)을 결합한 인코더-디코더(encoder-decoder) 아키텍처는 기계 번역을 넘어 다양한 복잡한 NLP 과제를 해결할 수 있는 범용적인 프레임워크로 그 위상을 공고히 했다.25 이 시기의 연구들은 이 강력한 모델을 어떻게 더 정교하게 확장하고 새로운 문제에 창의적으로 적용할 것인가에 초점을 맞추었다.

4.1 다중 소스를 활용한 번역 품질 향상: 다중 소스 신경망 기계번역

NAACL 2016에서 발표된 Barret Zoph와 Kevin Knight의 “Multi-Source Neural Translation“은 신경망 기계번역(NMT)의 가능성을 한 단계 확장한 연구다.25 이 연구는 번역의 품질을 높이기 위해 단일 소스 언어에만 의존하는 기존 방식의 한계를 넘어서고자 했다.

표준적인 NMT 모델은 하나의 인코더를 사용하여 소스 언어 문장을 벡터 표현으로 압축하고, 하나의 디코더가 이 벡터를 기반으로 타겟 언어 문장을 생성하는 구조를 가진다.27 이 논문의 핵심적인 아이디어는 인코더를 여러 개 사용하는 ‘다중 소스(multi-source)’ 아키텍처를 도입한 것이다. 예를 들어, 특정 문장을 영어로 번역하고자 할 때, 이 모델은 프랑스어 원문과 독일어 원문을 각각 별도의 인코더에 동시에 입력으로 받을 수 있다. 각 인코더는 해당 언어의 문장을 독립적으로 인코딩하여 문맥 벡터를 생성하고, 이 벡터들은 결합되어 단일 디코더로 전달된다. 디코더는 이 통합된 의미 정보를 바탕으로 최종 영어 번역문을 생성한다.29

이 구조는 매우 강력한 개념을 실증했다. 즉, 여러 소스로부터 얻은 정보는 단일 소스보다 더 풍부하고 강건한 의미적 표현(semantic representation)을 형성하여, 결과적으로 번역의 정확성과 유창성을 향상시킬 수 있다는 것이다. 이는 인간 번역가가 여러 참고 자료를 활용하여 번역의 질을 높이는 과정과 유사하다. 이 연구는 단일 모델이 여러 언어 쌍에 대한 학습을 통해 상호 이점을 얻을 수 있음을 보여주며, 오늘날 표준이 된 다국어(multilingual) 번역 모델 개발의 중요한 초기 단계로 평가받는다. 특히, 학습 데이터에서 직접적으로 보지 못한 언어 쌍 간의 번역(zero-shot translation) 가능성을 탐구하는 후속 연구들에 중요한 영감을 주었다.30

4.2 창의적 요약의 가능성: 어텐션 기반 순환 신경망 요약

같은 학회에서 발표된 페이스북 AI 연구소의 Sumit Chopra, Michael Auli와 하버드 대학의 Alexander M. Rush가 공동 저술한 “Abstractive Sentence Summarization with Attentive Recurrent Neural Networks“는 인코더-디코더 프레임워크의 적용 범위를 창의적인 언어 생성 과제로 확장한 기념비적인 연구다.32

텍스트 요약 기술은 크게 두 가지로 나뉜다. ‘추출적(extractive)’ 요약은 원문에서 중요한 문장이나 구를 그대로 가져와 조합하는 방식인 반면, ‘추상적(abstractive)’ 요약은 원문의 의미를 이해한 후, 새로운 단어와 문장 구조를 사용하여 완전히 새로운 요약문을 생성하는 방식이다. 추상적 요약은 인간의 요약 방식과 유사하여 훨씬 더 자연스럽고 간결한 결과를 만들 수 있지만, 기술적으로 구현하기가 매우 어렵다.

이 논문의 핵심 기여는 기계 번역 분야를 혁신했던 어텐션 기반 시퀀스-투-시퀀스 모델을 이 어려운 추상적 요약 문제에 성공적으로 적용한 데 있다. 이 모델은 조건부 순환 신경망(Conditional RNN)을 디코더로 사용하여 요약문을 한 단어씩 생성한다. 여기서 결정적인 역할을 하는 것은 ’새로운 컨볼루션 어텐션 기반 인코더(novel convolutional attention-based encoder)’다.33 디코더가 요약문의 각 단어를 생성하는 시점마다, 어텐션 메커니즘은 인코딩된 원문 전체를 다시 참조하여 현재 생성할 단어와 가장 관련이 깊은 입력 단어들에 집중(attention)한다. 이를 통해 모델은 원문의 핵심 정보를 놓치지 않으면서도 문맥에 맞는 자연스러운 요약문을 생성할 수 있다.33

이 연구는 당시 최첨단 요약 시스템들의 성능을 여러 데이터셋에서 능가하며 그 효과를 입증했다.33 더 중요한 의의는, 이 강력한 아키텍처가 단순한 정보 변환(번역)을 넘어, 진정한 의미의 ’언어 이해’와 ’창의적 생성’을 수행할 수 있는 잠재력을 가지고 있음을 보여준 것이다. 이는 단순 분류나 번역을 넘어 더 발전된 NLP 능력으로 나아가는 중요한 발판이 되었으며, 이후 대규모 언어 모델을 이용한 다양한 생성 과제 연구의 초석을 다졌다.

4.3 종합 및 심층 분석

NAACL 2016에서 발표된 주요 연구들을 종합하면, 2016년 2분기는 ’어텐션을 갖춘 인코더-디코더 프레임워크’가 NLP 분야의 범용 엔진(general-purpose engine)으로 그 위상을 확고히 굳힌 시기였음을 알 수 있다.

2014년에서 2015년 사이에 처음 소개되고 개선된 시퀀스-투-시퀀스(seq2seq) 모델과 어텐션 메커니즘은 주로 기계 번역 분야에서 그 가능성을 입증했다. 그러나 불과 1~2년 만에 이 아키텍처는 번역만을 위한 도구가 아니라, 광범위한 NLP 문제에 적용될 수 있는 일반적인 프레임워크로 진화했다. Zoph와 Knight의 연구는 이 프레임워크를 다중 입력 소스를 처리하도록 확장했으며 26, Chopra 등의 연구는 이를 완전히 다른 과제인 추상적 요약에 성공적으로 적용했다.32 학회 발표 목록을 더 넓게 살펴보면, 대화 시스템, 질의응답, 문체 변환 등 다양한 문제에 동일한 기본 아키텍처가 변용되어 사용되고 있음을 확인할 수 있다.25

이러한 현상의 기저에는 강력한 ‘추상화’ 원리가 있다. 어떤 문제든 입력 시퀀스를 출력 시퀀스로 매핑하는 문제로 프레임화할 수만 있다면(예: 한 언어 문장을 다른 언어 문장으로, 긴 기사를 짧은 요약문으로, 질문을 답변으로), 이제 이 강력하고 단대단(end-to-end)으로 학습 가능한 단일 모델을 적용할 수 있게 된 것이다.

결론적으로, 2016년 2분기는 NLP 커뮤니티가 이 새로운 패러다임을 전면적으로 수용한 전환점이었다. 이는 마치 컴퓨터 비전 분야가 AlexNet의 등장으로 특징 공학에서 딥러닝으로 전환된 ’이미지넷 모멘트(ImageNet Moment)’가 NLP 분야에서 공고화되는 과정과 같았다. 연구의 초점은 각 과제에 특화된 특징 파이프라인과 개별 모델을 설계하는 것에서, 이 매우 효과적인 단일 범용 아키텍처를 개선하고 다양한 문제에 맞게 조정하는 것으로 이동했다. 이러한 방법론의 통일은 NLP 분야 전체에 걸쳐 빠르고 동시다발적인 발전을 촉발하는 기폭제가 되었다.

5. 지능의 통제와 안전: AI 안전성 연구의 부상

2016년 2분기는 AI의 능력이 폭발적으로 성장한 시기였을 뿐만 아니라, 그 능력에 대한 통제와 안전을 확보하려는 노력이 학문적 형태로 구체화된 결정적인 시기이기도 했다. 이전까지 AI의 위험성에 대한 논의가 주로 철학자나 미래학자들의 영역에 머물렀다면, 이 시기를 기점으로 AI 안전성은 주류 AI 연구소 내부에서 다루어야 할 구체적이고 실용적인 연구 의제로 전환되었다.

5.1 AI 안전성의 구체적 문제들: 구글 브레인의 선언적 연구

이러한 변화의 중심에는 2016년 6월, 구글 브레인, OpenAI, UC 버클리, 스탠퍼드 대학 소속의 최고 수준의 연구자들(Dario Amodei, Chris Olah, Jacob Steinhardt, Paul Christiano, John Schulman, Dan Mané)이 공동으로 발표한 “Concrete Problems in AI Safety“라는 제목의 논문이 있었다.9 이 논문은 AI 안전성을 막연한 철학적 담론에서 벗어나, 당대의 기계 학습 시스템, 특히 강화 학습 에이전트와 직접적으로 관련된 구체적인 공학 문제로 재정의했다는 점에서 기념비적인 의미를 가진다.

논문은 AI 시스템이 의도치 않은 해로운 행동을 유발할 수 있는 다섯 가지 실용적인 연구 문제를 명확히 제시했다.9

1. 부정적 부작용 회피 (Avoiding Negative Side Effects): AI 에이전트가 주어진 목표를 달성하는 과정에서, 목표 함수에 명시되지 않은 다른 환경 요소에 해로운 영향을 미치는 것을 어떻게 방지할 것인가의 문제다. 예를 들어, 청소 로봇이 더 빨리 먼지를 제거하기 위해 경로상의 꽃병을 넘어뜨리는 것과 같은 상황을 방지하는 것이다.36 이는 목표 함수를 완벽하게 설계하기 어려운 현실에서 발생하는 근본적인 문제다.

2. 보상 해킹 방지 (Avoiding Reward Hacking): 에이전트가 설계자가 의도한 과업을 실제로 수행하지 않으면서도, 보상 함수의 허점을 교묘하게 이용하여 높은 점수를 얻는 방법을 찾아내는 문제다. 예를 들어, 청소 로봇이 실제로 청소를 하는 대신, 자신의 진행률 표시기를 카메라 앞에 비추어 사람이 보고 있다고 착각하게 만드는 경우다.9 이는 보상 함수가 실제 목표와 완벽하게 일치하지 않을 때 발생할 수 있다.

3. 확장 가능한 감독 (Scalable Oversight): 인간이 에이전트의 모든 행동을 일일이 감독하고 피드백을 주는 것이 시간적, 비용적으로 불가능할 때, 어떻게 에이전트가 올바르게 행동하도록 보장할 것인가의 문제다. 이는 매우 드물거나 제한된 인간의 피드백만으로도 에이전트가 설계자의 의도를 학습하고 따르도록 만드는 방법을 요구한다.

4. 안전한 탐색 (Safe Exploration): 강화 학습 에이전트는 시행착오를 통해 환경을 학습한다. 이 과정에서 에이전트가 학습을 위해 치명적이거나 돌이킬 수 없는 해로운 행동을 시도하는 것을 어떻게 막을 것인가의 문제다. 예를 들어, 청소 로봇이 젖은 대걸레를 전기 콘센트에 넣어보는 것과 같은 위험한 탐색을 방지해야 한다.

5. 분포 변화에 대한 강건성 (Robustness to Distributional Shift): 에이전트가 훈련 데이터 환경과 다른 새로운 환경이나 상황에 놓였을 때, 이를 인지하고 예측 불가능한 행동 대신 안전하고 강건하게 대처하도록 만드는 문제다.37 이는 실험실 환경에서 개발된 AI가 예측 불가능한 현실 세계에 배치될 때 필수적으로 고려되어야 할 안전 요건이다.

이 논문은 발표 이후 AI 안전성 분야의 기초 문헌으로 자리 잡았으며, 이후 수년간의 연구 의제를 설정하는 데 결정적인 역할을 했다.36 이 연구는 기계 학습 커뮤니티가 AI 안전성 문제에 접근할 수 있도록 공통의 어휘와 해결 가능한 문제들의 집합을 제공했다.

5.2 종합 및 심층 분석

“Concrete Problems in AI Safety” 논문의 등장은 AI 안전성 분야의 역사에서 단순한 하나의 연구 발표 이상의 의미를 지닌다. 이는 AI 안전성이 철학적 우려에서 공학적 규율로 성숙하는 결정적인 순간을 상징한다.

2016년 이전까지 AI의 위험에 대한 논의는 주로 닉 보스트롬과 같은 철학자나 미래학자들이 주도했으며, 가상적인 초지능으로 인한 장기적이고 실존적인 위험에 초점을 맞추는 경향이 있었다. 흥미롭게도, 닉 보스트롬은 바로 이 시기에 개최된 CVPR 2016의 기조연설자 중 한 명이었는데, 이는 이 주제가 주류 AI 커뮤니티에서도 점차 중요하게 인식되고 있었음을 보여준다.4 하지만 이러한 거대 담론들은 당장 현실의 시스템을 개발하는 기계 학습 엔지니어들에게 명확한 연구 경로를 제시하기에는 너무 추상적이었다.

“Concrete Problems” 논문이 분수령이 된 이유는, AI 안전성이라는 주제를 의도적이고 성공적으로 재구성했기 때문이다.9 이 논문은 ’잘못 정렬된 AI(misaligned AI)’에 대한 추상적인 두려움을, 2016년에 실제로 개발되고 있던 강화 학습 에이전트와 직접적으로 관련된 구체적인 ’공학 문제’들의 집합으로 번역해냈다. 저자들은 철학자가 아니라, 가장 뛰어난 AI 시스템을 구축하던 바로 그 연구소의 핵심 기계 학습 연구자들이었다. 이는 이 연구 의제에 엄청난 신뢰성을 부여했으며, 기술 개발자들이 스스로 안전에 대한 책임을 지기 시작했다는 중요한 신호였다.

이 논문이 발표된 시점 또한 결코 우연이 아니다. 이 논문은 ResNet이 수천 개 층의 네트워크를 가능하게 하고, 시퀀스-투-시퀀스 모델이 복잡한 언어 과제를 정복하던 바로 그 분기에 등장했다. AI ’능력’의 빠르고 가시적인 발전이 AI ’안전’이라는 상응하는 학문 분야의 시급하고 부인할 수 없는 필요성을 만들어낸 것이다. AI가 더 강력해질수록, 그 힘을 올바르게 통제하는 방법론의 중요성도 기하급수적으로 커지기 때문이다.

따라서 2016년 2분기는 AI 안전성이 ’성년’이 된 시기라고 평가할 수 있다. 이 시기를 기점으로 AI 안전성은 소수의 철학적 주제에서 벗어나, 컴퓨터 과학의 주류 기술 분야로 자리 잡았다. 이는 더 강력한 AI 능력을 추구하는 연구와, 그 능력이 안전하고 강건하며 인간의 의도와 일치하도록 보장하는 방법을 추구하는 연구가 함께 진화해야 한다는, ’공진화(co-evolution)’의 시작을 알리는 신호탄이었다.

6. 결론: 종합 및 미래 전망

2016년 2분기는 인공지능 연구가 양적 성장을 넘어 질적 성숙을 이룬 결정적인 시기였다. 이 기간 동안 발표된 연구들은 각 분야에서 중요한 기술적 이정표를 세웠을 뿐만 아니라, 향후 AI 기술 발전의 청사진을 제시했다. 본 보고서에서 분석한 바와 같이, 이 시기는 심오한 ’통합’과 ’성숙’의 시기로 요약될 수 있다.

컴퓨터 비전 분야에서는 ResNet이 제시한 ’아키텍처 공학’이 신경망의 깊이에 대한 기존의 한계를 무너뜨리고 전례 없는 규모의 모델을 가능하게 했다. 이는 단순히 성능 향상을 넘어, 모델 설계의 패러다임 자체를 바꾸어 놓았다. 로봇 공학에서는 확률적 계획 알고리즘과 풍부한 물리적 감지 기술이 융합되면서, 로봇이 불확실한 현실 세계와 더 지능적으로 상호작용할 수 있는 기반이 마련되었다. 자연어 처리 분야에서는 어텐션을 갖춘 시퀀스-투-시퀀스 프레임워크가 기계 번역을 넘어 요약, 대화 등 다양한 언어 과제를 해결할 수 있는 범용 도구로서의 입지를 굳혔다. 그리고 가장 중요하게는, AI의 능력이 이처럼 급격히 팽창함에 따라, 그 기술을 책임감 있게 개발하기 위한 ‘AI 안전성’ 연구가 구체적인 공학 분야로서 공식적으로 등장했다.

2016년 2분기에 확립된 이러한 흐름들은 이후 5년간의 AI 연구 방향을 직접적으로 설정했다. ResNet의 원리는 이후 Transformer와 같은 더욱 거대하고 강력한 아키텍처의 등장을 예고했다. 로봇 공학에서의 융합적 접근은 자율 주행 자동차와 정교한 로봇 조작 기술의 발전을 가속화했다. 시퀀스-투-시퀀스 패러다임은 오늘날 기술 지형을 지배하고 있는 대규모 언어 모델(LLM)로 진화하는 직접적인 경로가 되었다. 그리고 AI 안전성 분야에서 제기된 구체적인 문제들은 AI 시스템이 전 세계적으로 배포됨에 따라 더욱 중요하고 핵심적인 연구 주제로 부상했다.

결론적으로, 2016년 2분기는 단순히 흥미로운 개별 연구들이 발표된 시기가 아니었다. 그것은 딥러닝이라는 혁신 기술이 성숙 단계에 접어들면서 각 분야의 방법론을 통일하고, 그 과정에서 발생할 수 있는 새로운 도전 과제(안전성)에 대한 학문적 대응을 시작한, AI의 미래를 위한 설계도가 그려진 시기였다. 이 시기에 다져진 지적 토대 위에서 오늘날 우리가 목도하고 있는 인공지능의 시대가 건설되었다고 해도 과언이 아닐 것이다.

7. 참고 자료

1. 2016 Overview (Annotated) | One Hundred Year Study on Artificial …, https://ai100.stanford.edu/2016-report/overview/with-2021-annotations
2. Google DeepMind: Bringing together two world-class AI teams, https://blog.google/technology/ai/april-ai-update/
3. Microsoft expands artificial intelligence (AI) efforts with creation of new Microsoft AI and Research Group - Source, https://news.microsoft.com/source/2016/09/29/microsoft-expands-artificial-intelligence-ai-efforts-with-creation-of-new-microsoft-ai-and-research-group/
4. CVPR 2016, https://cvpr2016.thecvf.com/
5. 2016 IEEE International Conference on Robotics and Automation (ICRA) - OneSearch, https://onesearch.wesleyan.edu/discovery/fulldisplay?docid=alma9932216909203768&context=L&vid=01CTW_WU:CTWWU&lang=en&search_scope=Everything&adaptor=Local%20Search%20Engine&tab=Everything&query=sub%2Cexact%2CAutomation%20%2CAND&mode=advanced&offset=0
6. ROBOTICS AND AUTOMATION. IEEE INTERNATIONAL CONFERENCE. 2016. (ICRA 2016) (6 VOLS) - proceedings.com, https://www.proceedings.com/30591.html
7. Conference Proceedings - NAACL HLT 2016 | San Diego, CA, http://naacl.org/naacl-hlt-2016/proceedings.html
8. Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL ’16) | CU Experts, https://vivo.colorado.edu/display/conference_02104910889
9. New AI safety research agenda from Google Brain | Victoria Krakovna - WordPress.com, https://vkrakovna.wordpress.com/2016/06/22/new-ai-safety-research-agenda-from-google-brain/
10. Concrete Problems in AI Safety, https://arxiv.org/abs/1606.06565
11. CVPR 2016 Open Access Repository, https://openaccess.thecvf.com/content_cvpr_2016/html/He_Deep_Residual_Learning_CVPR_2016_paper.html
12. Deeply-Recursive Convolutional Network for Image Super-Resolution, https://openaccess.thecvf.com/content_cvpr_2016/html/Kim_Deeply-Recursive_Convolutional_Network_CVPR_2016_paper.html
13. (PDF) Deeply-Recursive Convolutional Network for Image Super-Resolution (2016) | Jiwon Kim | 2830 Citations - SciSpace, https://scispace.com/papers/deeply-recursive-convolutional-network-for-image-super-22pp0n86z0
14. 2016 IEEE International Conference on Robotics and Automation …, https://researchr.org/publication/icra-2016
15. ‪Mustafa Mukadam‬ - ‪Google Scholar‬, https://scholar.google.com/citations?user=yYpm9LoAAAAJ&hl=en
16. (PDF) Gaussian Process Motion planning - ResearchGate, https://www.researchgate.net/publication/303885308_Gaussian_Process_Motion_planning
17. Continuous-time Gaussian process motion planning via probabilistic inference - Jing Dong, https://dongjing3309.github.io/files/Mukadam17arxiv.pdf
18. Gaussian Processes Incremental Inference for Mobile Robots Dynamic Planning ? - LAMoR, https://lamor.fer.hr/images/50036607/2020-petrovic-dynamic-ifac.pdf
19. (PDF) Motion planning with graph-based trajectories and Gaussian process inference, https://www.researchgate.net/publication/318689739_Motion_planning_with_graph-based_trajectories_and_Gaussian_process_inference
20. Continuous-Time Gaussian Process Motion Planning via Probabilistic Inference - arXiv, https://arxiv.org/abs/1707.07383
21. Cramphorn, L. P., Ward-Cherrier, B. P. J., & Lepora, N. F. (2016). Tactile manipulation with biomimetic active touch. In 201 - University of Bristol Research Portal, https://research-information.bris.ac.uk/files/71665678/Nathan_Lepora_Tactile_manipulation_with_biomimetic_active_touch.pdf
22. Tactile manipulation with biomimetic active touch — University of …, https://research-information.bris.ac.uk/en/publications/tactile-manipulation-with-biomimetic-active-touch
23. The TacTip Family: Soft Optical Tactile Sensors with 3D-Printed Biomimetic Morphologies - PubMed Central, https://pmc.ncbi.nlm.nih.gov/articles/PMC5905869/
24. FULL PAPER Recent Progress in Tactile Sensing and Sensors for Robotic Manipulation - Akihiko Yamaguchi, http://akihikoy.net/info/wdocs/Yamaguchi,Atkeson,2019-Recent%20progress%20in%20tactile%20sensing%20and%20sensors%20for%20robotic%20manipulation-ADR.pdf
25. Proceedings of the 2016 Conference of the North American Chapter …, https://aclanthology.org/volumes/N16-1/
26. Multi-Source Neural Translation - ACL Anthology, https://aclanthology.org/N16-1004/
27. arXiv:1611.04798v1 [cs.CL] 15 Nov 2016, https://arxiv.org/pdf/1611.04798
28. Neural Machine Translation - Stanford NLP Group, https://nlp.stanford.edu/projects/nmt/Luong-Cho-Manning-NMT-ACL2016-v4.pdf
29. Multi-Source Neural Model for Machine Translation of Agglutinative Language - MDPI, https://www.mdpi.com/1999-5903/12/6/96
30. Tutorial ACL 2016 - Neural Machine Translation - Google Sites, https://sites.google.com/site/acl16nmt/
31. Google’s Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation, https://transacl.org/index.php/tacl/article/view/1081
32. Abstractive Sentence Summarization with Attentive Recurrent Neural Networks, https://aclanthology.org/N16-1012/
33. Abstractive Sentence Summarization with Attentive … - Harvard NLP, https://nlp.seas.harvard.edu/papers/naacl16_summary.pdf
34. Abstractive Sentence Summarization With Attentive Recurrent, https://www.scribd.com/document/370505493/N16-1012
35. [PDF] Abstractive Text Summarization using Sequence-to-sequence RNNs and Beyond, https://www.semanticscholar.org/paper/Abstractive-Text-Summarization-using-RNNs-and-Nallapati-Zhou/f37076f426023241f19cdc2fb0a0fd733a6fa7fa
36. Concrete Problems in AI Safety | Request PDF - ResearchGate, https://www.researchgate.net/publication/304226143_Concrete_Problems_in_AI_Safety
37. AI + Safety - DNV Technology Insights, https://technologyinsights.dnv.com/ai-safety-position-paper/
38. AI Safety in Generative AI Large Language Models: A Survey - arXiv, https://arxiv.org/pdf/2407.18369