년 5월 AI 및 로봇 연구 동향

1. 초록

본 보고서는 2017년 5월을 기점으로 인공지능(AI) 및 로봇 공학 분야의 학술적 지형을 심층적으로 분석한다. 특히, 딥러닝 이론의 핵심적인 발전을 다룬 International Conference on Learning Representations (ICLR 2017)와 지능형 로봇 시스템의 실제적 응용을 조명한 IEEE International Conference on Robotics and Automation (ICRA 2017)의 주요 발표 연구, 특히 최우수 논문상 수상작들을 중심으로 고찰한다. ICLR에서는 딥러닝의 일반화(generalization)에 대한 근본적 재고찰, 신경망 아키텍처의 일반화를 위한 재귀(recursion)의 도입, 그리고 차분 프라이버시(differential privacy)를 보장하는 지식 이전(knowledge transfer) 방법론 등 AI의 이론적 기반을 뒤흔드는 중요한 담론이 형성되었다. 한편, ICRA에서는 무인 항공기(UAV)를 이용한 스마트 농업, 학습 기반의 작업 및 모션 계획(TAMP), 자기지도 학습(self-supervised learning)을 통한 시각적 기술자(visual descriptor) 습득, 그리고 미세 생물 조작 등 로봇 공학이 현실 세계의 복잡한 문제들을 해결하는 구체적인 사례들이 발표되었다. 본 보고서는 이들 핵심 연구의 저자, 소속 기관, 핵심 아이디어, 방법론, 그리고 학술적/산업적 중요성을 상세히 분석하고, 두 학회의 연구 흐름을 통합적으로 조망함으로써 2017년 당시 AI와 로봇 공학 분야가 직면한 도전과제와 미래 발전 방향을 제시하고자 한다.

2. 서론: 2017년 AI 및 로봇 연구의 지형도

2.1 연구 배경 및 목적

2017년은 딥러닝 기술이 학술적 성공을 넘어 산업 전반으로 확산되며 기술적 성숙기에 접어들던 중요한 시기였다. 이미지 인식, 자연어 처리, 음성 인식 등 다양한 분야에서 인간의 능력을 넘어서는 성능을 달성한 딥러닝 모델들이 연이어 등장하면서, 학계의 관심은 점차 성능의 극한을 추구하는 것에서 기술의 근본적인 원리와 내재적 한계를 탐구하는 방향으로 이동하기 시작했다. 수억 개에 달하는 파라미터를 가진 거대한 신경망이 어떻게 제한된 데이터만으로도 새로운 데이터에 대해 높은 예측 정확도를 보이는가 하는 ’일반화’의 수수께끼, 모델이 학습 과정에서 민감한 개인정보를 의도치 않게 기억하는 ‘프라이버시’ 문제, 그리고 단순한 패턴 인식을 넘어 논리적이고 절차적인 ‘추론’ 능력을 어떻게 부여할 것인가 하는 과제들이 핵심적인 연구 주제로 부상했다.

이러한 배경 속에서 본 보고서는 2017년 5월을 기준으로 인공지능 이론과 로봇 공학 응용 분야의 최전선에서 이루어진 핵심 연구 성과들을 체계적으로 정리하고, 그 학술적, 기술적 의미를 심층적으로 분석하는 것을 목적으로 한다. 이 시점은 AI 연구의 패러다임이 ’얼마나 잘 작동하는가(performance)’에서 ’왜, 어떻게 작동하며 그 한계는 무엇인가(principles and limitations)’로 전환되는 중요한 변곡점이었다. 딥러닝의 성공에 고무된 연구자들은 그 성공의 이면에 있는 이론적 공백을 메우고, 기술의 신뢰성과 안정성을 확보하려는 노력을 경주하기 시작했다. 본 보고서는 이러한 전환기의 지적 흐름을 포착하여, 당시 AI와 로봇 공학 분야가 마주한 도전과 그에 대한 창의적인 해법들을 조망하고자 한다.

2.2 분석 대상 및 범위

본 분석의 핵심 대상은 2017년 4월과 5월에 걸쳐 개최된 두 개의 최고 수준 학술대회, 즉 International Conference on Learning Representations (ICLR) 2017과 IEEE International Conference on Robotics and Automation (ICRA) 2017이다. ICLR은 2017년 4월 24일부터 26일까지 프랑스 툴롱에서 개최되었으며 1, 표현 학습(Representation Learning) 분야를 대표하는 학회로서 딥러닝의 이론적 기반과 새로운 모델 아키텍처에 대한 논의를 주도한다.3 ICRA는 2017년 5월 29일부터 6월 3일까지 싱가포르에서 개최되었으며 5, 로봇 공학 및 자동화 분야의 플래그십 컨퍼런스로서 지능형 로봇 시스템의 설계, 제어, 인식, 그리고 실제적 응용에 관한 최신 연구 성과가 발표되는 장이다.7

이 두 학회를 분석 대상으로 선정한 이유는 각각 AI의 근본 이론과 로봇 공학의 최첨단 응용을 대표하며, 2017년 당시 두 분야의 상호작용과 발전 방향을 가장 명확하게 보여주기 때문이다. 분석의 깊이를 확보하기 위해, 각 학회에서 동료 심사를 통해 가장 뛰어난 연구로 인정받은 ‘최우수 논문상(Best Paper Award)’ 수상작들을 중심으로 상세히 다룰 것이다. 이들 논문은 해당 분야의 가장 중요한 문제의식을 담고 있으며, 후속 연구에 미치는 파급력이 크기 때문에 시대적 흐름을 이해하는 데 있어 핵심적인 역할을 한다.

참고로, 컴퓨터 비전 분야의 최고 학회인 Conference on Computer Vision and Pattern Recognition (CVPR) 2017은 2017년 7월 21일부터 26일까지 하와이 호놀룰루에서 개최되어 9, 본 보고서가 설정한 5월이라는 시간적 분석 범위에서는 제외되었음을 명시하여 분석의 경계를 명확히 한다.

2.3 보고서의 구성

본 보고서는 총 2부로 구성된다. 제1부에서는 ’표현 학습과 딥러닝의 이론적 지평 확장’이라는 주제 하에 ICLR 2017에서 발표된 주요 연구들을 심층 분석한다. 특히 딥러닝의 일반화, 신경망의 알고리즘 학습 능력, 그리고 프라이버시 보존 학습이라는 세 가지 핵심 주제를 다룬 최우수 논문들을 상세히 고찰한다.

제2부에서는 ’지능형 로봇 시스템의 구현과 응용’을 주제로 ICRA 2017의 주요 성과를 다룬다. 스마트 농업, 인지 로봇 공학, 로봇 조작 및 비전, 서비스 및 의료 로봇 등 다양한 분야에서 최우수 논문상을 수상한 연구들을 통해 로봇 기술이 어떻게 현실 세계의 복잡한 문제들을 해결해 나가고 있는지를 구체적으로 살펴본다.

마지막 결론에서는 제1부와 제2부의 분석 결과를 종합하여 2017년 당시 AI 이론과 로봇 응용 연구의 상호 연관성을 조명하고, 이를 바탕으로 향후 연구 개발의 주요 방향을 전망하며 보고서를 마무리한다.

3. 표현 학습과 딥러닝의 이론적 지평 확장 (ICLR 2017)

3.1 도입

2017년 4월 프랑스 툴롱에서 개최된 ICLR 2017은 딥러닝과 표현 학습 분야의 학술적 논의가 정점에 달했음을 보여주는 상징적인 행사였다. 학회는 피처 학습(feature learning), 메트릭 학습(metric learning), 강화 학습(reinforcement learning), 비볼록 최적화(non-convex optimization) 등 표현 학습과 관련된 광범위한 주제를 포괄했다.2 특히 이 해의 ICLR은 단순히 새로운 모델을 제안하고 성능을 경쟁하는 것을 넘어, 인공지능 분야가 오랫동안 품어온 근본적인 질문들을 정면으로 다루는 연구들이 학계의 가장 높은 주목을 받았다는 점에서 그 의의가 크다. 최우수 논문으로 선정된 연구들은 딥러닝 모델의 일반화 능력에 대한 기존의 이해에 의문을 제기하고, 신경망에 알고리즘적 추론 능력을 부여하는 새로운 방법을 제시하며, 민감한 데이터를 안전하게 학습하기 위한 프라이버시 프레임워크를 제안하는 등, 분야의 이론적 지평을 한 단계 넓히는 중요한 역할을 수행했다.

Table 1: ICLR 2017 최우수 논문상 수상 연구 요약

3.2 딥러닝 일반화에 대한 근본적 재고찰: Understanding deep learning requires rethinking generalization

이 논문은 2017년 ICLR에서 가장 큰 반향을 일으킨 연구 중 하나로, 딥러닝의 일반화(generalization) 능력에 대한 기존의 통념을 정면으로 반박하며 새로운 이론적 탐구의 필요성을 역설했다.

3.2.1 저자 및 소속

본 연구는 당시 인공지능 연구를 선도하던 Google Brain 소속 연구진을 중심으로 수행되었다. 저자진은 Chiyuan Zhang, Samy Bengio, Moritz Hardt, Benjamin Recht, Oriol Vinyals로 구성되어 있으며, 이들은 딥러닝, 최적화, 기계학습 이론 분야에서 세계적인 권위를 인정받는 학자들이다.15 이러한 저자 구성은 본 연구가 가진 깊이와 신뢰성을 뒷받침한다.

3.2.2 핵심 아이디어

논문의 핵심 주장은, 파라미터 수가 훈련 데이터의 수보다 훨씬 많은 현대의 대규모 딥러닝 모델이 어떻게 미지의 데이터에 대해서도 높은 성능을 보이는지, 즉 ’일반화’가 잘 되는지를 기존의 통계적 학습 이론으로는 설명할 수 없다는 것이다.16 전통적인 학습 이론은 모델의 복잡도(complexity)가 낮을수록 일반화 오차가 작아진다고 설명한다. VC 차원(VC dimension)이나 Rademacher 복잡도(Rademacher complexity)와 같은 척도를 사용하여 모델의 표현력을 제한하고, 가중치 감쇠(weight decay)나 드롭아웃(dropout)과 같은 정규화(regularization) 기법을 통해 과적합(overfitting)을 방지하는 것이 일반화 성능을 확보하는 핵심 전략으로 여겨져 왔다.

그러나 저자들은 이러한 전통적 관점이 딥러닝의 현실과 괴리되어 있음을 지적한다. 그들은 일련의 체계적인 실험을 통해, 최첨단 심층 컨볼루션 신경망(CNN)이 훈련 데이터의 실제 레이블을 완전히 무작위로 뒤섞어도 훈련 오차를 0으로 만들 수 있음을 보여주었다.12 이는 딥러닝 모델이 데이터에 내재된 실제 패턴을 학습하는 것을 넘어, 아무런 규칙성이 없는 데이터조차도 통째로 ’암기’할 수 있을 만큼 거대한 유효 용량(effective capacity)을 가지고 있음을 의미한다. 만약 모델이 무작위 노이즈까지 완벽하게 암기할 수 있다면, 왜 실제 데이터에 대해서는 과적합되지 않고 우수한 일반화 성능을 보이는가? 이 질문에 대해 기존 이론은 명쾌한 답을 제시하지 못하며, 따라서 딥러닝의 일반화에 대한 근본적인 재고찰이 필요하다는 것이 이 논문의 핵심적인 문제 제기이다.

3.2.3 방법론

저자들은 자신들의 주장을 뒷받침하기 위해 실험적 증명과 이론적 분석을 병행하는 엄밀한 방법론을 채택했다.

첫째, **무작위화 실험(Randomization Tests)**을 설계하여 딥러닝 모델의 암기 능력을 정량적으로 입증했다. CIFAR-10, ImageNet과 같은 표준 이미지 분류 데이터셋을 사용하여 다음과 같은 실험을 수행했다.12

• True labels: 원래 데이터셋으로 모델을 훈련시켜 기준 성능을 측정한다.

• Partially corrupted labels: 훈련 레이블의 일부를 무작위로 변경하며 일반화 오차의 변화를 관찰한다.

• Random labels: 훈련 레이블 전체를 완전히 무작위로 섞은 후 모델을 훈련시킨다.

• Shuffled pixels: 이미지 내 픽셀들의 순서를 무작위로 섞어 이미지의 구조적 정보를 파괴한 후 훈련시킨다.

• Random pixels: 이미지를 가우시안 노이즈와 같은 완전한 무작위 픽셀로 대체한 후 훈련시킨다.

실험 결과, 놀랍게도 Inception과 같은 표준적인 대규모 CNN 모델이 하이퍼파라미터 변경 없이도 무작위 레이블에 대해 훈련 오차 0을 달성했다. 물론 이때 테스트 오차는 무작위 추측과 다를 바 없었지만, 최적화 과정 자체는 실제 레이블을 학습할 때와 비교하여 약간의 시간 지연만 있을 뿐 매우 안정적으로 진행되었다.17 이는 모델의 표현력이 데이터의 통계적 패턴 유무와 무관하게 충분히 크다는 것을 시사한다.

둘째, 정규화 기법의 역할을 재평가했다. 저자들은 가중치 감쇠, 드롭아웃, 데이터 증강(data augmentation)과 같은 명시적 정규화 기법들이 모델의 일반화 성능에 미치는 영향을 분석했다.17 실험 결과, 이러한 정규화 기법들은 일반화 성능을 일부 향상시키는 효과는 있었지만, 모델이 무작위 레이블을 암기하는 현상을 근본적으로 막지는 못했다. 이는 명시적 정규화가 딥러닝의 일반화를 설명하는 필요조건도, 충분조건도 아닐 수 있음을 의미한다. 저자들은 정규화가 과적합을 방지하는 근본적인 해결책이라기보다는, 최종 테스트 성능을 미세하게 조정(tuning)하는 역할을 할 뿐이라고 해석했다.

셋째, **이론적 구성(Theoretical Construction)**을 통해 모델의 표현력을 수학적으로 뒷받침했다. 저자들은 파라미터의 수가 데이터 포인트의 수(n)와 차원(d)의 곱을 초과하기만 하면, ReLU 활성 함수를 사용하는 간단한 2계층 신경망(가중치 2n+d개)조차도 크기가 n인 d차원 샘플에 대한 어떠한 함수라도 표현할 수 있음을 이론적으로 증명했다.11 이는 대규모 신경망이 유한한 훈련 데이터를 완벽하게 표현(암기)할 수 있는 능력이 내재되어 있음을 보여주는 강력한 이론적 근거가 된다.

3.2.4 중요성 및 영향

이 논문은 딥러닝 연구 커뮤니티에 거대한 파장을 일으켰다. 딥러닝의 성공 비결이 모델의 복잡도를 제한하는 데 있는 것이 아니라면, 그 원천은 다른 곳에 있다는 것을 명확히 했기 때문이다. 이 연구는 다음과 같은 중요한 영향과 시사점을 남겼다.

• 연구 방향의 전환: ’신경망은 왜 일반화가 잘 되는가?’라는 근본적인 질문에 대한 연구를 촉발시키는 기폭제가 되었다. 이 논문 이후, 학계의 관심은 모델 구조나 명시적 정규화에서 벗어나, 확률적 경사 하강법(SGD)과 같은 최적화 알고리즘 자체에 내재된 ‘암묵적 정규화(implicit regularization)’ 효과를 탐구하는 방향으로 크게 전환되었다. SGD가 수많은 해(solution) 중에서 특별히 일반화 성능이 좋은 ‘평탄한(flat)’ 최소점(minima)을 선호하는 경향이 있다는 가설 등이 활발히 연구되기 시작했다.

• 이론과 실제의 간극 제시: 통계적 학습 이론과 딥러닝의 실제 동작 사이의 깊은 간극을 명확히 드러냄으로써, 딥러닝을 설명하기 위한 새로운 이론적 프레임워크의 필요성을 역설했다. 이는 이후 딥러닝 이론 연구의 중요한 동기 부여가 되었다.12

• 실용적 교훈: 모델의 파라미터 수를 늘리는 것에 대한 막연한 두려움을 해소하고, 더 크고 표현력 있는 모델을 설계하는 것을 장려하는 분위기를 조성했다. 중요한 것은 모델의 크기 자체가 아니라, 그 큰 용량을 어떻게 ‘좋은’ 방향으로 유도하는가에 있다는 인식을 확산시켰다.

결론적으로, 이 논문은 딥러닝을 하나의 ‘과학’ 분야로 격상시키는 데 결정적인 역할을 했다. 단순히 잘 작동하는 기술을 넘어, 그 작동 원리를 깊이 있게 탐구하고 이해하려는 지적 흐름을 만들어냈으며, 2017년 이후 딥러닝 이론 연구의 지형도를 바꾸어 놓은 기념비적인 연구로 평가받는다.

3.3 신경망 프로그래밍의 일반화를 위한 재귀의 도입: Making neural programming architectures generalize via recursion

딥러닝 모델이 패턴 인식을 넘어 덧셈이나 정렬과 같은 명확한 절차를 가진 알고리즘을 학습할 수 있을까? 이 질문에 답하기 위해, 본 연구는 컴퓨터 과학의 가장 근본적인 개념 중 하나인 ’재귀(recursion)’를 신경망 아키텍처에 도입하는 혁신적인 접근법을 제시했다.

3.3.1 저자 및 소속

이 연구는 University of California, Berkeley의 컴퓨터 과학과 소속 연구팀에 의해 수행되었다. 저자는 Jonathon Cai, Richard Shin, 그리고 저명한 보안 및 AI 연구자인 Dawn Song 교수로 구성되어 있다.13 이는 본 연구가 딥러닝과 프로그래밍 언어, 그리고 형식 검증(formal verification)의 아이디어를 융합하려는 시도임을 시사한다.

3.3.2 핵심 아이디어

논문의 핵심 아이디어는, 기존의 신경망 기반 프로그램 학습 모델들이 훈련 데이터에 없었던 더 길거나 복잡한 입력에 대해 일반화 성능이 급격히 저하되는 문제를 해결하기 위해, 문제 해결의 핵심적인 추상화(abstraction) 도구인 **‘재귀’**를 도입해야 한다는 것이다.13

컴퓨터 과학에서 재귀 함수는 두 가지 핵심 요소로 정의된다: (1) 더 이상 분해되지 않는 문제의 해를 직접 반환하는 기본 케이스(base cases), 그리고 (2) 주어진 문제를 더 작은 크기의 동일한 문제로 변환하는 축소 규칙(reduction rules). 저자들은 신경망이 이러한 재귀적 구조를 학습하도록 유도하면, 복잡한 문제를 작은 단위의 문제들로 분해하여 해결하는 방법을 배울 수 있다고 주장했다. 이렇게 되면, 각 신경망 모듈이 처리해야 할 문제의 영역(domain)이 극적으로 축소되어 학습이 용이해지고, 전체 시스템의 동작을 예측하고 심지어 증명하는 것까지 가능해진다는 것이다.13 즉, 재귀는 신경망이 데이터의 피상적인 통계적 특성이 아닌, 알고리즘의 내재적인 의미론적 구조(semantic structure)를 학습하도록 강제하는 강력한 귀납적 편향(inductive bias)으로 작용한다.

3.3.3 방법론

저자들은 자신들의 아이디어를 구체화하고 검증하기 위해, 기존의 신경망 프로그래밍 아키텍처를 확장하는 방식을 택했다.

첫째, NPI(Neural Programmer-Interpreter) 아키텍처를 기반으로 삼았다. ICLR 2016에서 Reed와 de Freitas가 제안한 NPI는, LSTM과 같은 순환 신경망(RNN)이 ‘컨트롤러’ 역할을 하여 현재 환경 상태와 인수를 입력받아 다음에 실행할 하위 프로그램(sub-program)을 동적으로 결정하는 구조를 가진다.11 이 구조는 프로그램 호출 시 현재 문맥(context)을 스택(stack)에 저장하는 기능을 내포하고 있어, 프로그램이 자기 자신을 호출하는, 즉 재귀를 자연스럽게 지원할 수 있는 잠재력을 가지고 있었다.13

둘째, 재귀적 학습 트레이스(Recursive Training Traces)를 생성하여 모델을 훈련시켰다. NPI는 프로그램의 각 단계별 실행 기록인 ’실행 트레이스(execution trace)’를 정답으로 삼아 지도 학습을 수행한다. 저자들은 이 트레이스를 재귀적인 방식으로 재구성했다. 예를 들어, ’세 자리 수 덧셈’을 학습시키기 위해 반복문(iteration) 형태의 트레이스를 사용하는 대신, ’한 자리 수 덧셈’을 기본 케이스로 정의하고, ‘세 자리 수 덧셈’ 문제를 ’한 자리 수 덧셈’과 ‘두 자리 수 덧셈’ 문제로 분해하는 재귀 호출 형태의 트레이스를 생성하여 제공했다.13 이 방식은 버블 정렬(bubble sort), 위상 정렬(topological sort), 퀵 정렬(quicksort)과 같은 더 복잡한 알고리즘에도 동일하게 적용되었다.

셋째, **증명 가능한 일반화(Provable Generalization)**라는 개념을 도입했다. 재귀적 구조 덕분에, 모델의 일반화 성능을 증명하는 것이 가능해졌다. 모델이 학습 과정에서 (1) 모든 기본 케이스를 정확히 처리하고, (2) 모든 축소 규칙을 올바르게 학습했음을 유한한 크기의 ’검증 집합(verification set)’을 통해 확인할 수 있다면, 이론적으로 해당 모델은 훈련 데이터에서 보지 못한 임의의 유효한 입력에 대해서도 100% 정확하게 작동할 것임을 보장할 수 있다.11 이는 기존 딥러닝 모델의 동작을 통계적으로만 평가할 수 있었던 것과 비교해, 결정론적이고 형식적인 검증의 가능성을 연 획기적인 시도였다.

3.3.4 중요성 및 영향

이 논문은 딥러닝과 기호적 추론의 결합 가능성을 탐색하는 ‘신경-심볼릭(Neuro-Symbolic) AI’ 분야에 중요한 이정표를 제시했다.

• 알고리즘 학습의 새로운 지평: 신경망이 단순히 데이터를 분류하거나 생성하는 것을 넘어, 퀵 정렬과 같은 복잡한 알고리즘의 절차적 지식을 학습하고 완벽하게 일반화할 수 있음을 실험적으로 증명했다.13 이는 AI가 인간의 고차원적인 추론 능력을 모방할 수 있는 가능성을 한층 높인 결과였다.

• 해석 가능성 및 신뢰성 증대: 재귀라는 구조적 제약을 통해 모델의 내부 동작을 더 쉽게 해석하고, 그 행동을 예측 및 검증할 수 있게 만들었다. 이는 자율주행차나 의료 진단과 같이 높은 신뢰성이 요구되는 분야에 AI를 적용하기 위해 반드시 해결해야 할 과제에 대한 중요한 실마리를 제공했다.

• 후속 연구에 대한 영감: 이 연구는 이후 신경망에 스택, 큐, 메모리 등 외부적인 기호 조작 모듈을 결합하려는 다양한 후속 연구들에 영감을 주었다.21 딥러닝의 강력한 표현 학습 능력과 기호주의 AI의 체계적인 추론 능력을 통합하려는 시도는 AI 연구의 중요한 흐름 중 하나로 자리 잡게 되었다.

결론적으로, 이 논문은 신경망을 ’블랙박스’에서 문제의 구조를 반영하는 ’화이트박스’로 전환하려는 시도였다. 딥러닝에 컴퓨터 과학의 고전적인 지혜를 접목함으로써, 모델의 일반화 능력과 신뢰성을 동시에 확보할 수 있는 새로운 길을 개척한 선구적인 연구로 평가된다.

3.4 개인정보 보호를 위한 준지도 지식 이전 기법: Semi-supervised knowledge transfer for deep learning from private training data

딥러닝 모델이 방대한 데이터를 학습하면서 얻는 놀라운 성능의 이면에는 심각한 위험이 도사리고 있다. 바로 모델이 훈련 과정에서 민감한 개인정보를 의도치 않게 ’기억’하고, 이를 통해 사용자의 프라이버시가 유출될 수 있다는 점이다. 이 논문은 이러한 문제를 해결하기 위해, 엄격한 프라이버시 보장을 제공하면서도 모델의 유용성을 희생하지 않는 혁신적인 학습 프레임워크를 제안했다.

3.4.1 저자 및 소속

본 연구는 Google Brain을 중심으로 한 최고의 AI 및 보안 연구자들의 협력으로 이루어졌다. 저자진은 Nicolas Papernot (당시 Google 인턴, Pennsylvania State University), Martín Abadi, Úlfar Erlingsson, Ian Goodfellow, Kunal Talwar로, 이들은 각각 프라이버시, 딥러닝, 보안 분야의 세계적인 전문가들이다.14 특히 Ian Goodfellow는 GAN(Generative Adversarial Network)의 창시자이며, Martín Abadi는 딥러닝과 프라이버시 연구를 개척한 인물로, 이들의 참여는 본 연구의 깊이와 중요성을 잘 보여준다.

3.4.2 핵심 아이디어

논문의 핵심 아이디어는 민감한 데이터로 직접 훈련된 모델을 외부에 공개하는 대신, 이 모델들의 ’지식’만을 프라이버시가 보존되는 방식으로 추출하여 새로운 ‘학생’ 모델을 훈련시키는 것이다.14 이 프레임워크는 **‘교사 앙상블의 비공개 집계(PATE, Private Aggregation of Teacher Ensembles)’**라고 명명되었다.14

PATE의 기본 원리는 다음과 같다.

1. 분할된 학습: 민감한 전체 데이터셋을 여러 개의 서로소 집합(disjoint subsets)으로 분할한다.

2. 교사 앙상블: 각 데이터 부분집합을 사용하여 독립적인 ‘교사(teacher)’ 모델을 각각 훈련시킨다. 이 교사 모델들은 민감한 데이터에 직접 접근했기 때문에 절대로 외부에 공개되지 않는다.

3. 프라이버시가 보장된 집계: 새로운 데이터에 대한 레이블이 필요할 때, 앙상블 내의 모든 교사 모델이 각자 예측(투표)을 수행한다. 이 투표 결과 중 가장 많은 표를 얻은 레이블에 신중하게 계산된 양의 무작위 노이즈(random noise)를 추가한 뒤, 이 결과를 최종 레이블로 사용한다.

4. 지식 이전: 이렇게 프라이버시가 보장된 방식으로 생성된 레이블들을 사용하여, 민감하지 않은 공개 데이터나 레이블이 없는 데이터를 학습하는 완전히 새로운 ‘학생(student)’ 모델을 훈련시킨다. 최종적으로 사용자에게 배포되는 것은 이 ‘학생’ 모델이다.

이러한 접근법은 직관적으로도 강력한 프라이버시를 제공한다. 학생 모델은 개별 교사 모델이나 원본 민감 데이터에 전혀 접근할 수 없으며, 단지 여러 교사들의 ’합의된 의견’에 노이즈가 섞인 결과만을 학습하기 때문이다. 따라서 어떤 한 명의 데이터(예: 특정 환자의 의료 기록)가 학생 모델의 최종 파라미터에 미치는 영향은 극도로 제한된다. 더 나아가, 저자들은 이 직관적인 아이디어를 **‘차분 프라이버시(Differential Privacy)’**라는 엄격한 수학적 프레임워크를 통해 정량적으로 분석하고 증명했다.

3.4.3 방법론

PATE 프레임워크는 여러 정교한 기법들의 조합으로 구성된다.

첫째, 교사-학생(Teacher-Student) 모델 구조를 채택했다. 민감한 데이터는 n개의 부분집합 (X_i, Y_i)으로 나뉘고, 각각의 데이터로 교사 모델 fi​가 훈련된다. 학생 모델은 이 교사들의 앙상블 예측을 통해 생성된 레이블로 학습되는데, 이때 학습 데이터로는 민감하지 않은 공개 데이터를 활용할 수 있다. 이 지식 이전(knowledge transfer) 과정은 블랙박스 방식으로 이루어져, 학생은 교사의 내부 파라미터를 전혀 알 수 없다.14

둘째, 노이즈가 추가된 집계(Noisy Aggregation) 메커니즘을 통해 차분 프라이버시를 보장한다. 특정 입력 x에 대해 교사들의 예측 레이블 집합에서 가장 빈도가 높은 레이블 j를 찾는 함수를 M(x) = \arg\max_j |{i: f_i(x)=j}|라고 할 때, 최종 레이블은 이 값에 라플라스 메커니즘(Laplacian mechanism)을 적용하여 노이즈를 추가한 결과를 반환한다. 이 노이즈의 크기는 프라이버시 예산(privacy budget) \epsilon에 의해 결정되며, \epsilon이 작을수록 더 강력한 프라이버시를 보장한다.14

셋째, 준지도 학습(Semi-supervised Learning)과의 결합을 통해 프라이버시-정확도 트레이드오프를 획기적으로 개선했다. 학생 모델을 훈련시키기 위해 교사 앙상블에 레이블링을 요청하는 횟수가 많아질수록 프라이버시 예산이 더 많이 소모된다. 이 쿼리 횟수를 줄이기 위해, 저자들은 GAN을 활용한 준지도 학습 기법을 도입했다 (이를 PATE-G라 칭함). 학생 모델이 소량의 레이블링된 데이터와 대량의 레이블 없는 공개 데이터를 함께 사용하여 학습하도록 함으로써, 교사에게 의존하는 정도를 크게 줄이고 프라이버시 예산을 아낄 수 있었다.14

넷째, Moments Accountant 기법을 적용하여 프라이버시 손실을 더 정밀하게 분석했다. 이는 교사들의 투표 결과가 만장일치에 가까울수록 정보 유출량이 적다는 사실에 착안하여, 데이터에 따라 프라이버시 손실을 동적으로 계산하는 고급 분석 기법이다. 이를 통해 더 적은 노이즈로도 동일한 수준의 프라이버시를 보장받을 수 있게 되어, 모델의 최종 정확도를 높이는 데 기여했다.14

3.4.4 중요성 및 영향

PATE는 프라이버시 보존 머신러닝(Privacy-Preserving Machine Learning, PPML) 분야에 중요한 돌파구를 마련한 연구이다.

• 최고 수준의 프라이버시-유용성 달성: 이 연구는 차분 프라이버시라는 강력한 보장을 제공하면서도, MNIST 데이터셋에서 (\epsilon, \delta) = (2.04, 10^{-5}) 조건 하에 98%라는 매우 높은 분류 정확도를 달성했다. 이는 당시 프라이버시와 모델 유용성(utility) 사이의 트레이드오프 관계를 획기적으로 개선한 결과였다.14

• 일반성 및 적용 가능성: PATE 프레임워크는 교사나 학생 모델의 종류(예: CNN, RNN, 랜덤 포레스트 등)에 제약을 받지 않는 블랙박스 방식이므로, 다양한 머신러닝 문제에 폭넓게 적용될 수 있다. 이는 비볼록(non-convex) 모델인 딥러닝에도 쉽게 적용 가능하다는 점에서 이전 연구들과 차별화된다.22

• 연합 학습(Federated Learning)의 이론적 기반: 각 사용자가 자신의 데이터를 로컬에서 학습하고 중앙 서버에는 모델 업데이트 정보만 공유하는 연합 학습 패러다임에서, 각 사용자의 프라이버시를 어떻게 보호할 것인가는 핵심적인 문제이다. PATE에서 제안된 아이디어, 즉 분산된 데이터로 학습된 모델들의 결과를 안전하게 집계하는 방식은 연합 학습의 프라이버시 기술 발전에 중요한 이론적 기반을 제공했다.

결론적으로, PATE는 AI 기술이 사회적으로 민감한 영역(의료, 금융 등)에 안전하게 적용되기 위해 반드시 필요한 기술적 토대를 마련한 연구이다. 직관적인 아이디어와 엄격한 수학적 증명을 결합하여, AI의 사회적 책무와 윤리적 문제에 대한 기술적 해법을 제시한 선구적인 사례로 평가받고 있다.

3.5 ICLR 2017 주요 포스터 발표 연구 요약

최우수 논문상 수상작들 외에도, ICLR 2017에서는 후속 연구에 지대한 영향을 미친 다수의 중요한 연구들이 포스터 세션을 통해 발표되었다. 그 중에서도 특히 자연어 처리와 생성 모델 분야에서 주목할 만한 세 편의 연구를 소개한다.

3.5.1 A simple but tough-to-beat baseline for sentence embeddings

프린스턴 대학의 Sanjeev Arora, Yingyu Liang, Tengyu Ma가 발표한 이 연구는, 복잡한 딥러닝 모델이 항상 최선은 아니라는 사실을 보여주며 자연어 처리 커뮤니티에 신선한 충격을 주었다. 당시 문장 임베딩(sentence embedding) 연구는 문장의 순서 정보를 포착하기 위해 RNN이나 LSTM과 같은 복잡한 순환 신경망 구조를 사용하는 것이 주류였다.

그러나 이 논문은 놀랍도록 간단한 비지도 학습 방식이 이러한 복잡한 모델들을 능가할 수 있음을 보였다. 제안된 방법은 두 단계로 이루어진다: 1) 문장을 구성하는 모든 단어 벡터(사전 훈련된 GloVe 등)들의 가중 평균(weighted average)을 계산한다. 이때 가중치는 단어의 빈도에 반비례하는 SIF(Smooth Inverse Frequency) 방식을 사용한다. 2) 이렇게 얻어진 문장 벡터들의 집합에서, 첫 번째 주성분(principal component)을 계산하여 각 문장 벡터에서 해당 성분을 제거한다.25 이 두 번째 단계는 문법적 기능어(‘the’, ‘a’ 등)와 같이 모든 문장에 공통적으로 나타나지만 의미적으로는 중요하지 않은 정보를 제거하는 효과를 가진다.

실험 결과, 이 간단한 베이스라인은 여러 텍스트 유사도 평가(textual similarity tasks) 데이터셋에서 정교한 지도 학습 기반의 RNN/LSTM 모델보다 더 우수한 성능을 보였다.26 이 연구는 새로운 문장 임베딩 모델의 성능을 평가할 때 반드시 비교해야 할 강력하고 효율적인 기준점을 제시했으며, 문제의 본질을 꿰뚫는 단순한 아이디어가 복잡한 아키텍처보다 더 효과적일 수 있다는 중요한 교훈을 남겼다.28

3.5.2 Improving Neural Language Models with a Continuous Cache

Facebook AI Research의 Edouard Grave, Armand Joulin, Nicolas Usunier는 신경망 언어 모델의 오랜 과제인 장거리 의존성(long-range dependency) 포착 문제를 해결하기 위한 효율적인 방법을 제안했다. 언어 모델은 다음에 올 단어를 예측할 때, 바로 직전의 단어들뿐만 아니라 문서의 앞부분에 등장했던 단어 정보도 활용해야 한다.

이 논문은 **‘신경망 캐시(Neural Cache)’**라는 이름의 간단하면서도 효과적인 메커니즘을 도입했다.29 이 모델은 과거의 특정 시점까지의 모든 은닉 상태(hidden activations) 벡터들을 순서대로 메모리(캐시)에 저장한다. 그리고 현재 시점

t에서 다음 단어를 예측할 때, 현재의 은닉 상태 ht​와 캐시에 저장된 모든 과거 은닉 상태 hi​ (for i<t)들과의 내적(dot product)을 계산한다. 이 내적 값은 현재 문맥과 과거 문맥의 유사도를 나타내며, 이를 기반으로 과거에 등장했던 단어들에 대한 확률 분포를 계산한다. 최종적으로 이 캐시 기반 확률 분포를 기존 언어 모델의 출력 확률 분포와 선형 보간(linear interpolation)하여 최종 예측을 수행한다.

이 방식의 가장 큰 장점은 캐시 메모리를 읽고 쓰는 과정에 추가적인 학습 파라미터가 필요 없고, 따라서 역전파 계산이 필요 없다는 점이다.30 이로 인해 계산 비용이 매우 저렴하고 수천, 수만 개의 과거 상태를 저장하는 매우 큰 캐시로도 쉽게 확장할 수 있다.31 실험 결과, 신경망 캐시 모델은 당시의 다른 복잡한 메모리 증강 신경망(memory-augmented neural networks)들을 여러 언어 모델링 벤치마크에서 큰 차이로 능가하는 성능을 보였다. 이 연구는 이후 Transformer-XL과 같은 모델에서 과거의 상태를 재사용하는 아이디어로 발전하는 데 영향을 주었다.

3.5.3 beta-VAE: Learning Basic Visual Concepts with a Constrained Variational Framework

DeepMind의 Irina Higgins 등이 발표한 이 연구는 비지도 학습(unsupervised learning)을 통해 데이터의 의미 있는 잠재 요인(latent factors)을 분리(disentangle)해내는 방법에 대한 중요한 진전을 이루었다. 생성 모델의 일종인 변이형 오토인코더(Variational Autoencoder, VAE)는 데이터를 저차원의 잠재 공간으로 압축했다가 다시 원본 데이터로 복원하는 과정에서 데이터의 확률 분포를 학습한다.

이 논문은 기존 VAE의 목적 함수에 간단한 수정을 가하여 표현의 분리도를 크게 향상시켰다. VAE의 목적 함수는 원본 데이터와 복원된 데이터 간의 재구성 오류(reconstruction error)를 최소화하는 항과, 잠재 변수의 분포를 정규분포와 유사하게 만드는 정규화(regularization) 항으로 구성된다. 저자들은 이 정규화 항 앞에 하이퍼파라미터 \beta를 추가하여, 두 항 사이의 균형을 조절할 수 있도록 했다.1

\mathcal{L}(\theta, \phi; x, z) = \mathbb{E}_{q_{\phi}(z \vert x)}[\log p_{\theta}(x \vert z)] - \beta D_{KL}(q_{\phi}(z \vert x) \Vert p(z))
실험적으로 \beta 값을 1보다 크게 설정했을 때(\beta > 1), 모델은 재구성 성능을 약간 희생하는 대신, 잠재 변수의 각 차원이 데이터의 독립적인 생성 요인(예: 3D 의자 이미지의 방위, 크기, 조명 등)에 각각 대응하도록 학습되는 경향을 보였다.32 이는 모델이 데이터의 구조를 더 잘 이해하고, 해석 가능한(interpretable) 방식으로 표현을 학습하도록 유도하는 효과를 가져왔다.

β-VAE는 이후 분리 표현 학습(disentangled representation learning) 분야의 표준적인 베이스라인 모델로 자리 잡았으며, 비지도 방식으로 세상의 기본 개념을 학습하려는 AI 연구에 중요한 기여를 했다.

ICLR 2017의 주요 연구들을 종합해 보면, 2017년의 딥러닝 연구가 ’복잡성’이라는 화두를 중심으로 다각적인 성찰을 진행했음을 알 수 있다. 한편에서는 ‘Rethinking Generalization’ 연구를 통해 딥러닝 모델의 과도한 파라미터 복잡성이 왜 문제가 되지 않는지를 파고들었고, 다른 한편에서는 ‘Recursion’ 연구를 통해 복잡한 알고리즘 문제를 해결하기 위해 의도적으로 구조적 복잡성을 도입하는 접근법을 탐구했다. 동시에 ‘Simple Baseline’ 연구는 특정 과제에 대해 불필요한 아키텍처의 복잡성이 오히려 성능 저하를 유발할 수 있음을 경고했다. 이는 딥러닝 연구가 ’무조건 더 크고 복잡하게’라는 초기 패러다임에서 벗어나, ’문제에 적합하고, 이해 가능하며, 통제 가능한 복잡성’을 추구하는 방향으로 성숙해 가고 있음을 보여주는 중요한 신호이다. 이러한 흐름은 모델의 해석 가능성(Interpretability)과 효율성에 대한 관심이 증대되고 있음을 시사하며, 이후 AI 연구의 중요한 방향성을 예고했다.

4. 지능형 로봇 시스템의 구현과 응용 (ICRA 2017)

4.1 도입

2017년 5월 말 싱가포르의 마리나 베이 샌즈 컨벤션 센터에서 개최된 ICRA 2017은 로봇 공학 분야의 학문적 깊이와 산업적 확장을 동시에 보여준 대규모 국제 학술대회였다. 총 11개의 트랙에서 900편 이상의 논문이 발표되었고, 40개가 넘는 기업 및 연구 기관이 전시 부스를 마련하여 최신 기술을 선보였다.5 학회의 주요 세션은 로봇 설계 및 시스템 테스트, 센서 원리 및 신호 처리, 컴퓨터 과학 및 통신 네트워크, 제어 이론 및 제어 시스템 등 로봇 공학의 전통적인 핵심 분야들을 망라했다.33 그러나 2017년 ICRA의 가장 두드러진 특징은 딥러닝을 위시한 인공지능 기술이 로봇 공학의 거의 모든 하위 분야에 깊숙이 융합되기 시작했다는 점이다. 자율 주행, 시각 기반 인식, 인간-로봇 상호작용, 조작 계획 등 다양한 문제 해결에 AI 기술이 핵심적인 역할을 수행하는 연구들이 대거 발표되었으며, 이는 로봇 공학이 기계 중심의 자동화에서 벗어나 지능 중심의 자율 시스템으로 진화하고 있음을 명확히 보여주었다.

Table 2: ICRA 2017 분야별 최우수 논문상 수상 연구 요약

4.2 스마트 농업을 위한 자동화 기술: UAV-Based Crop and Weed Classification for Smart Farming

ICRA 2017 최우수 자동화 논문상(Best Automation Paper Award)을 수상한 이 연구는, 인공지능과 로봇 기술이 인류의 가장 근본적인 산업인 농업에 어떻게 기여할 수 있는지를 보여주는 대표적인 사례이다.

4.2.1 저자 및 소속

이 연구는 유럽의 두 대표적인 로봇 공학 연구 그룹의 협력으로 이루어졌다. 독일 본 대학교(University of Bonn)의 Philipp Lottes와 Cyrill Stachniss, 그리고 스위스 취리히 연방 공과대학교(ETH Zurich)의 Raghav Khanna, Johannes Pfeifer, Roland Siegwart가 공동 저자로 참여했다.40 이는 정밀 농업이라는 복잡한 문제를 해결하기 위해 컴퓨터 비전, 기계 학습, 그리고 무인 항공기 시스템 기술이 융합되어야 함을 보여준다.

4.2.2 핵심 아이디어

논문의 핵심 목표는 지속 가능한 농업을 실현하기 위해 제초제와 살충제 사용을 최소화하는 것이다. 이를 위해, 농경지 전체에 농약을 무차별적으로 살포하는 전통적인 방식에서 벗어나, 작물과 잡초의 위치와 종류를 개체 단위로 정밀하게 파악하여 필요한 곳에만 농약을 사용하는 ’정밀 농업(precision agriculture)’을 구현하고자 했다.35

저자들은 이러한 정밀 지도를 생성하기 위한 도구로, 저렴하고 운용이 간편한 **무인 항공기(UAV)**를 활용할 것을 제안했다. UAV는 넓은 농경지를 단시간에 효율적으로 촬영할 수 있으며, 지상 로봇과 달리 토양을 압축시키는 문제도 없다. 연구의 핵심적인 기술적 도전 과제는 UAV로 촬영한 항공 이미지로부터, (1) 사탕무와 같은 특정 작물과 (2) 다양한 종류의 잡초를 (3) 개별 식물 단위로 정확하게 탐지하고 분류하는 컴퓨터 비전 시스템을 개발하는 것이었다.41 특히, 기존의 많은 농업용 비전 시스템이 작물이 일정한 줄(row)을 맞춰 심겨 있다는 기하학적 정보에 크게 의존했던 것과 달리, 이 연구는 식물의 외형, 색상, 질감 등 **순수한 시각적 특징(appearance features)**에 기반하여 작물과 잡초를 구별함으로써 더 높은 범용성과 강건성을 확보하고자 했다.40

4.2.3 방법론

제안된 시스템은 UAV 이미지 분석을 위한 체계적인 파이프라인으로 구성된다.

1. 데이터 수집: 독일과 스위스의 실제 사탕무 농장에서 상업용 UAV(예: DJI Phantom 4)에 표준 RGB 카메라 또는 RGB-NIR(근적외선) 카메라를 장착하여 항공 이미지를 수집했다.40 저비용 상용 드론을 사용함으로써 기술의 실용성과 접근성을 높였다.

2. 식생 탐지(Vegetation Detection): 이미지 전처리 단계로, 토양이나 돌과 같은 비식생 배경을 제거하고 식물 영역만을 분리해낸다. 이를 위해 녹색과 다른 색상 채널 간의 차이를 극대화하는 ExG(Excess Green) 지수나, NIR 채널을 활용하는 NDVI(Normalized Difference Vegetation Index) 같은 식생 지수를 계산하고, 임계값 처리를 통해 식생 마스크를 생성했다.40

3. 특징 추출(Feature Extraction): 분리된 각 식생 영역에 대해, 개별 식물을 식별하기 위한 다양한 특징을 추출한다. 이 연구에서는 객체 기반 접근법(object-based approach)과 키포인트 기반 접근법(keypoint-based approach)을 결합한 캐스케이드 방식을 사용했다. 통계적 특징(색상 분포 등), 형태적 특징(크기, 모양, 윤곽선 등), 그리고 질감 특징(Haar-like features, Local Binary Patterns 등)을 포함하는 포괄적인 특징 벡터를 생성했다.41

4. 분류(Classification): 추출된 특징 벡터를 입력으로 하여, 기계 학습 모델인 랜덤 포레스트(Random Forest) 분류기를 사용해 각 식생 영역을 ‘사탕무’ 또는 여러 종류의 ‘잡초’ 클래스 중 하나로 분류했다.40 랜덤 포레스트는 다수의 결정 트리를 앙상블하는 방식으로, 노이즈가 많은 실제 환경 데이터에 대해 강건한 성능을 보이는 것으로 알려져 있다.

4.2.4 중요성 및 영향

이 연구는 스마트 농업 분야에 다음과 같은 중요한 기여를 했다.

• 기술의 실용성 입증: 고가의 특수 장비가 아닌, 수백만 원대의 상용 UAV와 카메라만으로도 충분히 실용적인 수준의 작물 및 잡초 분류가 가능함을 보여주었다. 이는 스마트 농업 기술이 대규모 기업 농장뿐만 아니라 일반 농가에도 보급될 수 있는 가능성을 열었다는 점에서 의미가 크다.

• 정밀 농업의 기반 마련: 개별 식물 단위의 정밀한 작물/잡초 분포 지도를 생성함으로써, 자율 주행 트랙터나 제초 로봇이 특정 잡초만을 목표로 정밀하게 제초 작업을 수행하는 ’목표 지정 제초(targeted weeding)’를 위한 핵심 정보를 제공했다. 이는 농약 사용량을 획기적으로 줄이고, 환경 보호와 생산 비용 절감에 직접적으로 기여할 수 있다.

• 농업 로봇 공학 연구의 확장: UAV를 단순한 원격 탐사 도구가 아닌, 지상의 농업 로봇과 연계하여 실제 물리적 작업을 수행하기 위한 ’눈’으로 활용하는 통합 시스템의 가능성을 제시했다. 이 연구는 이후 드론과 지상 로봇이 협력하는 농업 자동화 연구를 촉진하는 계기가 되었다.

4.3 인지 로봇 공학: Learning to Guide Task and Motion Planning Using Score-Space Representation

ICRA 2017 최우수 인지 로봇 공학 논문상(Best Cognitive Robotics Paper Award)을 수상한 이 연구는, 로봇이 복잡하고 정돈되지 않은 환경에서 인간처럼 효율적으로 계획을 세우는 문제를 다룬다.

4.3.1 저자 및 소속

이 논문은 MIT 컴퓨터 과학 및 인공지능 연구소(CSAIL)의 Beomjoon Kim, Leslie Pack Kaelbling, Tomas Lozano-Perez가 저술했다. 이들은 로봇 계획(robot planning) 및 기계 학습 분야에서 세계적인 권위를 가진 연구 그룹으로, 본 연구는 두 분야의 깊이 있는 융합을 통해 이루어졌다.42

4.3.2 핵심 아이디어

로봇이 ’테이블 위 선반에 있는 컵을 집어서 식기세척기에 넣는다’와 같은 복잡한 작업을 수행하기 위해서는, ‘어떤 물체를’, ‘어떤 순서로’, ‘어떻게’ 움직일 것인지를 모두 고려하는 **작업 및 모션 계획(Task and Motion Planning, TAMP)**이 필요하다. TAMP는 이산적인 작업 순서(예: 문을 연다 -> 컵을 잡는다)와 연속적인 로봇의 움직임(예: 컵을 잡기 위한 팔의 궤적)을 동시에 탐색해야 하므로, 그 탐색 공간이 조합적으로 폭발하여 계산 비용이 매우 높다는 근본적인 어려움을 가진다.36

이 논문의 핵심 아이디어는, 로봇이 새로운 TAMP 문제에 직면할 때마다 처음부터 모든 가능성을 탐색하는 대신, 과거의 유사한 문제 해결 경험으로부터 학습하여 탐색 공간을 지능적으로 축소하는 방법을 제안하는 것이다.42 인간이 선반 위의 컵을 잡을 때, 위에서 접근하는 것이 막혀 있다면 자연스럽게 옆에서 접근하는 방법을 시도하는 것처럼, 로봇도 어떤 종류의 접근 방식(해법 제약)이 성공할 가능성이 높은지를 경험을 통해 학습하도록 하자는 것이다.

이를 위해 저자들은 문제 자체의 기하학적 상태(예: 물체들의 위치와 자세)를 직접 표현하는 대신, 여러 가지 ‘해법 제약(solution constraints)’(예: ‘위에서 잡기’, ‘옆에서 잡기’)을 적용하여 계획을 시도했을 때의 ‘성능(score)’ 벡터로 문제 상황을 표현하는 새로운 방식인 **‘점수 공간(Score-Space)’**을 제안했다.42 예를 들어, ‘위에서 잡기’ 제약으로 계획을 세웠을 때 비용이 매우 높았다면(낮은 점수), 이는 ’물체 위에 장애물이 있다’는 기하학적 정보를 간접적으로 나타낸다. 점수 공간 표현은 문제의 상태가 계속 변하는 로봇 환경에서 강건하고 일반화 가능한 학습을 가능하게 하는 핵심적인 추상화 메커니즘이다.

4.3.3 방법론

제안된 학습 알고리즘의 이름은 **BOX(Blackbox Optimization with eXperience)**이다. 이 알고리즘은 TAMP 문제를, 유한한 개수의 해법 제약 조건들 중에서 최적의 것을 찾는 블랙박스 최적화(Black-box function optimization) 문제로 재정의한다.42

1. 사전 경험 학습: 먼저, 다양한 TAMP 문제 인스턴스들(‘훈련’ 문제들)에 대해 가능한 모든 해법 제약 조건을 적용하여 계획을 세우고 그 비용(점수)을 계산한다. 이 결과로부터 각 제약 조건의 평균적인 성능과, 제약 조건들 간의 성능 상관관계를 나타내는 다변량 가우시안 분포(multivariate Gaussian distribution)의 파라미터(평균 벡터, 공분산 행렬)를 추정한다. 이것이 로봇의 ’사전 경험’이 된다.42

2. 순차적 제약 조건 선택: 새로운 문제에 직면하면, 로봇은 이 사전 경험을 바탕으로 가장 유망해 보이는 해법 제약 조건을 하나 선택하여 계획을 시도하고 실제 점수를 관찰한다.

3. 베이즈적 갱신: 관찰된 점수(증거)를 사용하여, 베이즈 정리에 따라 사전 분포를 사후 분포(posterior distribution)로 갱신한다. 즉, 현재 문제 상황에 대한 믿음을 업데이트한다.

4. UCB 기반 탐색: 다음으로 시도할 제약 조건을 선택할 때는, 현재까지의 경험을 바탕으로 한 예상 점수(exploitation)와 아직 시도해보지 않은 것에 대한 불확실성(exploration)을 모두 고려하는 UCB(Upper Confidence Bound) 전략을 사용한다. 이를 통해 제한된 시도 횟수 내에서 최적의 해법 제약 조건을 효율적으로 찾아낸다.42

4.3.4 중요성 및 영향

이 연구는 학습 기반 로봇 계획 분야에 중요한 기여를 했다.

• 계획 효율의 획기적 향상: 실험 결과, BOX 알고리즘은 아무런 가이드 없이 무작위로 탐색하는 기본 플래너에 비해 수십 배에서 수백 배(orders of magnitude) 빠른 속도로 TAMP 문제의 해를 찾아냈다.42 이는 학습을 통해 로봇이 인간과 유사한 ’직관’을 가지고 문제 해결의 지름길을 찾을 수 있음을 실증적으로 보여준 것이다.

• 새로운 학습 패러다임 제시: ’점수 공간’이라는 추상화된 표현을 통해, 로봇이 복잡하고 가변적인 물리적 세계의 상태를 직접 다루지 않고도 효과적으로 학습할 수 있는 새로운 길을 열었다. 이는 상태 표현이 어려운 실제 로봇 문제에 기계 학습을 적용하기 위한 강력한 방법론을 제시했다.

• 이론과 실제의 결합: 강건한 이론적 기반을 가진 블랙박스 최적화 기법을 매우 도전적인 실제 로봇 계획 문제에 성공적으로 적용함으로써, 인공지능의 이론적 발전이 로봇 공학의 난제 해결에 어떻게 직접적으로 기여할 수 있는지를 보여주는 모범 사례가 되었다.

4.4 로봇 조작 및 비전 기술의 진보

ICRA 2017에서는 로봇이 물리적 세계와 상호작용하고 이해하는 방식에 대한 근본적인 발전을 이룬 두 편의 연구가 각각 최우수 로봇 조작 및 비전 논문상으로 선정되었다.

4.4.1 Analyzing Achievable Stiffness Control Bounds of Robotic Hands with Compliantly Coupled Finger Joints

최우수 로봇 조작 논문상(Best Robotic Manipulation Paper Award)을 수상한 이 연구는 텍사스 오스틴 대학교(University of Texas at Austin)의 Prashant Rao, Gray Thomas, Luis Sentis, Ashish Deshpande에 의해 수행되었다.37

이 연구의 핵심은 인간의 손처럼 부드럽고 유연하게 물체와 상호작용할 수 있는 로봇 손을 설계하고 제어하는 데 있다. 특히, 와이어나 힘줄(tendon)로 구동되는 로봇 손가락은 구조적으로 여러 관절이 하나의 힘줄에 의해 연결되어 서로 움직임에 영향을 주는 결합(coupling) 현상이 발생한다. 이 논문은 이러한 유연한 결합 구조를 가진 로봇 손이 안정성을 잃지 않으면서 달성할 수 있는 강성(stiffness) 제어의 이론적 한계를 분석했다.6

연구팀은 시스템이 외부 환경과 에너지를 주고받는 과정에서 불안정해지지 않음을 보장하는 수동성(passivity) 이론에 기반하여, 로봇 손의 기계적 설계 파라미터(힘줄의 강성, 관절의 모멘트 암 등)가 제어 가능한 강성의 범위에 어떤 영향을 미치는지 수학적으로 명확히 규명했다. 이 분석은 로봇이 미지의 물체와 안전하게 접촉하고, 섬세한 힘 조절이 필요한 조작 작업을 수행하기 위해 로봇 손을 어떻게 설계하고 제어해야 하는지에 대한 근본적인 공학적 원리를 제시했다는 점에서 높은 평가를 받았다. 이는 로봇이 단순히 정해진 위치로 움직이는 것을 넘어, 예측 불가능한 물리적 상호작용에 강건하게 대처하는 능력을 갖추기 위한 중요한 이론적 토대를 마련한 것이다.

4.4.2 Self-supervised Learning of Dense Visual Descriptors

최우수 로봇 비전 논문상(Best Robotic Vision Paper Award)은 워싱턴 대학교(University of Washington)의 Tanner Schmidt, Richard Newcombe, Dieter Fox가 수상했다.34

이 연구는 딥러닝 기반 로봇 비전의 가장 큰 병목 현상 중 하나인 대규모 레이블링 데이터 의존성 문제를 해결하기 위한 중요한 실마리를 제공했다. 로봇이 주변 환경을 이해하고 객체를 인식하기 위해서는 이미지의 각 픽셀이 어떤 특징을 갖는지를 나타내는 **조밀한 시각적 기술자(dense visual descriptor)**를 학습해야 한다. 전통적으로 이는 수많은 이미지에 픽셀 단위로 레이블을 부착하는 고된 작업을 통해 이루어졌다.

이 논문은 이러한 레이블링 작업 없이, 로봇이 스스로 움직이며 촬영한 비디오 데이터만으로 강력한 시각적 기술자를 학습하는 자기지도 학습(self-supervised learning) 프레임워크를 제안했다. 핵심 아이디어는 비디오로부터 3D 장면과 카메라의 움직임을 동시에 재구성하는 SLAM(Simultaneous Localization and Mapping) 기술을 활용하는 것이다. 재구성된 3D 모델이 있다면, 서로 다른 시점에서 촬영된 이미지들 사이에 어떤 픽셀들이 물리적으로 동일한 지점을 나타내는지에 대한 기하학적 일관성(geometric consistency) 정보가 생긴다. 연구팀은 이 기하학적 일관성을 일종의 ’공짜 감독 신호(free supervisory signal)’로 사용하여, 동일한 3D 지점에 해당하는 픽셀들의 기술자는 서로 유사해지고 다른 지점에 해당하는 픽셀들의 기술자는 서로 구별되도록 신경망을 훈련시켰다.

이 연구는 로봇이 별도의 인간의 가르침 없이, 단지 세상을 탐색하는 경험만으로도 세상을 이해하는 방법을 배울 수 있는 가능성을 열었다. 이는 데이터 수집 비용을 획기적으로 절감하고, 로봇이 평생에 걸쳐 지속적으로 학습하며 자신의 시각적 인식 능력을 향상시키는 ’평생 학습(lifelong learning)’의 중요한 기술적 기반을 마련했다는 점에서 큰 의의를 가진다.

4.5 서비스 및 의료 로봇 공학의 정밀 제어: High-Precision Microinjection of Microbeads into C. Elegans Trapped in a Suction Microchannel

ICRA 2017 최우수 서비스 로봇 논문상(Best Service Robotics Paper Award)은 인간의 능력을 초월하는 정밀도를 요구하는 생명 공학 분야에서 로봇 기술의 잠재력을 입증한 연구에 수여되었다.

4.5.1 저자 및 소속

이 연구는 나고야 대학(Nagoya University)을 중심으로 한 일본 연구팀의 성과이다. Masahiro Nakajima, Yuki Ayamura, Masaru Takeuchi, Naoki Hisamoto, Strahil Pastuhov, Yasuhisa Hasegawa, Toshio Fukuda, Qiang Huang 등 다수의 연구자가 참여했으며, 이는 로봇 공학, 기계 공학, 생물학 등 다학제적 협력의 중요성을 보여준다.39

4.5.2 핵심 아이디어 및 방법론

연구의 목표는 유전학, 신경과학, 노화 연구 등에서 핵심적인 모델 생물로 사용되는 **예쁜꼬마선충(C. elegans)**에 유전 물질이나 약물을 담은 마이크로비드를 주입하는 미세 조작(microinjection) 작업을 완전히 자동화하는 것이었다.39 C. elegans는 몸길이가 약 1mm에 불과한 매우 작은 선충으로, 살아있는 상태에서 특정 세포에 정확히 물질을 주입하는 것은 숙련된 연구자에게도 매우 어렵고 시간이 많이 소요되는 고난이도 작업이다.

연구팀은 이 문제를 해결하기 위해 로봇 현미경, 정밀 액추에이터, 미세유체(microfluidics) 칩, 그리고 컴퓨터 비전 기술을 통합한 정교한 로봇 시스템을 개발했다.

1. 고정(Trapping): 먼저, 미세한 흡입력이 작용하는 **흡입 미세 채널(suction microchannel)**을 사용하여 유체 속에서 움직이는 C. elegans를 부드럽게 포획하고 움직이지 않도록 고정시킨다.

2. 인식 및 목표 설정(Recognition & Targeting): 현미경 카메라로 촬영된 이미지를 실시간으로 분석하여 C. elegans의 자세와 위치를 인식하고, 주입할 목표 지점(예: 생식선)을 자동으로 식별한다.

3. 자동 주입(Automated Injection): 로봇 팔에 장착된 미세 주사 바늘을 비전 피드백을 통해 1마이크로미터(\mu m) 이하의 오차로 목표 지점에 정밀하게 조준한다. 이후, 압력 제어 시스템을 통해 정확한 양의 마이크로비드를 0.1초 이내의 짧은 시간 동안 세포 내로 주입한다.

4.5.3 중요성 및 영향

이 연구는 서비스 로봇의 개념을 일상생활 보조를 넘어, 고도의 전문 지식과 기술이 요구되는 과학 연구 분야로 확장시켰다는 점에서 큰 의미를 가진다.

• 과학 연구의 자동화 및 가속화: 수작업으로 이루어지던 미세 주입 실험을 자동화함으로써, 실험의 **재현성(reproducibility)**과 **처리량(throughput)**을 획기적으로 향상시켰다. 이는 대규모 유전자 스크리닝이나 신약 개발 연구의 속도를 크게 높일 수 있는 잠재력을 가진다.

• 인간 한계의 극복: 로봇 시스템은 인간이 달성하기 어려운 서브마이크론(sub-micron) 수준의 정밀도와 밀리초(millisecond) 단위의 속도를 일관되게 유지할 수 있다. 이는 이전에는 불가능했던 새로운 종류의 정밀한 세포 단위 실험을 가능하게 하여 생명 과학 연구의 새로운 지평을 열 수 있다.

• 의료 로봇 기술에의 파급 효과: 세포 단위의 정밀한 조작 및 제어 기술은 미래의 수술 로봇이나 약물 전달 시스템 개발에도 직접적으로 응용될 수 있는 핵심 기반 기술이다. 이 연구는 의료 및 바이오 분야에서 로봇 기술이 인간의 건강과 생명 연장에 기여할 수 있는 구체적인 가능성을 보여준 대표적인 사례로 평가된다.

ICRA 2017의 수상작들을 관통하는 하나의 중요한 흐름은 ’데이터’와 ‘물리적 세계’ 사이의 간극을 메우려는 시도이다. 인공지능 모델을 훈련시키는 가상적이고 정제된 ’데이터’의 세계와, 로봇이 실제로 작동해야 하는 복잡하고 예측 불가능한 ‘물리적 현실’ 사이에는 본질적인 불일치가 존재하며, 이를 극복하는 것이 지능형 로봇 공학의 핵심 과제로 부상했음을 이 연구들은 보여준다. 예를 들어, UAV 농업 연구는 통제된 실험실 데이터가 아닌 실제 농경지에서 촬영된 노이즈 많은 데이터를 직접 다루며 현실 세계의 가변성을 포용하려 했다.40 TAMP 연구는 물리적 시뮬레이션에서 계획을 생성하되, ’점수 공간’이라는 추상화를 통해 실제 세계의 복잡성에 강건한 학습을 추구했다.42 자기지도 비전 연구는 인간이 만든 인공적인 레이블 데이터셋에서 벗어나, 물리적 세계의 3D 구조라는 내재적 속성을 감독 신호로 사용함으로써 데이터 생성의 패러다임을 전환했다.38 로봇 손 및 미세 주입 연구는 제어 이론과 정밀 공학을 통해 로봇이 물리 법칙을 따르며 신뢰성 있게 현실 세계와 상호작용하는 데 집중했다.6 이 모든 노력은 AI의 성공을 로봇 공학에 성공적으로 이식하기 위해서는 데이터 수집, 표현, 학습, 제어에 이르는 전 과정에 걸쳐 ’현실 세계와의 정합성’을 치열하게 고민해야 한다는 중요한 교훈을 남겼다.

5. 결론: 2017년 연구 성과 종합 및 향후 전망

5.1 2017년 5월 연구 동향 요약 및 통합적 분석

2017년 5월을 기점으로 분석한 ICLR과 ICRA의 주요 연구들은 인공지능과 로봇 공학 분야가 중요한 전환점을 맞이하고 있었음을 명확히 보여준다. 두 분야는 각자의 영역에서 깊이를 더하는 동시에, 서로에게 영향을 주고받으며 새로운 융합의 시대를 예고했다.

이론(ICLR)의 성찰: ICLR 2017은 딥러닝의 눈부신 성공에 대한 환호 속에서, 그 성공의 이면에 있는 근본적인 질문, 즉 ’왜?’라는 질문을 본격적으로 제기한 학회로 요약될 수 있다. ‘Rethinking Generalization’ 연구는 수억 개의 파라미터를 가진 모델이 어떻게 과적합을 피하는지에 대한 기존 이론의 무력함을 드러내며 새로운 이론적 틀을 요구했다. ‘Making neural programming architectures generalize via recursion’ 연구는 신경망이 단순한 패턴 인식기를 넘어 절차적이고 알고리즘적인 지식을 학습할 수 있는 구조적 해법을 제시했다. ‘Semi-supervised knowledge transfer for deep learning from private training data’ 연구는 기술의 사회적 책임과 직결되는 프라이버시 문제를 정면으로 다루며, AI의 윤리적 토대를 마련하고자 했다. 이처럼 ICLR 2017은 AI 연구가 양적인 성능 경쟁을 넘어, 기술의 원리를 이해하고 신뢰성을 확보하며 사회적 책임을 고민하는 질적 성숙 단계로 진입했음을 상징적으로 보여주었다.

응용(ICRA)의 현실화: ICRA 2017은 인공지능 기술이 더 이상 이론이나 시뮬레이션에 머무르지 않고, 농업, 제조, 의료와 같은 구체적인 산업 현장의 복잡한 문제들을 해결하는 핵심 동력으로 자리 잡기 시작했음을 증명했다. ‘UAV-Based Crop and Weed Classification’ 연구는 저비용 로봇 기술이 어떻게 정밀 농업을 현실화하는지를 보여주었다. ‘Learning to Guide Task and Motion Planning’ 연구는 로봇이 경험을 통해 계획 능력을 향상시키는, 진정한 의미의 ’학습하는 기계’에 한 걸음 더 다가갔다. 특히, ‘Self-supervised Learning of Dense Visual Descriptors’ 연구는 대규모 레이블링 데이터라는 딥러닝의 가장 큰 제약에서 벗어날 수 있는 데이터 효율적 학습의 가능성을 제시하며 로봇 공학의 새로운 돌파구를 열었다.

5.2 이론과 응용의 상호작용 및 시사점

두 학회의 연구 흐름은 독립적으로 보이지만, 그 기저에는 깊은 상호 연관성이 존재한다. 이론의 발전은 응용의 새로운 가능성을 열고, 응용 현장의 난제는 이론 연구에 새로운 방향을 제시한다.

• ICLR에서 제기된 **‘일반화’**의 문제는 ICRA의 ‘자기지도 학습’ 연구와 직접적으로 연결된다. 레이블이 없는 실제 세계의 풍부한 구조(예: 3D 기하학)를 감독 신호로 활용하는 것은, 모델이 피상적인 통계적 상관관계가 아닌 데이터의 내재적이고 본질적인 구조를 학습하도록 강제한다. 이는 진정한 의미의 일반화 능력을 키우는 가장 유망한 해법 중 하나임을 시사한다.

• ICLR의 **‘재귀’**를 통한 알고리즘 학습 연구는, ICRA의 ‘TAMP’ 연구가 추구하는 계층적이고 구조적인 문제 해결 능력에 강력한 이론적 기반과 새로운 아키텍처적 영감을 제공할 수 있다. 로봇이 복잡한 작업을 성공적으로 수행하기 위해서는 신경-심볼릭 접근법과 같은 구조적 추론 능력이 필수적이다.

• ICRA의 **‘의료 로봇’**과 같이 환자의 민감한 데이터를 다루는 응용 분야의 등장은, ICLR의 ‘프라이버시 보존 학습’ 기술이 단순한 학술적 호기심이 아니라, 실제 기술 도입을 위해 반드시 필요한 실증적 요구사항임을 명확히 한다.

5.3 향후 연구 전망

2017년 5월에 나타난 이러한 연구 동향들은 이후 인공지능 및 로봇 공학 분야의 주요 연구 흐름을 예고하는 중요한 신호였다.

• 해석 가능하고 신뢰할 수 있는 AI (XAI & Trustworthy AI): ’Rethinking Generalization’을 필두로 시작된 딥러닝 블랙박스에 대한 탐구는, 모델의 예측 근거를 설명하고 그 행동의 신뢰성을 보장하려는 XAI 연구로 본격화될 것이다. 이는 AI가 사회의 핵심 인프라로 자리 잡기 위한 필수적인 과정이다.

• 데이터 효율적 학습(Data-Efficient Learning): ’Self-supervised Learning’과 ‘Simple Baseline’ 연구에서 나타났듯이, 레이블링 비용과 데이터 편향 문제를 극복하기 위해 적은 양의 레이블 또는 레이블이 없는 데이터로부터 학습하는 패러다임(자기지도 학습, 준지도 학습, 전이 학습 등)이 AI 및 로봇 공학 전반의 핵심 주제로 부상할 것이다.

• 신경-심볼릭 및 구조적 추론(Neuro-Symbolic & Structured Reasoning): ’Recursion’과 ‘TAMP’ 연구는 딥러닝의 강력한 패턴 인식 능력과 기호주의 AI의 논리적 추론 능력을 결합하려는 시도가 더욱 활발해질 것임을 예고한다. 이는 AI가 단순 인식을 넘어 복잡한 문제 해결과 계획 능력을 갖추기 위한 핵심적인 방향이다.

• AI 윤리 및 사회적 책임: ‘PATE’ 프레임워크가 다룬 프라이버시 문제는 AI 윤리 논의의 시작점에 불과하다. 앞으로 AI 기술의 사회적 적용이 확대됨에 따라, 프라이버시뿐만 아니라 공정성(fairness), 편향(bias), 안전(safety) 등 다양한 윤리적, 사회적 문제가 연구의 핵심 요소로 자리 잡게 될 것이다.

결론적으로 2017년 5월은 인공지능과 로봇 공학이 양적 팽창의 시기를 지나, 기술의 내실을 다지고 현실 세계의 복잡성과 책임감 있게 마주하기 시작한 중요한 변곡점이었다. ICLR과 ICRA에서 발표된 선구적인 연구들은 이후 수년간의 연구 지형을 형성했으며, 오늘날 우리가 마주한 AI 시대의 기술적, 사회적 담론의 씨앗을 뿌렸다고 평가할 수 있다.

6. 참고 자료

1. 5th International Conference on Learning Representations (ICLR 2017) - Proceedings.com, https://www.proceedings.com/content/068/068832webtoc.pdf
2. ICLR 2017, https://iclr.cc/archive/www/doku.php%3Fid=iclr2017:main.html
3. Conference Track - Call For Papers, https://www.iclr.cc/archive/www/doku.php%3Fid=iclr2018:conference_cfp.html
4. List of computer science conferences - Wikipedia, https://en.wikipedia.org/wiki/List_of_computer_science_conferences
5. ICRA 2017: Singapore - PAL Robotics, https://pal-robotics.com/blog/icra-2017/
6. Analyzing Achievable Stiffness Control Bounds of Robotic Hands …, https://sites.utexas.edu/hcrl/files/2016/01/07989393.pdf
7. Best Robotics Conferences and Events to Attend in 2025, https://clearpathrobotics.com/blog/2025/01/best-robotics-conferences-and-events-to-attend-in-2025/
8. Notable Robotics Conferences Happening in 2024 & 2025 - PatWorld, https://patworld.com/us/news/notable-robotics-conferences-happening-in-2024/
9. Best Paper Awards - CVPR2017, https://cvpr2017.thecvf.com/program/main_conference
10. CVPR 2017 - The Computer Vision Foundation, https://cvpr2017.thecvf.com/
11. The Best Papers at ICLR 2017 - Desh Raj, https://desh2608.github.io/2017-10-14-best-papers-at-iclr-17/
12. Understanding deep learning requires rethinking generalization …, https://openreview.net/forum?id=Sy8gdB9xx
13. MAKING NEURAL PROGRAMMING … - OpenReview, https://openreview.net/pdf?id=BkbY4psgg
14. SEMI-SUPERVISED KNOWLEDGE TRANSFER FOR … - OpenReview, https://openreview.net/pdf?id=HkwoSDPgg
15. Research at Google and ICLR 2017, https://research.google/blog/research-at-google-and-iclr-2017/
16. [1611.03530] Understanding deep learning requires rethinking generalization - arXiv, https://arxiv.org/abs/1611.03530
17. (PDF) Understanding deep learning requires rethinking generalization - ResearchGate, https://www.researchgate.net/publication/310122390_Understanding_deep_learning_requires_rethinking_generalization
18. ‪Chiyuan Zhang‬ - ‪Google Scholar‬, https://scholar.google.com/citations?user=l_G2vr0AAAAJ&hl=en
19. Making Neural Programming Architectures Generalize via Recursion - ResearchGate, https://www.researchgate.net/publication/316428704_Making_Neural_Programming_Architectures_Generalize_via_Recursion
20. Making Neural Programming Architectures Generalize via Recursion - OpenReview, https://openreview.net/forum?id=BkbY4psgg
21. Making Neural Programming Architectures Generalize via Recursion - Semantic Scholar, https://www.semanticscholar.org/paper/Making-Neural-Programming-Architectures-Generalize-Cai-Shin/6b024162f81e8ff7aa34c3a43d601a912d012c78
22. Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data - arXiv, https://arxiv.org/abs/1610.05755
23. Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data, https://www.researchgate.net/publication/309283667_Semi-supervised_Knowledge_Transfer_for_Deep_Learning_from_Private_Training_Data
24. (PDF) Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data (2016) | Nicolas Papernot | 678 Citations - SciSpace, https://scispace.com/papers/semi-supervised-knowledge-transfer-for-deep-learning-from-1n4xjh5mya
25. A Simple but Tough-to-Beat Baseline for Sentence Embeddings - SciSpace, https://scispace.com/pdf/a-simple-but-tough-to-beat-baseline-for-sentence-embeddings-1txmohifk4.pdf
26. A Simple but Tough-to-Beat Baseline for Sentence Embeddings …, https://openreview.net/forum?id=SyK00v5xx
27. A simple but tough-to-beat baseline for sentence embeddings - Princeton University, https://collaborate.princeton.edu/en/publications/a-simple-but-tough-to-beat-baseline-for-sentence-embeddings
28. A Simple but Tough-to-Beat Baseline for Sentence Embeddings | Semantic Scholar, https://www.semanticscholar.org/paper/A-Simple-but-Tough-to-Beat-Baseline-for-Sentence-Arora-Liang/3f1802d3f4f5f6d66875dac09112f978f12e1e1e
29. Improving Neural Language Models with a Continuous Cache …, https://openreview.net/forum?id=B184E5qee
30. IMPROVING NEURAL LANGUAGE MODELS WITH A CONTINUOUS CACHE - OpenReview, https://openreview.net/pdf?id=B184E5qee
31. Improving Neural Language Models with a Continuous Cache - ResearchGate, https://www.researchgate.net/publication/311648230_Improving_Neural_Language_Models_with_a_Continuous_Cache
32. ICLR 2017 Conference Track - OpenReview, https://openreview.net/group?id=ICLR.cc/2017/conference
33. ICRAS 2017｜Robotics and Automation Sciences, https://www.icras.org/icras17.html
34. Awards | ICRA 2017 | IEEE International Conference on Robotics …, https://ewh.ieee.org/soc/ras/conf/fullysponsored/icra/2017/www.icra2017.org/conference/awards.html
35. UAV-Based Crop and Weed Classification For Smart Farming | PDF - Scribd, https://www.scribd.com/document/545524597/lottes17icra
36. Learning to guide task and motion planning using score-space representation | Request PDF - ResearchGate, https://www.researchgate.net/publication/333057504_Learning_to_guide_task_and_motion_planning_using_score-space_representation
37. Students win Best Robotic Manipulation Award at ICRA 2017, https://robotics.utexas.edu/news/101
38. Tanner wins Best Robotic Vision Paper Award at ICRA 2017, https://rse-lab.cs.washington.edu/tanner-wins-best-robotic-vision-paper-award-at-icra-2017/
39. AI Best Paper Awards, https://aibestpape.rs/
40. UAV-Based Crop and Weed Classification for Smart Farming, http://www.ipb.uni-bonn.de/wp-content/papercite-data/pdf/lottes17icra.pdf
41. (PDF) UAV-Based Crop and Weed Classification for Smart Farming - ResearchGate, https://www.researchgate.net/publication/313840317_UAV-Based_Crop_and_Weed_Classification_for_Smart_Farming
42. Learning to Guide Task and Motion Planning Using Score-Space …, https://people.csail.mit.edu/beomjoon/publications/kim-icra17.pdf
43. Naoki Hisamoto - My portal - researchmap, https://researchmap.jp/hisamoto80283456?lang=en
44. 2017 IEEE International Conference on Robotics and Automation …, https://researchr.org/publication/icra-2017