년 12월 AI 및 로봇 연구 동향

1. 서론: 2023년 하반기 AI 및 로봇공학 연구 지형도

2023년 하반기 인공지능(AI) 및 로봇공학 연구는 두 가지 거대한 흐름이 교차하는 중요한 변곡점을 맞이했다. 첫 번째 흐름은 거대 언어 모델(Large Language Models, LLM)과 비전 파운데이션 모델(Vision Foundation Models)이 기존의 언어 및 비전 영역을 넘어 로봇공학과 같이 물리적 세계와 상호작용하는 분야로 빠르게 확산된 ‘파운데이션 모델의 물리적 구현(Physical Embodiment)’ 현상이다.1 LLM을 로봇의 고차원적 두뇌로 활용하여 복잡한 작업을 계획하거나, 대규모 이미지 데이터로 학습된 비전 모델의 이해력을 3D 공간으로 전이시켜 로봇의 조작 능력을 향상시키는 연구들이 주류를 이루었다.

두 번째 흐름은 이러한 파운데이션 모델의 폭발적인 성능 향상 이면에 감춰진 근본적인 작동 원리, 명백한 한계, 그리고 시스템적 취약점에 대한 ’비판적 성찰과 검증’의 움직임이다.4 모델의 규모가 커짐에 따라 예측 불가능하게 나타나는 것처럼 보였던 ’창발적 능력(emergent abilities)’의 실체를 파헤치고, 악의적인 입력(프롬프트)에 의해 모델이 얼마나 쉽게 조종될 수 있는지를 체계적으로 분석하는 연구들이 학계의 가장 큰 주목을 받았다.

본 보고서는 이 두 가지 핵심 흐름을 중심으로, 2023년 12월 전후에 개최된 세계 최고 수준의 AI 학회인 NeurIPS(신경정보처리시스템학회), CoRL(로봇 학습 콘퍼런스), EMNLP(자연어 처리 실증적 방법론 콘퍼런스)에서 발표된 핵심 연구들을 심층적으로 분석한다. 각 학회의 주요 동향을 조망하고, 특히 가장 큰 학문적 파급력을 지닌 수상 논문들을 중심으로 그 기술적 성취와 미래적 함의를 분석하여 해당 분야의 지형 변화를 면밀히 조망하고자 한다.

2. NeurIPS 2023 - AI 패러다임의 재정의와 성찰

NeurIPS 2023은 16,000명 이상의 연구자가 참석하고 역대 최다인 13,330편의 논문이 제출되는 등 양적인 팽창을 이루었을 뿐만 아니라, 질적으로도 AI 연구의 방향성에 대한 깊은 고민을 드러낸 학회였다.4 특히 무한한 스케일업 경쟁에서 벗어나 효율성과 책임감을 강조하는 목소리가 높아졌으며, AI 능력의 본질에 대한 근본적인 질문을 던지는 연구가 최우수 논문으로 선정되는 등 중요한 학문적 전환점을 시사했다.

2.1 NeurIPS 2023 주요 동향

2.1.1 연산 효율성 증대 및 차세대 아키텍처 탐색

트랜스포머(Transformer) 아키텍처는 여전히 생성형 AI 붐의 핵심 동력이지만, 그 막대한 연산 비용은 AI 연구의 보편화를 가로막는 가장 큰 장벽으로 작용하고 있다.4 이에 따라 NeurIPS 2023에서는 연산 효율성을 최적화하려는 연구가 두드러졌다. 특히 트랜스포머의 핵심인 어텐션(attention) 메커니즘을 연산적으로 더 효율적인 함수로 대체하려는 시도들이 주목받았다. Hyena, Liquid Neural Networks와 같은 새로운 아키텍처는 긴 시퀀스를 처리할 때 계산 부하를 줄일 수 있는 잠재력을 보여주며, 무한한 스케일업의 한계를 인식하고 ’효율성’이라는 새로운 연구 화두로의 전환을 예고했다.4

2.1.2 책임감 있는 AI(Responsible AI)의 부상

AI 기술이 사회 전반에 미치는 영향이 커짐에 따라, 기술의 사회적 책무를 다하려는 연구 커뮤니티의 자정 노력이 본격화되었다. 공정성(fairness), 투명성(transparency), 개인정보보호(privacy), 거버넌스(governance)와 관련된 논문이 대거 발표되었으며, 이는 AI 개발의 초점이 순수한 성능 향상을 넘어 사회적 가치와의 조화로 이동하고 있음을 보여준다.4 특히, 최우수 논문상(Outstanding Paper awards) 두 편이 각각 차분 프라이버시(Differential Privacy)의 측정 비용을 획기적으로 줄이는 연구와 모델 평가의 정직성(honest measurement)을 강조하는 연구에 수여된 점은 이러한 경향을 상징적으로 보여준다.4

2.1.3 독점 모델과 오픈소스 모델 간의 긴장

학회 내에서 OpenAI의 GPT-4와 같이 모델의 상세한 구조나 훈련 데이터를 공개하지 않는 독점 모델에 대한 발표가 늘어나면서, 개방적인 연구 결과 공유라는 NeurIPS의 전통적 가치와 충돌하는 양상이 나타났다.4 일부 세션에서는 모델 정보 공유에 대한 소극적인 태도로 인해 추상적인 논의만 오가는 상황이 발생했으며, 이는 학계와 산업계의 연구 방향성 및 가치관의 차이가 표면화된 현상으로 분석된다. 독점 모델의 상업적 성공과 오픈소스 커뮤니티의 학문적 기여 사이의 이러한 긴장 관계는 2024년 AI 연구 생태계의 주요 논쟁거리가 될 것으로 전망된다.4

2.2 심층 분석 ①: “거대 언어 모델의 창발적 능력은 신기루인가? (Are Emergent Abilities of Large Language Models a Mirage?)”

2.2.1 논쟁의 배경: 창발적 능력의 정의와 중요성

’창발적 능력(Emergent Abilities)’이란, 작은 규모의 모델에서는 나타나지 않다가 특정 임계 규모 이상의 큰 모델에서 갑자기 나타나는 능력을 의미한다.7 이는 모델의 성능을 단순히 외삽(extrapolate)하여 예측할 수 없게 만든다는 점에서 AI 커뮤니티에 큰 충격과 흥미를 안겨주었다. 특히 AI 안전성(AI Safety) 분야에서는 이러한 예측 불가능성이 어느 날 갑자기 위험한 능력이 예고 없이 나타날 수 있다는 경고의 주요 근거로 사용되어 왔다.9 만약 AI의 발전이 예측 불가능한 도약의 연속이라면, 잠재적 위험에 대한 사전 대비는 거의 불가능에 가깝기 때문이다.

2.2.2 핵심 주장: 평가 지표가 만들어낸 ‘신기루’

이 논문은 이러한 창발적 능력이 모델 자체의 근본적인 질적 변화가 아니라, 연구자가 선택한 ’평가 지표(metric)’의 통계적 특성 때문에 발생하는 ’신기루(mirage)’일 수 있다는 도발적인 주장을 제기한다.9

주장의 핵심은 평가 지표의 비선형성(non-linearity)에 있다. 예를 들어, 모델이 생성한 문장 전체가 정답과 정확히 일치해야만 1점을 부여하는 ’정확도(Accuracy)’와 같은 지표는 매우 불연속적이다. 모델의 실제 능력(예: 정답 토큰을 예측할 확률)이 규모에 따라 점진적으로 향상되더라도, 생성된 문장의 모든 토큰이 완벽하게 맞을 확률은 매우 낮기 때문에 작은 모델들은 계속 0점을 받는다. 그러다 모델 규모가 특정 임계점을 넘어 모든 토큰을 정확히 예측할 확률이 유의미해지는 순간, 점수가 0점에서 급격히 상승하며 마치 능력이 ’창발’하는 것처럼 보이게 된다는 것이다.9

반면, 생성된 답안과 정답 사이의 편집 거리(edit distance)나 모델의 예측에 대한 교차 엔트로피 손실(cross-entropy loss)과 같이, 부분적인 정답에도 점수를 부여하는 선형적(linear)이고 연속적(continuous)인 지표를 사용하면 모델의 성능은 규모에 따라 부드럽게, 예측 가능한 방식으로 향상된다고 주장한다.11

2.2.3 방법론 및 실험 결과

연구팀은 자신들의 가설을 입증하기 위해 세 가지 상호 보완적인 분석을 수행했다.

1. 기존 창발 능력 재분석: GPT-3 제품군에서 창발적 능력을 보인다고 알려진 산술 연산 과제를 대상으로, 기존의 ‘정확도’ 지표 대신 연속적인 지표인 ’토큰 편집 거리’로 재평가했다. 그 결과, 모델 규모에 따른 성능 곡선이 급격한 점프 없이 부드러운 형태로 나타남을 보였다. 이는 창발 현상이 지표 선택에 따라 사라질 수 있음을 직접적으로 증명한다.11
2. 벤치마크 메타 분석: 대규모 벤치마크인 BIG-Bench의 여러 과제들을 통계적으로 분석하여, 창발 현상이 특정 ‘과제-모델’ 조합에 고유한 특성이기보다는 특정 ’평가 지표’와 강하게 연관되어 있음을 밝혔다. 즉, 비선형적 지표를 사용하는 과제에서 창발 현상이 두드러지게 관찰되었다.5
3. 인위적 창발 유도: 기존에 창발 현상이 보고되지 않았던 컴퓨터 비전(vision) 모델 과제에서 의도적으로 불연속적인 평가 지표(예: 특정 임계값을 넘어야만 성공으로 간주)를 적용했다. 그 결과, 실제 모델의 능력은 점진적으로 향상됨에도 불구하고, 평가 지표상으로는 마치 새로운 능력이 특정 규모에서 ’창발’하는 듯한 현상을 인위적으로 만들어낼 수 있음을 보여주었다.10

2.2.4 학계에 미친 영향과 향후 연구 방향

이 연구는 AI 발전의 예측 가능성에 대한 논의의 패러다임을 바꿀 수 있는 중요한 전환점을 제시한다. 만약 창발적 능력이 평가 지표에 의해 발생하는 예측 가능한 현상이라면, 이는 AI의 위험성을 관리하는 방식에 근본적인 변화를 가져올 수 있다.

기존에는 AI가 언제, 어떻게 위험한 능력을 획득할지 모른다는 ’예측 불가능성’에 대한 두려움이 AI 안전성 논의의 중심에 있었다. 그러나 이 연구의 주장이 사실이라면, 문제는 달라진다. 해킹이나 전략 수립과 같은 잠재적으로 위험한 능력에 대해서도 연속적인 평가 지표를 개발하고 모델 규모에 따른 성능 변화를 추적할 수 있다면, 해당 능력이 위험한 수준에 도달할 시점을 미리 예측하고 대비할 시간을 벌 수 있게 된다. 이는 AI 안전성 문제를 ’예측 불가능한 위협에 대한 철학적 대비’에서 ’정량적이고 예측 가능한 위험 관리’라는 공학적 문제로 전환시키는 계기가 될 수 있다.

물론, 모든 과제가 연속적인 지표로 쉽게 환원될 수 있는 것은 아니라는 반론도 존재한다. 예를 들어, 프로그램 합성 과제에서 ’단위 테스트를 통과하는가’라는 이진적인 평가는 본질적으로 불연속적이다.11 또한, 모델이 특정 하위 문제에 내부적으로 자원을 어떻게 할당하는지에 따라 여전히 급격한 성능 향상이 나타날 수도 있다. 그럼에도 불구하고, 이 연구는 AI 능력 평가의 중요성을 다시 한번 일깨웠으며, 향후 연구는 더욱 정교하고 다양한 연속적 평가 지표를 개발하고 모델 내부의 작동 메커니즘을 규명하는 방향으로 나아갈 것으로 기대된다.

3. CoRL 2023 - 물리 세계와 상호작용하는 지능의 진화

Conference on Robot Learning (CoRL) 2023은 AI, 특히 파운데이션 모델의 눈부신 발전이 어떻게 실제 로봇의 물리적 지능으로 전환되고 있는지를 명확하게 보여준 학회였다. LLM을 로봇의 고차원적 ’두뇌’로 활용하려는 시도와, 웹 스케일의 대규모 비전 모델이 학습한 방대한 지식을 3D 물리 공간에 적용하려는 연구가 학회의 핵심적인 흐름을 형성했다.2

3.1 CoRL 2023 주요 동향

3.1.1 파운데이션 모델의 물리적 구현

CoRL 2023의 가장 두드러진 특징은 파운데이션 모델을 로봇의 인식, 계획, 제어 루프에 통합하려는 시도의 본격화였다. LLM을 이용해 “사과를 서랍에 넣어줘“와 같은 복잡한 자연어 명령을 일련의 로봇 행동으로 변환하는 장기 작업 계획 연구(예: SayPlan)가 주목받았다.2 또한, 언어적 피드백을 통해 로봇의 보상 함수를 자동으로 생성하거나(예: Language to Rewards), 대규모 시각-언어 모델(Vision-Language Models)을 활용해 처음 보는 물체를 정확하게 조작하는 연구(예: Distilled Feature Fields)가 최우수 논문으로 선정되는 등, 사전 훈련된 거대 모델을 로봇의 물리적 지능으로 연결하려는 노력이 핵심 조류를 형성했다.2

3.1.2 시뮬레이션을 넘어선 실제 세계 학습

시뮬레이션 환경에서의 성공을 넘어, 실제 로봇을 이용한 데이터 수집과 학습의 중요성이 강조되었다. 여러 가지 작업을 동시에 학습하는 멀티태스크 실제 로봇 학습(Multi-Task Real Robot Learning) 2, 인간의 다양한 놀이 행동을 관찰하여 장기적인 모방 학습을 수행하는 연구(MimicPlay) 2, 그리고 특정 작업에 국한되지 않는 범용적인 센서-모터 경험을 사전 훈련하는 연구(Sensorimotor Pre-training) 12 등은 실제 환경의 예측 불가능성과 다양성에 강건한 정책을 학습하려는 방향성을 보여준다.

3.1.3 복잡하고 동적인 상호작용

연구의 대상이 되는 상호작용의 복잡성 또한 한 단계 높아졌다. 기존의 단단한 물체(rigid body) 조작을 넘어, 반죽과 같이 형태가 계속 변하는 변형 가능 객체(deformable object)를 다루는 연구(RoboCook)가 최우수 시스템 논문으로 선정되었다.2 또한, 가상현실(VR)을 이용해 인간과 로봇의 협업(Human-Robot Collaboration, HRC) 시나리오를 안전하게 시뮬레이션하고 분석하는 연구 14나, 여러 대의 로봇이 협력하여 경로를 계획하는 연구 1 등, 더욱 복잡하고 예측하기 어려운 동적 환경과의 상호작용을 다루는 연구들이 주목받았다.

3.2 최우수 논문 심층 분석

3.2.1 (Best Paper) “증류된 특징장으로 소수샷 조작을 가능케 하다 (Distilled Feature Fields Enable Few-Shot Manipulation)”

배경 및 문제의식: 로봇이 가정이나 공장과 같은 비정형 환경에서 유용하게 사용되려면, 처음 보는 물체나 도구를 능숙하게 다룰 수 있는 일반화 능력이 필수적이다. 이를 위해서는 물체의 3차원 기하학적 구조와 ‘이것은 손잡이’, ’저것은 뚜껑’과 같은 시맨틱(semantic) 정보를 동시에 이해해야 한다. 하지만 현재 가장 강력한 시맨틱 특징을 추출하는 CLIP과 같은 파운데이션 모델은 수십억 개의 2D 이미지로 학습되어, 로봇이 실제로 상호작용해야 하는 3D 세계의 기하학 정보와 직접 연결되지 않는다는 근본적인 ‘2D-3D 갭(gap)’ 문제가 존재한다.15

핵심 아이디어 및 방법론: 이 연구는 2D 파운데이션 모델이 가진 풍부한 시맨틱 지식을 3D 공간으로 ’증류(distill)’하여, 3차원 공간 전체를 의미 정보로 채우는 ’특징장(Feature Field)’을 구축하는 혁신적인 방법을 제안한다.15 방법론의 핵심은 다각도에서 촬영한 RGB-D 이미지로부터 2D 시맨틱 특징(예: CLIP 특징)을 추출하고, 이를 3D 포인트 클라우드와 같은 3D 표현에 투영하는 것이다. 이를 통해 3D 공간의 모든 점 (x, y, z)이 고유한 고차원 시맨틱 특징 벡터를 갖게 되어, 로봇이 3D 공간을 기하학적으로뿐만 아니라 의미적으로도 이해할 수 있게 된다.

기술적 혁신 및 결과: 이 특징장을 활용하면, 로봇은 단 한 번의 인간 시연(one-shot demonstration)만으로도 새로운 작업을 학습할 수 있다. 예를 들어, 시연자가 특정 컵의 손잡이를 잡는 동작을 보여주면, 로봇은 그 손잡이 부분의 3D 특징 벡터 분포를 기억한다. 이후 새로운 환경에서 처음 보는 다른 모양의 컵을 마주했을 때, 로봇은 그 컵 주변의 3D 특징장을 스캔하여 시연에서 기억한 특징 벡터 분포와 가장 유사한 부분을 찾아낸다. 그 부분이 바로 새로운 컵의 ’손잡이’에 해당하며, 로봇은 동일한 파지(grasping) 동작을 성공적으로 수행할 수 있다.17 이 방법은 물체의 종류나 자세가 바뀌어도 강건하게 작동했으며, 심지어 “빨간 머그컵을 집어줘“와 같은 자유로운 형태의 자연어 명령에도 일반화되는 강력한 성능을 보였다.15

시사점: 이 연구는 로봇 학습의 패러다임을 근본적으로 전환할 수 있는 중요한 가능성을 제시한다. 기존의 로봇 학습은 주로 특정 작업을 위한 데이터를 수집하거나 시뮬레이션 환경에서 수많은 시행착오(trial-and-error)를 거치는 방식에 의존했다. 이는 막대한 시간과 비용을 요구하며 일반화에 한계가 있었다. 그러나 이 연구는 로봇이 더 이상 빈 서판(tabula rasa)에서 시작할 필요 없이, 인터넷에 존재하는 방대한 2D 시각적 지식을 3D 물리 세계에서의 행동 지능으로 직접 전이(transfer)할 수 있는 길을 열었다. 이는 로봇의 시맨틱 이해와 물리적 상호작용 학습을 분리하여, 학습 효율성을 극적으로 높일 수 있음을 의미한다. 이러한 접근법은 향후 범용 로봇 개발의 진입 장벽을 크게 낮추고, 가정이나 중소기업과 같은 비정형 환경으로 로봇의 적용을 가속화하는 기폭제가 될 수 있다.

3.2.2 (Best Systems Paper) “로보쿡: 다양한 도구를 이용한 장기, 탄소성 물체 조작 (RoboCook: Long-Horizon Elasto-Plastic Object Manipulation with Diverse Tools)”

배경 및 문제의식: 밀가루 반죽으로 만두를 빚는 과정처럼, 형태가 계속 변하는 변형 가능(deformable) 물체를 여러 도구를 사용하여 여러 단계에 걸쳐 조작하는 작업은 로봇공학의 가장 어려운 난제 중 하나로 꼽힌다. 이는 물체의 복잡한 동역학을 예측해야 하는 문제, 여러 단계에 걸친 행동 순서를 계획해야 하는 장기 계획 문제, 그리고 각 단계에 가장 적합한 도구를 선택해야 하는 도구 사용 문제를 동시에 포함하기 때문이다.19

시스템 구성 및 핵심 기술: RoboCook은 이 복합적인 문제를 해결하기 위해, 각 기능을 전문화된 모듈로 설계하고 이를 유기적으로 통합하는 ’시스템 공학적 접근’을 채택했다.21

1. 인식(Perception) 모듈: 여러 대의 RGB-D 카메라로 관찰한 반죽의 포인트 클라우드로부터 표면을 재구성하고, 균일한 입자(particle) 집합을 샘플링하여 현재 상태를 정밀하게 표현한다.
2. 동역학 모델(Dynamics) 모듈: 그래프 신경망(Graph Neural Network, GNN)을 사용하여 도구와 반죽 입자 간의 복잡한 물리적 상호작용을 모델링한다. 이 GNN은 각 도구별로 20분의 실제 상호작용 데이터만으로도, 특정 도구로 특정 행동을 했을 때 반죽이 어떻게 변형될지를 장기적으로 정확하게 예측할 수 있다.19
3. 폐쇄 루프 제어(Closed-Loop Control) 모듈: 이 모듈은 두 부분으로 나뉜다. 첫째, 현재 반죽 상태와 목표 상태를 입력받아 15개의 도구 중 어떤 도구를 사용해야 목표에 가장 효율적으로 도달할 수 있을지 분류하는 PointNet 기반의 ‘도구 분류기’. 둘째, 선택된 도구로 최적의 동작(누르기, 밀기 등)을 생성하는 ‘자기 지도 학습(self-supervised)’ 기반 정책으로 구성된다.20

시연 내용 및 결과: RoboCook 시스템은 실제로 밀가루 반죽 덩어리에서 시작하여 칼로 자르고, 집게로 집고, 롤러로 미는 등 총 9단계의 과정을 거쳐 만두를 만드는 데 성공했다.19 또한 알파벳 모양 쿠키를 만드는 등 복잡하고 긴 순서의 작업을 성공적으로 수행했다. 특히, 작업 도중 외부에서 사람이 반죽을 밀치는 등 강한 물리적 방해에도 불구하고 강건하게 작업을 완수하는 모습을 보여 시스템의 높은 안정성과 실용성을 입증했다.19

시사점: 이 연구는 AI 분야의 많은 영역을 지배하고 있는 ‘단일 거대 모델을 이용한 종단간 학습(end-to-end learning)’ 철학과는 다른 접근법의 중요성을 역설한다. 복잡한 물리적 과제를 해결하기 위해서는, 하나의 거대한 블랙박스 모델에 모든 것을 맡기기보다, 인식, 예측, 계획, 제어 등 각 기능을 전문화된 모듈로 명확하게 설계하고 이를 유기적으로 통합하는 ’시스템 공학적 접근’이 여전히 매우 효과적임을 보여준다. 특히, 데이터 기반의 학습 모델(GNN 동역학 예측)과 기호적 계획(도구 선택)을 결합한 하이브리드 방식은 현실 세계의 복잡성을 다루는 실용적인 해법임을 시사한다. 이는 향후 자율 에이전트의 아키텍처 설계에 중요한 참고가 될 수 있다. 하나의 거대한 ’월드 모델’을 구축하려는 시도와 더불어, 전문화된 학습 가능 모듈들의 ’도구 상자’를 만들고 이를 고수준 플래너가 조율하는 방식의 연구가 더욱 활발해질 것으로 예상된다.

3.2.3 (Best Student Paper) “도움을 요청하는 로봇: 거대 언어 모델 플래너를 위한 불확실성 정렬 (Robots That Ask For Help: Uncertainty Alignment for Large Language Model Planners)”

배경 및 문제의식: LLM은 뛰어난 상식 추론과 단계별 계획 능력을 갖추고 있어 로봇의 고수준 지능으로 활용될 잠재력이 매우 크다. 하지만 치명적인 약점은 ‘자신감 있게 틀린 정보(hallucination)를 생성하는’ 경향이다. LLM이 생성한 잘못된 계획을 로봇이 맹목적으로 신뢰하고 물리적 행동으로 옮길 경우, 예측 불가능한 심각한 결과를 초래할 수 있다.22

핵심 아이디어 및 방법론: 이 연구는 ’KnowNo’라는 프레임워크를 제안하여, LLM 기반 플래너가 ‘자신이 모른다는 것을 알도록’ 불확실성을 수학적으로 정렬(align)한다.22 이 방법론의 핵심에는 통계학의 ‘등각 예측(Conformal Prediction, CP)’ 이론이 있다.

1. 캘리브레이션(Calibration): 먼저, 로봇이 겪을 수 있는 다양한 모호한 시나리오와 그에 대한 정답 선택지로 구성된 캘리브레이션 데이터셋을 구축한다.
2. 신뢰도 임계값 설정: LLM이 각 시나리오의 선택지들을 선택할 확률을 계산한다. 이후, 캘리브레이션 데이터셋의 정답 선택지들의 확률 분포를 이용하여 통계적으로 유의미한 신뢰도 임계값을 설정한다. 이 임계값은 “정답이 예측 집합에 포함될 확률이 사용자가 지정한 수준(예: 95%) 이상이 되도록” 수학적으로 보장하는 역할을 한다.
3. 도움 요청 메커니즘: 실제 작업 시, LLM이 생성한 여러 가능한 행동 선택지들 중 위에서 설정한 신뢰도 임계값을 넘는 확률을 가진 선택지가 두 개 이상일 경우(즉, 예측 집합의 크기가 1보다 클 경우), 모델이 현재 상황에 대해 불확실하다고 판단하고 즉시 인간에게 도움을 요청한다.22

기술적 혁신 및 결과: 이 프레임워크의 가장 큰 장점은 모델을 재학습하거나 미세조정(fine-tuning)할 필요 없이, 기존에 존재하는 LLM에 즉시 적용할 수 있는 가벼운(lightweight) 접근법이라는 점이다.22 실험 결과, KnowNo는 인간의 개입을 최소화하면서도 통계적으로 보장된 수준의 작업 성공률을 달성할 수 있음을 입증했다. 공간적 모호성(“저 과일 좀 치워줄래?”)이나 인간의 선호도에 대한 불확실성(“내가 좋아하는 것만 파란 접시에 담아줘”) 등 다양한 실제 로봇 시나리오에서 효과적으로 작동함을 보였다.22

시사점: 이 연구는 강력하지만 때로는 신뢰할 수 없는 ‘블랙박스’ AI 모델을 어떻게 실제 물리 시스템에 안전하게 통합할 수 있는지에 대한 구체적이고 실용적인 방법론을 제시한다. 이는 단순히 AI의 성능을 높이는 것을 넘어, AI의 ’신뢰성’과 ’안전성’을 수학적 보증 하에 관리하려는 새로운 연구 흐름을 명확히 보여준다. LLM을 단순한 ’챗봇’이 아닌, 물리적 세계에 직접적인 영향을 미치는 ’에이전트’로 활용하기 위한 필수적인 안전장치 기술이라 할 수 있다. 이러한 접근법은 로봇공학을 넘어, LLM 기반 금융 자문, 법률 문서 검토 등 실제 세계에 영향을 미치는 모든 AI 에이전트 시스템에 적용될 수 있는 범용적인 ‘안전한 LLM 상호작용’ 설계 패턴으로 확장될 수 있다.

4. EMNLP 2023 - 언어 모델의 능력, 원리, 그리고 한계

Empirical Methods in Natural Language Processing (EMNLP) 2023은 LLM의 내부 작동 방식을 더 깊이 이해하려는 시도와 동시에, 그 시스템적 취약점을 정면으로 다루려는 연구들이 최우수 논문으로 선정되는 등, LLM에 대한 ’심층 분석’과 ’보안’이 핵심 화두로 떠오른 학회였다.6

4.1 EMNLP 2023 주요 동향

4.1.1 LLM의 신뢰성 및 안전성

LLM이 사회 전반으로 확산됨에 따라 그 부작용에 대한 우려가 학문적 연구 주제로 본격화되었다. 악의적인 프롬프트를 통해 모델을 조종하는 ’프롬프트 해킹’의 체계적 분석 6, LLM이 생성하는 정보의 사실성을 평가하는 방법론 6, 그리고 모델에 내재된 사회적 편향성을 탐지하고 완화하려는 연구 6 등이 주요 연구 주제로 다루어졌다. 이는 LLM 연구의 무게중심이 ’무엇을 할 수 있는가’에서 ’어떻게 신뢰하고 안전하게 사용할 것인가’로 이동하고 있음을 보여준다.

4.1.2 다국어 및 다문화 처리

LLM의 글로벌 적용을 위한 필수적인 연구 단계로서, 단일 언어(주로 영어)를 넘어 여러 언어와 문화권에서 LLM이 어떻게 작동하는지에 대한 연구가 주목받았다. 특히 여러 언어로 된 모델에서 사실적 지식(factual knowledge)이 얼마나 일관성 있게 유지되는지를 분석한 연구(Cross-Lingual Consistency) 6는 다국어 LLM의 신뢰성을 평가하는 중요한 기준을 제시했다.

4.1.3 새로운 평가 방법론

기존의 자동화된 벤치마크가 LLM의 진정한 능력을 제대로 평가하지 못한다는 비판이 제기되면서, 새로운 평가 프레임워크와 지표에 대한 논의가 활발히 이루어졌다. 특히, 여러 평가 지표들을 메타적으로 평가하여 어떤 지표가 더 신뢰할 수 있는지를 분석한 연구(Ties Matter) 6는 LLM 평가의 과학적 엄밀성을 높이려는 노력을 보여준다.

4.2 최우수 논문 심층 분석

4.2.1 (Best Paper) “레이블 단어는 앵커다: 정보 흐름 관점으로 본 인-컨텍스트 학습의 이해 (Label Words are Anchors: An Information Flow Perspective for Understanding In-Context Learning)”

배경 및 문제의식: 인-컨텍스트 학습(In-Context Learning, ICL)은 LLM에 몇 가지 예시를 보여주는 것만으로 새로운 작업을 수행하게 하는 핵심 능력이지만, 모델이 제시된 예시로부터 어떻게 학습하는지에 대한 내부 메커니즘은 거의 알려지지 않은 ‘블랙박스’ 영역이었다.24

핵심 아이디어 및 방법론: 이 연구는 모델 내부의 정보가 어떻게 흐르는지를 추적하는 ’정보 흐름(information flow)’이라는 새로운 렌즈를 통해 ICL 과정을 분석한다. 정보 흐름의 중요도는 어텐션 가중치와 손실 함수의 그래디언트를 결합한 ‘현저성 점수(saliency score)’ I_l로 정량화된다.24
I_l = \left\| \sum_h A_{h,l} \odot \frac{\partial L(x)}{\partial A_{h,l}} \right\|
여기서 A_{h,l}은 l번째 레이어, h번째 어텐션 헤드의 어텐션 행렬이고, L(x)는 손실 함수이다. 이 점수를 시각화하고 분석한 결과, 연구팀은 ICL 과정에서 제시된 예시의 ‘레이블 단어’(예: 감성 분석 과제에서 ‘긍정’, ’부정’과 같은 단어)가 정보 흐름을 매개하는 핵심적인 ‘앵커(anchor)’ 역할을 한다는 가설을 세웠다.24

‘앵커’ 가설의 두 가지 핵심 내용:

1. 정보 집계 (얕은 층): 모델의 입력에 가까운 얕은 층(shallow layers)에서는, 예시 문장의 다양한 의미 정보가 해당 문장의 ‘레이블 단어’ 표현(representation)으로 흘러 들어가 집계되는 현상이 관찰되었다.24 즉, 레이블 단어는 관련 정보를 빨아들이는 일종의 정보 저장소 역할을 한다.
2. 정보 추출 (깊은 층): 모델의 출력에 가까운 깊은 층(deep layers)에서는, 최종 예측을 담당하는 마지막 토큰이 이 ‘앵커’ 역할을 하는 레이블 단어들로부터 집계된 정보를 집중적으로 추출하여 최종 예측을 수행하는 것으로 나타났다.24

결과 및 응용: 이 가설을 바탕으로, 연구팀은 ICL의 성능을 향상시키는 ‘앵커 재가중치(anchor re-weighting)’ 기법과 추론 속도를 높이는 ‘앵커-온리 문맥 압축(anchor-only context compression)’ 기법을 제안하여 그 유효성을 실험적으로 입증했다.24 이는 ICL의 작동 원리에 대한 이론적 이해가 실제 모델의 성능 향상과 효율성 증대로 직접 이어질 수 있음을 보여준 중요한 사례이다.

시사점: 이 연구는 LLM의 ’블랙박스’를 여는 중요한 단서를 제공한다. ICL이 단순한 표면적 패턴 매칭이 아니라, 모델 내부에서 정보가 특정 ‘앵커’ 토큰을 중심으로 동적으로 재구성되는 구조적인 과정임을 밝혔다. 이는 LLM의 내부 작동 방식이 우리가 생각했던 것보다 더 체계적이고 해석 가능할 수 있음을 시사한다. 이러한 발견은 향후 LLM의 추론 과정을 정밀하게 제어하거나, 특정 개념을 모델에 ’주입’하거나 ’편집’하는 새로운 기술, 즉 일종의 ’LLM 신경외과(neuro-surgery)’와 같은 분야의 이론적 기반이 될 수 있다.

4.2.2 (Best Paper) “이 제목은 무시하고 핵어프롬프트 하세요: 글로벌 프롬프트 해킹 대회를 통해 드러난 LLM의 시스템적 취약점 (Ignore This Title and HackAPrompt: Exposing Systemic Vulnerabilities of LLMs Through a Global Prompt Hacking Competition)”

배경 및 문제의식: LLM이 챗봇, 글쓰기 도우미 등 대화형 서비스에 널리 도입되면서, 사용자가 악의적인 입력을 통해 모델이 원래의 안전 지침이나 작업 지시를 무시하고 공격자의 의도대로 작동하게 만드는 ’프롬프트 해킹(Prompt Hacking)’이 심각한 보안 위협으로 대두되었다.27 하지만 이러한 공격은 산발적으로 보고될 뿐, 그 유형과 심각성에 대한 대규모의 체계적인 연구는 부족한 실정이었다.

방법론: 글로벌 해킹 대회 개최: 이 문제를 정면으로 다루기 위해, 연구팀은 ’HackAPrompt’라는 이름의 글로벌 프롬프트 해킹 대회를 개최했다.28 전 세계의 참가자들은 GPT-3, ChatGPT 등 최신 LLM을 상대로 자유로운 형태로 공격 프롬프트를 작성하여 모델의 방어 체계를 뚫는 것을 목표로 했다. 이 대회를 통해 총 60만 개가 넘는 실제 공격 성공 및 실패 사례 데이터를 수집할 수 있었다.28

핵심 결과: 공격 유형의 체계적 분류(Ontology): 연구의 가장 중요한 기여는 수집된 방대한 데이터를 분석하여, 프롬프트 해킹 공격을 체계적으로 분류한 ’온톨로지(ontology)’를 구축한 것이다.28 이는 향후 LLM 보안 및 방어 기술 개발의 기초가 되는 매우 중요한 연구 자산이다. 주요 공격 유형은 다음과 같다.

시사점: 이 연구는 LLM 보안 문제를 새로운 차원으로 격상시켰다. 이전까지 LLM 안전성은 주로 유해 콘텐츠 생성을 막는 ’콘텐츠 필터링’의 문제로 여겨졌지만, 이 연구는 LLM이 SQL 인젝션이나 크로스 사이트 스크립팅(XSS)과 같은 전통적인 사이버 보안 위협과 유사한 ’시스템적 취약점’을 가지고 있음을 명확히 했다. 즉, 사용자의 입력(프롬프트) 자체가 시스템을 탈취하는 공격 벡터(attack vector)가 될 수 있음을 보여준 것이다.

이는 LLM 기반 애플리케이션을 개발할 때, 단순히 모델의 출력만 검사하는 것으로는 부족하며, 입력값 검증, 역할 및 권한 분리, 컨텍스트 샌드박싱 등 새로운 차원의 보안적 고려가 필요함을 의미한다. 이 연구는 사실상 ’프롬프트 보안 공학(Prompt Security Engineering)’이라는 새로운 학문 및 산업 분야의 필요성을 역설하고 있으며, 향후 AI 방화벽, LLM 보안 스캐너, 프롬프트 템플릿의 형식 검증 등 새로운 보안 기술 및 시장의 등장을 예고한다.

5. 종합 분석 및 2024년 전망

5.1 융합 연구 동향: LLM, 로봇의 ’두뇌’로 자리매김하다

2023년의 연구들은 LLM이 단순한 언어 생성기를 넘어, 로봇의 인식(Distilled Feature Fields), 계획(Robots That Ask For Help), 제어(Language to Rewards) 전반에 깊숙이 통합되고 있음을 명확히 보여준다. 이는 로봇공학 연구의 무게중심이 전통적인 ‘하드웨어와 제어’ 중심에서 ‘소프트웨어와 지능’ 중심으로 빠르게 이동하고 있음을 시사한다. LLM이 가진 방대한 상식과 추론 능력은 로봇이 이전에 해결하기 어려웠던 비정형 환경에서의 복잡하고 모호한 작업을 더 유연하게 대처할 수 있는 새로운 가능성을 열어주고 있다.

5.2 핵심 기반 기술의 재조명

파운데이션 모델의 화려함 속에서도, 그 한계를 보완하고 실용성을 높이는 핵심 기반 기술의 중요성이 다시 한번 부각되었다. GNN을 이용한 정교한 동역학 모델링(RoboCook), 등각 예측(Conformal Prediction)을 통한 불확실성의 수학적 관리(KnowNo), 그리고 정보 흐름 분석을 통한 모델 내부 메커니즘 해석(Label Words are Anchors) 등은 단순히 거대 모델을 가져다 쓰는 것을 넘어, 그 한계를 명확히 인지하고 다른 기술과 결합하여 신뢰성과 성능을 보완하는 ‘하이브리드 AI’ 접근법이 필수적임을 보여준다.

5.3 미래 연구 방향: 신뢰성, 물리적 상호작용, 효율성

2023년 하반기의 주요 연구들을 종합해 볼 때, 2024년 AI 및 로봇공학 연구는 다음 세 가지 방향으로 더욱 심화될 것으로 전망된다.

• 신뢰성 확보: ’HackAPrompt’가 드러낸 심각한 보안 취약점과 ’KnowNo’가 제시한 불확실성 관리의 필요성은 2024년 연구의 핵심 화두가 ’신뢰할 수 있는 AI(Trustworthy AI)’가 될 것임을 예고한다. 프롬프트 보안 공학, 모델의 환각 현상 억제, 그리고 로봇의 물리적 행동에 대한 수학적 안전 보증 연구가 더욱 중요해질 것이다.
• 물리적 상호작용 심화: ’RoboCook’과 같은 연구는 변형 가능한 객체 조작의 가능성을 열었다. 앞으로는 액체, 직물, 과립형 물질 등 다루기 더욱 어려운 대상과의 상호작용, 그리고 인간과의 긴밀하고 안전한 협업 14을 위한 멀티모달 이해 및 예측 능력에 대한 연구가 중요한 주제가 될 것이다.
• 효율적인 학습 방법론: ’Distilled Feature Fields’는 대규모 사전 훈련 모델의 지식을 물리 세계로 효율적으로 전이하는 방법의 중요성을 보여주었다. 방대한 양의 실제 상호작용 데이터 없이도 빠르고 일반화 가능한 기술을 습득하는 샘플 효율적(sample-efficient) 학습, 특히 자기 지도 학습(self-supervised learning)과 모방 학습(imitation learning)에 대한 연구가 계속해서 각광받을 것이다.

6. 결론: 2023년의 성과와 다가올 과제

2023년 하반기는 AI 기술이 경이로운 능력을 선보이는 동시에, 그 능력의 본질과 한계를 냉철하게 분석하기 시작한 ’성숙의 서막’이었다. 파운데이션 모델은 로봇의 지능을 한 단계 끌어올릴 강력한 도구임이 입증되었지만, 그 신뢰성과 안전성은 아직 해결해야 할 중대한 과제로 남아있다. ’창발’이라 불리며 신비의 영역에 있던 현상은 ’측정’의 문제로 재정의되었고, 인간과 AI의 가장 기본적인 소통 창구인 ’프롬프팅’은 새로운 ’공격 벡터’로 인식되기 시작했다.

이러한 성찰을 바탕으로, 2024년은 더욱 강건하고, 신뢰할 수 있으며, 효율적으로 물리 세계와 상호작용하는 지능을 구현하기 위한 구체적이고 공학적인 노력이 AI 및 로봇공학 연구의 최전선을 이끌어갈 것으로 전망된다. 블랙박스를 열려는 시도, 시스템의 취약점을 체계화하려는 노력, 그리고 불확실성을 수학적으로 관리하려는 움직임은 모두 더 성숙하고 책임감 있는 AI 시대로 나아가기 위한 필수적인 과정이다.

7. 참고 자료

1. Frontiers in Robotics and AI, https://www.frontiersin.org/journals/robotics-and-ai
2. Papers — CoRL 2023, https://www.corl2023.org/papers
3. CoRL 2023 Accepted Paper List - Paper Copilot, https://papercopilot.com/paper-list/corl-paper-list/corl-2023-paper-list/
4. NeurIPS 2023 Highlights - Radical Ventures, https://radical.vc/neurips-2023-highlights/
5. NeurIPS 2023: Our Favorite Papers on LLMs, Statistical Learning, and More - Two Sigma, https://www.twosigma.com/articles/neurips-2023-our-favorite-papers-on-llms-statistical-learning-and-more/
6. Best Papers - EMNLP 2023, https://2023.emnlp.org/program/best_papers/
7. NeurIPS 2023 Awards, https://neurips.cc/virtual/2023/awards_detail
8. Are Emergent Abilities of Large Language Models a Mirage? - Semantic Scholar, https://www.semanticscholar.org/paper/Are-Emergent-Abilities-of-Large-Language-Models-a-Schaeffer-Miranda/29c7f009df21d0112c48dec254ff80cc45fac3af
9. Are Emergent Abilities of Large Language Models a Mirage? - arXiv, https://arxiv.org/pdf/2304.15004
10. Are Emergent Abilities of Large Language Models a Mirage?, https://papers.neurips.cc/paper_files/paper/2023/file/adc98a266f45005c403b8311ca7e8bd7-Paper-Conference.pdf
11. Are Emergent Abilities of Large Language Models a Mirage? - OpenReview, https://openreview.net/forum?id=ITw9edRDlD
12. CoRL 2023 Conference - OpenReview, https://openreview.net/group?id=robot-learning.org/CoRL/2023/Conference
13. CoRL 2023 Conference Submissions - OpenReview, https://openreview.net/submissions?venue=robot-learning.org/CoRL/2023/Conference
14. Robotics, Volume 12, Issue 6 (December 2023) – 26 articles - MDPI, https://www.mdpi.com/2218-6581/12/6
15. Distilled Feature Fields Enable Few-Shot Language-Guided …, https://openreview.net/forum?id=Rb0nGIt_kh5
16. Distilled Feature Fields Enable Few-Shot Language-Guided Manipulation - arXiv, https://arxiv.org/html/2308.07931v2
17. SparseDFF: Sparse-View Feature Distillation for One-Shot Dexterous Manipulation - arXiv, https://arxiv.org/html/2310.16838v1
18. SparseDFF: Sparse-View Feature Distillation for One-Shot Dexterous Manipulation - arXiv, https://arxiv.org/html/2310.16838v2
19. RoboCook: Long-Horizon Elasto-Plastic Object Manipulation with Diverse Tools, https://hshi74.github.io/robocook/
20. RoboCook: Long-Horizon Elasto-Plastic Object Manipulation with Diverse Tools - Jiajun Wu, https://jiajunwu.com/papers/robocook_corl.pdf
21. RoboCook: Long-Horizon Elasto-Plastic Object Manipulation with …, https://arxiv.org/pdf/2306.14447
22. Robots That Ask For Help: Uncertainty Alignment for Large …, https://robot-help.github.io/
23. Awards — CoRL 2023, https://www.corl2023.org/awards
24. Label Words are Anchors: An Information Flow Perspective for Understanding In-Context Learning - ACL Anthology, https://aclanthology.org/2023.emnlp-main.609.pdf
25. [2305.14160] Label Words are Anchors: An Information Flow Perspective for Understanding In-Context Learning - arXiv, https://arxiv.org/abs/2305.14160
26. Label Words are Anchors: An Information Flow Perspective for Understanding In-Context Learning | Request PDF - ResearchGate, https://www.researchgate.net/publication/376402737_Label_Words_are_Anchors_An_Information_Flow_Perspective_for_Understanding_In-Context_Learning
27. Ignore This Title and HackAPrompt: Exposing Systemic Vulnerabilities of LLMs Through a Global Prompt Hacking Competition - ACL Anthology, https://aclanthology.org/2023.emnlp-main.302/
28. HackAPrompt, https://paper.hackaprompt.com/
29. Ignore This Title and HackAPrompt: Exposing Systemic Vulnerabilities of LLMs through a Global Scale Prompt Hacking Competition - ACL Anthology, https://aclanthology.org/2023.emnlp-main.302.pdf
30. Ignore This Title and HackAPrompt: Exposing Systemic …, https://openreview.net/forum?id=hcDE6sOEfu
31. [2311.16119] Ignore This Title and HackAPrompt: Exposing Systemic Vulnerabilities of LLMs through a Global Scale Prompt Hacking Competition - arXiv, https://arxiv.org/abs/2311.16119
32. Inside HackAPrompt 1.0: How We Tricked LLMs and What We Learned - Learn Prompting, https://learnprompting.org/blog/hackaprompt-1-results
33. Breaking to Build: A Threat Model of Prompt-Based Attacks for Securing LLMs, https://www.researchgate.net/publication/395339251_Breaking_to_Build_A_Threat_Model_of_Prompt-Based_Attacks_for_Securing_LLMs
34. Ignore This Title and HackAPrompt: Exposing Systemic Vulnerabilities of LLMs through a Global Scale Prompt Hacking Competition - arXiv, https://arxiv.org/html/2311.16119v3