년 3분기 AI 및 로봇 연구 동향

1. 서론

1.1 2007년 3분기 AI 연구의 학술적 맥락

2007년 3분기는 인공지능(AI) 연구 역사에서 중요한 변곡점으로 기록된다. 딥러닝 혁명이 본격화되기 이전, 전통적인 기계학습 방법론과 기호주의 AI의 정교화가 최고조에 달했던 시기였다. 이 시기의 연구들은 개별 알고리즘의 성능을 극한으로 끌어올리는 것을 넘어, 자연어 이해(NLU), 지식 표현 및 추론(KRR), 기계학습(ML), 에이전트 시스템 등 AI의 여러 하위 분야 기술들을 하나의 시스템으로 통합하여 복잡하고 실제적인 문제를 해결하려는 시도가 두드러졌다. 이는 AI 연구의 패러다임이 이론적 탐구를 넘어 실용적이고 통합적인 지능 시스템 구축으로 확장되고 있었음을 시사한다.

또한, 이 시기는 AI 연구의 세계화가 뚜렷하게 나타난 때이기도 하다. 2007년 7월에 개최된 최고 권위의 학술대회인 AAAI-07에서는 제출된 전체 논문 중 61%가 미국 외 45개국에서 제출되어, AI 연구가 특정 지역에 국한되지 않고 전 지구적인 학문 분야로 자리 잡았음을 명확히 보여주었다.1 이러한 국제적 참여의 증가는 다양한 관점과 접근법의 교류를 촉진하며 연구의 폭과 깊이를 더하는 계기가 되었다.

더불어, 월드 와이드 웹(World Wide Web)의 폭발적인 성장은 AI 연구자들에게 전례 없는 규모의 데이터와 새로운 응용 분야를 제공했다. 워싱턴 대학의 오렌 에치오니(Oren Etzioni) 교수가 창업한 항공권 가격 예측 서비스 ’Farecast’의 성공 사례는 웹 스케일의 방대한 데이터를 데이터 마이닝 기술로 분석하여 실질적인 가치를 창출한 대표적인 예시다.1 이는 AI 기술이 학계를 넘어 산업계에서 강력한 영향력을 발휘할 수 있음을 입증하며, 이후 빅데이터와 AI의 결합을 예고하는 신호탄이 되었다.

1.2 보고서의 구조 및 분석 관점

본 보고서는 2007년 3분기(7월-9월)에 발표된 AI 및 로봇 분야의 핵심 연구 성과들을 체계적으로 분석하고 그 학술적 의의를 조명하는 것을 목표로 한다. 이를 위해, 당대의 연구 동향을 가장 압축적으로 보여주는 주요 학술대회 발표와 최고 수준의 저널 논문들을 중심으로 분석을 전개한다.

먼저, 해당 분기 최고의 지성들이 모인 제22회 AAAI 학술대회(AAAI-07)의 주요 발표 내용을 심층적으로 살펴본다. 특히, 최우수 논문상(Outstanding Paper Award)을 수상한 두 편의 연구를 통해 당시 AI 커뮤니티가 가장 중요하게 여겼던 연구 방향성을 분석하고, 이동 로봇 경진대회(Mobile Robot Competition)를 통해 로보틱스 기술이 물리적 세계와 상호작용하는 방식의 진화 과정을 추적한다.

다음으로, 기계학습 분야의 최고 권위 저널인 『Journal of Machine Learning Research』(JMLR)와 패턴 인식 및 컴퓨터 비전 분야의 최고 저널인 『IEEE Transactions on Pattern Analysis and Machine Intelligence』(TPAMI)에 게재된 주요 논문들을 분석한다. 이를 통해 학계의 근간을 이루는 핵심 이론들이 어떻게 심화되고 정교화되었는지 살펴본다.

이러한 분석 과정을 통해, 본 보고서는 2007년 3분기 AI 연구를 특징짓는 세 가지 핵심 키워드, 즉 통합(Integration), 의미론(Semantics), **정교화(Sophistication)**를 도출하고, 이를 중심으로 당시 연구 성과들이 현재의 AI 기술 발전에 어떠한 영향을 미쳤는지 심도 있게 고찰하고자 한다. 아래 표는 본 보고서의 분석 대상이 되는 2007년 3분기의 주요 학술대회 목록이다.

이 표에서 확인할 수 있듯이, 2007년 3분기에는 특히 자연어 처리, 음성 인식, 기계 번역과 관련된 학술 활동이 매우 활발했음을 알 수 있다.3 이는 당시 AI 연구의 주요 관심사 중 하나가 인간의 언어를 이해하고 처리하는 기술에 집중되어 있었음을 보여주는 중요한 지표다.

2. 제22회 AAAI 학술대회(AAAI-07)를 통해 본 AI 연구의 최전선

2007년 7월 캐나다 밴쿠버에서 개최된 제22회 AAAI 학술대회(AAAI-07)는 총 45개국에서 923편의 논문이 제출되는 등 역대 최대 규모의 국제적 참여를 기록하며 당시 AI 연구의 현주소를 가늠하는 가장 중요한 장이 되었다.1 이 학회에서 발표된 연구들, 특히 최우수 논문으로 선정된 연구들은 당대 AI가 지향하던 핵심 가치와 기술적 난제를 명확하게 보여준다.

2.1 최우수 논문 분석: 통합 지능과 순차적 의사결정의 새로운 지평

AAAI-07에서는 두 편의 논문이 최우수 논문상(Outstanding Paper Award)을 공동으로 수상했다.2 이 두 연구는 각각 ’통합 지능(Integrated Intelligence)’과 ’정교한 순차적 의사결정 모델링(Sophisticated Sequential Decision-Making)’이라는, 당시 AI 연구의 핵심적인 두 갈래를 대표한다. 한 편은 인간과 유사한 방식으로 다양한 지능을 결합하여 복잡한 과업을 학습하는 시스템을 구축하는 ’합성(synthesis)’의 방향성을 보여주었고, 다른 한 편은 특정 문제 상황을 수학적으로 엄밀하게 모델링하여 최적의 해를 찾는 ’분석(analysis)’의 깊이를 보여주었다.

이러한 공동 수상은 AI 분야가 거대한 비전의 시스템 공학과 엄밀한 수학적 이론의 발전을 모두 동등하게 중시하며 건강한 긴장 관계 속에서 발전하고 있었음을 시사한다. 한편으로는 인간과 같은 지능을 구현하려는 고전적 AI의 꿈을 좇으면서, 다른 한편으로는 현대 기계학습의 특징인 수학적 정밀함과 최적화에 대한 탐구를 심화시키는 모습이 공존했던 것이다.

2.1.1 PLOW: 시연과 대화를 통한 협력적 과업 학습 에이전트

PLOW: A Collaborative Task Learning Agent 연구는 인간과 기계가 자연스럽게 협력하기 위한 근본적인 문제를 다루었다.7 즉, 기계가 인간 전문가로부터 새로운 작업을 어떻게 효율적으로 배울 수 있는가에 대한 문제다. 기존의 ‘관찰을 통한 학습(learning by observation)’ 접근법은 전문가의 행동을 여러 번 반복해서 관찰해야만 했으며, 작업의 복잡도가 증가할수록 필요한 학습 데이터의 양이 기하급수적으로 늘어나는 한계를 지니고 있었다.8

이 문제를 해결하기 위해 PLOW는 다양한 AI 기술을 하나의 에이전트 아키텍처 안에 유기적으로 통합하는 ‘통합 지능’ 접근법을 제시했다.8 PLOW의 학습 방식은 인간이 다른 인간을 가르치는 방식과 유사하다. 사용자는 작업을 직접 시연하면서 동시에 자신이 무엇을 하고 있는지 말로 설명(“play-by-play”)한다. PLOW는 이 두 가지 정보를 동시에 활용하여 단 한 번의 학습 세션만으로 복잡한 작업 절차를 학습한다. PLOW 아키텍처의 핵심 구성 요소는 다음과 같다.

• 이해 (Understanding): 에이전트는 사용자의 음성 또는 텍스트 입력을 심층적인 자연어 처리 기술(파싱, 의미론적/화용론적 해석)을 통해 분석한다. 동시에 사용자가 웹 브라우저 상에서 수행하는 클릭, 입력 등의 GUI 행동을 모니터링한다. 이 두 가지 정보 채널—언어적 설명과 행동적 시연—을 결합하여 사용자의 진정한 의도를 파악한다. 이 과정에서 사용되는 언어 모델은 특정 도메인에 국한되지 않는 범용 온톨로지를 기반으로 하여 확장성을 확보했다.9
• 학습 (Learning): PLOW의 학습 메커니즘은 구체적인 예시(시연)와 일반화의 단서(언어 설명)를 결합하는 데 핵심이 있다. 예를 들어, 사용자가 특정 링크를 클릭하며 “이 목록의 각 항목에 대해 반복합니다“라고 말하면, 시스템은 시연을 통해 클릭이라는 구체적 행동을 배우고, 언어 설명을 통해 이 행동이 반복(loop) 구조의 일부임을 파악한다. 이러한 방식으로 단일 예제만으로도 조건 분기나 반복문과 같은 복잡한 프로그래밍 구조를 포함하는 실행 가능한 과업 모델을 생성할 수 있다.9
• 행동 (Acting): PLOW는 단순히 학습만 하는 수동적인 에이전트가 아니다. 학습된 과업 모델을 직접 실행할 수 있으며, 심지어 학습 과정 중에도 사용자를 돕는다. 만약 사용자가 시연하는 작업의 일부가 시스템이 이미 알고 있는 하위 작업이라면, PLOW는 그 부분을 대신 수행해준다. 이러한 ‘협력적 실행’ 기능은 특히 여러 번의 반복이 필요한 작업을 가르칠 때 사용자가 지루한 시연을 반복하지 않아도 되게 함으로써 학습 효율을 극대화한다.9

결론적으로 PLOW는 실험을 통해 인간 피실험자와의 짧은 상호작용만으로 새로운 정보 관리 작업을 성공적으로 학습할 수 있음을 입증했다.10 이는 AI 연구가 개별 기술의 성능 경쟁을 넘어, 여러 지능적 능력을 통합하여 인간과 자연스럽게 소통하고 지식을 습득하는 ‘통합 지능’ 시스템으로 나아가는 중요한 이정표를 제시한 것으로 평가된다.

2.1.2 Thresholded Rewards: 시간제한 제로섬 게임에서의 최적 행동 모델링

Thresholded Rewards: Acting Optimally in Timed, Zero-Sum Games 연구는 로봇 축구와 같이 시간이 제한된 경쟁 환경에서의 최적 의사결정 문제를 새로운 시각으로 접근했다.12 이러한 환경에서는 경기 내내 얻는 누적 점수를 최대화하는 것보다, 경기 종료 시점에 상대방보다 앞서 ’승리’할 확률을 최대화하는 것이 궁극적인 목표다. 하지만 전통적인 마르코프 결정 과정(MDP) 프레임워크는 이러한 최종 승패 여부를 직접적인 최적화 목표로 설정하기 어렵다는 문제가 있었다.14

이 연구는 이러한 문제를 해결하기 위해 ’임계 보상 MDP(Thresholded-Rewards MDP, TRMDP)’라는 새로운 프레임워크를 제안했다.

• 임계 보상(Thresholded Rewards) 개념: 표준 MDP가 각 시간 단계에서 즉각적인 보상을 받아 이를 누적하는 방식이라면, TRMDP는 게임이 진행되는 동안에는 ‘중간 누적 보상’(r_{\text{intermediate}}, 예: 우리 팀과 상대 팀의 점수 차이)만을 기록한다. 그리고 게임이 종료되는 시점에 이 중간 누적 보상에 ‘임계 함수’(f)를 적용하여 최종적인 ‘진정한 보상’(r_{\text{true}})을 단 한 번 결정한다. 제로섬 게임의 경우, 이 임계 함수는 승리, 무승부, 패배에 따라 각각 1, 0, -1의 값을 부여하는 방식으로 정의될 수 있다.14
  r_{\text{true}} = f(r_{\text{intermediate}}) = \begin{cases} 1 & \text{if } r_{\text{intermediate}} > 0 \text{ (Win)} \\ 0 & \text{if } r_{\text{intermediate}} = 0 \text{ (Tie)} \\ -1 & \text{if } r_{\text{intermediate}} < 0 \text{ (Loss)} \end{cases}

• 비정상적 최적 정책(Non-Stationary Optimal Policy): 이 프레임워크에서 최적의 행동을 결정하는 정책(\pi)은 현재 상태(s)에만 의존하지 않는다. 최적의 행동은 남은 시간(t)과 현재까지의 중간 누적 보상(r_{\text{intermediate}})에 따라서도 달라진다. 즉, 최적 정책은 \pi(s, t, r_{\text{intermediate}})의 형태를 갖는 비정상적(non-stationary) 정책이 된다. 예를 들어, 경기 초반에 비기고 있을 때의 최적 행동과, 경기 종료 직전에 지고 있을 때의 최적 행동은 완전히 다를 수 있다.14

• 해결 알고리즘: 연구진은 이러한 TRMDP를 정확하게 풀기 위한 효율적인 가치 반복(Value Iteration) 알고리즘을 제안했다. 이 알고리즘의 핵심은 기존의 상태 공간을 (s, t, r_{\text{intermediate}})라는 확장된 상태 튜플로 변환하는 것이다. 이렇게 변환된 MDP에서 동적 계획법을 적용하면 원래 TRMDP의 최적 정책을 찾을 수 있다.12

이 연구의 가장 큰 기여는 실제 세계의 복잡한 목표(단순한 점수 획득이 아닌 ‘승리’)와 수학적 최적화 모델 사이의 간극을 줄이는 새로운 방법을 제시했다는 점이다. 제안된 모델을 통해 도출된 정책은 경기에서 이기고 있을 때는 수비적인 전략을, 지고 있을 때는 공격적인 전략을 선택하는 등 인간의 직관과 일치하는 동적이고 상황에 맞는 행동을 보여주었다. 이는 강화학습 분야에서 보상 함수를 어떻게 설계해야 에이전트가 우리가 원하는 진정한 목표를 달성하도록 유도할 수 있는가에 대한 근본적인 질문을 던졌으며, 오늘날 AI 안전성과 정렬(alignment) 문제의 중요한 이론적 토대가 되었다.

2.2 로보틱스의 진화: 물리적 세계의 의미론적 이해를 향하여

AAAI-07에서는 제16회 이동 로봇 경진대회 및 전시회가 함께 열렸다.15 이 행사는 당시 로보틱스 연구가 단순한 기구학적 제어나 장애물 회피 수준을 넘어, 로봇이 물리적 환경을 ’이해’하고 보다 지능적인 과업을 수행하는 방향으로 나아가고 있음을 명확히 보여주었다. 특히 주목할 만한 이벤트는 ’시맨틱 로봇 비전 챌린지(Semantic Robot Vision Challenge)’였다.

이 챌린지의 과제는 매우 혁신적이었다. 로봇에게 “프링글스 과자통(Pringles can)“과 같은 특정 객체의 이름이 담긴 목록을 텍스트로 전달하면, 로봇은 스스로 월드 와이드 웹에 접속하여 해당 객체의 이미지를 검색하고, 수집된 이미지들을 바탕으로 해당 객체에 대한 시각적 모델을 학습해야 했다. 그 후, 학습된 모델을 이용해 실제 물리적 환경 속에서 해당 객체를 찾아내고 인식하는 것이 최종 목표였다.15

이 과제가 갖는 기술적 의의는 심대하다. 이는 몇 가지 중요한 패러다임의 전환을 예고했다.

첫째, 잘 정제되고 레이블링된 데이터셋에 의존하던 기존의 감독 학습(supervised learning) 패러다임에서 벗어났다. 대신, 웹이라는 거대하고 비정형적이며 노이즈가 많은 데이터 소스를 로봇이 능동적으로 활용하여 스스로 지식을 구축하는 새로운 학습 방식을 제시했다.

둘째, 언어적 기호(텍스트)와 시각적 정보(이미지), 그리고 물리적 실체(객체)를 연결하는 과제를 전면에 내세웠다. 로봇은 “프링글스 과자통“이라는 텍스트를 입력받아, 웹상의 수많은 관련 이미지를 통해 ’프링글스 과자통’이라는 시각적 개념을 형성하고, 최종적으로 눈앞의 물리적 원통형 물체가 그 개념에 해당하는지를 판단해야 했다. 이 과정은 텍스트 → 이미지 집합 → 일반화된 시각적 개념 → 특정 물리적 인스턴스로 이어지는 의미론적 연결(semantic grounding)의 전 과정을 포함한다.

이러한 접근 방식은 오늘날의 비전-언어 모델(Vision-Language Models, VLM)이 추구하는 핵심 원리와 개념적으로 동일하다. 현대의 VLM들이 인터넷 규모의 텍스트-이미지 쌍 데이터를 이용해 사전 학습하는 것처럼, 이 챌린지는 2007년의 기술 수준에서 동일한 비전을 로봇 과업의 형태로 구현하려 한 선구적인 시도였다. 이는 로봇이 인간과 유의미한 상호작용을 하기 위해서는 인간이 사용하는 의미론적 레이블(언어)을 지각 세계와 연결하는 능력이 필수적이며, 그 연결을 위한 가장 확장성 있는 자원이 바로 웹이라는 점을 통찰한 것이다.

Virginia Tech의 휴머노이드 로봇 ’DARwIn’이나, 당시 프린스턴 대학에 소속되어 있던 페이페이 리(Fei-Fei Li)가 참여한 UIUC 팀 등 유수의 연구 그룹들이 이 대회에 참여했다는 사실은, 로봇 지능의 연구 방향이 고수준의 의미론적 장면 이해(semantic scene understanding)로 이동하고 있음을 보여주는 강력한 증거였다.16

3. 주요 저널을 통해 본 핵심 이론 및 기술의 심화

2007년 3분기에는 학술대회 발표뿐만 아니라, AI 및 로봇 분야의 최고 권위 저널들을 통해서도 이론적으로 중요한 연구들이 다수 발표되었다. 특히 『Journal of Machine Learning Research』(JMLR)와 『IEEE Transactions on Pattern Analysis and Machine Intelligence』(TPAMI)는 각각 기계학습과 컴퓨터 비전 분야의 이론적 심화와 기술적 정교화가 어떻게 이루어지고 있었는지를 잘 보여준다.

3.1 기계학습의 이론적 확장 (JMLR, Vol. 8)

2007년에 발행된 JMLR Volume 8은 기계학습의 여러 핵심 분야에서 이론적, 방법론적 성숙이 뚜렷하게 진행되고 있었음을 보여준다. 특히 비정형 데이터를 효과적으로 표현하고, 복잡한 구조를 가진 데이터를 모델링하기 위한 확률적 접근법에서 중요한 진전이 있었다.17

3.1.1 효율적인 특징 집합 학습: 피라미드 매치 커널

The Pyramid Match Kernel: Efficient Learning with Sets of Features 논문은 이미지나 문서와 같이 순서가 없는 지역 특징(local features)들의 ’집합(set)’으로 표현되는 데이터를 다루는 근본적인 문제를 해결하고자 했다.17 이러한 집합 데이터는 원소의 개수가 가변적이고 원소 간에 자연스러운 순서가 없기 때문에 전통적인 벡터 기반 기계학습 알고리즘에 직접 적용하기 어렵다. 두 집합 간의 유사성을 측정하기 위해 원소들 간의 최적 대응(optimal partial matching)을 찾는 것은 일반적으로 계산 비용이 매우 높은 NP-hard 문제에 해당하여, 대규모 데이터셋에는 비실용적이었다.17

이 연구는 이러한 문제를 해결하기 위해 ’피라미드 매치 커널(Pyramid Match Kernel)’이라는 새로운 커널 함수를 제안했다. 이 방법의 핵심 아이디어는 다음과 같다.

1. 다중 해상도 히스토그램 생성: 특징 공간을 다양한 크기의 격자로 나누어 여러 해상도의 히스토그램을 생성한다. 저해상도 히스토그램은 특징의 대략적인 분포를, 고해상도 히스토그램은 세밀한 분포를 포착한다.
2. 가중치 부여 히스토그램 교차: 두 집합에 대해 생성된 다중 해상도 히스토그램들 간에 가중치를 적용한 교차(weighted histogram intersection)를 계산한다. 이때, 더 높은 해상도(더 작은 격자)에서 매칭되는 특징 쌍에 더 높은 가중치를 부여한다. 이는 유사한 특징들이 특징 공간에서 서로 가까이 위치할수록 더 높은 유사도 점수를 받게 되는 효과를 낳는다.

이러한 접근법은 최적 매칭을 명시적으로 계산하지 않고도 암묵적인 대응 관계를 효율적으로 찾아낸다. 피라미드 매치 커널의 계산 복잡도는 특징의 수에 대해 선형 시간(O(N))으로, 기존 방법에 비해 획기적으로 빠르다. 연구진은 이 커널이 머서의 조건(Mercer’s condition)을 만족하는 유효한 커널임을 수학적으로 증명했으며, 객체 인식, 3D 인간 자세 추정 등 다양한 실험에서 높은 정확도와 효율성을 입증했다.17 이 연구는 서포트 벡터 머신(SVM)과 같은 커널 기반 학습 방법이 대규모의 비정형 특징 집합을 다루는 문제에 실용적으로 적용될 수 있는 길을 열어준 중요한 성과다.

3.1.2 복잡한 순차 데이터 모델링: 동적 조건부 랜덤 필드

Dynamic Conditional Random Fields: Factorized Probabilistic Models for Labeling and Segmenting Sequence Data 논문은 순차 데이터(sequence data)를 모델링하는 확률적 그래피컬 모델의 표현력을 한 단계 끌어올렸다.17 자연어 처리의 품사 태깅이나 개체명 인식과 같은 전통적인 순차 레이블링 문제에서 선형-체인 조건부 랜덤 필드(linear-chain CRF)는 큰 성공을 거두었다. 하지만 현실의 많은 문제들은 더 복잡한 구조를 가진다. 예를 들어, 하나의 문장에 대해 구문 분석과 의미역 분석을 동시에 수행하는 경우, 두 작업의 레이블들은 서로 복잡한 상호 의존성을 갖는다. 기존의 선형-체인 CRF는 이러한 구조를 모델링하는 데 명백한 한계가 있었다.17

이 연구는 이러한 한계를 극복하기 위해 ’동적 조건부 랜덤 필드(Dynamic Conditional Random Fields, DCRF)’를 제안했다. DCRF는 선형-체인 CRF를 일반화한 모델로, 각 시간 단위(time slice)가 단일 상태 변수가 아닌, 여러 상태 변수와 그들 간의 상호작용을 나타내는 엣지들로 구성된 ’분산 상태(distributed state)’를 가질 수 있도록 허용한다. 이는 동적 베이지안 네트워크(DBN)가 은닉 마르코프 모델(HMM)을 일반화한 것과 유사한 개념적 확장이지만, DCRF는 DBN과 달리 조건부 확률을 직접 모델링하는 판별적 모델(discriminative model)의 장점을 그대로 유지한다.

DCRF의 구조는 매우 유연하여, 연쇄적인 다중 과업(cascaded tasks)이나 레이블 간의 장거리 의존성 등 복잡한 관계를 효과적으로 표현할 수 있다. 물론, 모델의 표현력이 증가함에 따라 정확한 추론(exact inference)은 계산적으로 불가능해질 수 있다. 따라서 연구진은 트리 기반 재매개변수화(TRP)와 같은 근사 추론 기법을 적용하여 이 문제를 해결했다. 자연어 구문 분석(chunking) 실험에서 DCRF는 여러 개의 선형-체인 CRF를 순차적으로 적용하는 방식보다 더 높은 성능을 보였으며, 특히 전이 학습(transfer learning)과 같이 여러 데이터셋을 활용하는 시나리오에서 강력한 성능을 입증했다.17 이 연구는 순차 데이터를 위한 확률적 모델링의 표현력을 크게 확장하여, 이후 다중 과업 학습(multi-task learning)이나 구조적 예측(structured prediction) 분야의 발전에 중요한 이론적 기반을 제공했다.

3.2 패턴 분석 및 컴퓨터 비전의 발전 (IEEE TPAMI, Vol. 29)

2007년 3분기에 발행된 『IEEE Transactions on Pattern Analysis and Machine Intelligence』(TPAMI) Volume 29의 7월, 8월, 9월호는 컴퓨터 비전의 다양한 핵심 분야에서 모델 기반 접근법과 확률적 추론을 통해 문제의 복잡성을 다루려는 지속적인 노력을 보여준다.

3.2.1 형상 및 행동 분석 (7월호 - July Issue)

7월호에서는 객체의 형상과 인간의 행동을 깊이 있게 이해하려는 연구들이 주목받았다.

Active Shape Models with Invariant Optimal Features 논문은 얼굴 분석과 같은 응용에서 널리 사용되던 능동적 형상 모델(Active Shape Model, ASM)의 성능을 개선하는 연구를 다루었다. ASM은 객체의 평균 형상과 그 변형 패턴을 통계적으로 모델링하여 이미지에서 객체의 윤곽선을 찾는 방법이다. 이 연구는 조명이나 시점 변화에 강건한(invariant) 최적의 특징을 자동으로 선택하고 학습하여 모델에 통합함으로써, 기존 ASM의 정확도와 강건성을 한층 높였다.20

Value-Directed Human Behavior Analysis from Video Using Partially Observable Markov Decision Processes 논문은 영상 속 인간의 행동을 분석하는 새로운 패러다임을 제시했다. 기존의 행동 인식 연구가 주로 행동의 시각적 패턴을 분류하는 데 초점을 맞춘 반면, 이 연구는 행동을 ’어떤 가치(value)나 목표를 달성하기 위한 일련의 의사결정 과정’으로 간주했다. 이를 모델링하기 위해, 불완전한 관찰 하에서 최적의 의사결정 문제를 다루는 프레임워크인 ’부분 관찰 마르코프 결정 과정(POMDP)’을 도입했다. 이 접근법은 관찰된 행동의 이면에 있는 의도나 목표를 추론할 수 있는 가능성을 열어, 행동 분석 연구에 깊이를 더했다.20

3.2.2 3차원 복원 및 인식 (8월호 - August Issue)

8월호에서는 3차원 정보 처리와 관련된 핵심 기술들의 발전을 엿볼 수 있었다.

A Variational Approach to Problems in Calibration of Multiple Cameras 연구는 여러 대의 카메라를 사용하는 3차원 비전 시스템의 성능에 결정적인 영향을 미치는 카메라 보정(calibration) 문제를 다루었다. 이 연구는 보정 문제를 하나의 통합된 에너지 함수를 최소화하는 문제로 정의하고, 이를 변분법적 접근(variational approach)을 통해 해결함으로써 다중 카메라 간의 기하학적 관계를 더 정확하고 안정적으로 추정하는 방법을 제시했다.21

Deformation Models for Image Recognition 논문은 이미지 인식의 중요한 난제 중 하나인 비강체(non-rigid) 객체 인식을 위한 변형 모델들을 종합적으로 다루었다. 강체(rigid body)와 달리 비강체 객체는 다양한 형태로 변형될 수 있기 때문에, 이러한 변형을 수학적으로 모델링하고 인식 과정에 통합하는 것이 필수적이다. 이 논문은 당시까지 제안된 다양한 변형 모델들을 분석하고 그 가능성을 탐구함으로써, 객체 인식 연구가 단순한 형상을 넘어 더 복잡하고 현실적인 대상을 다루는 방향으로 나아가고 있음을 보여주었다.21

3.2.3 이미지의 계층적 구조 모델링 (9월호 - September Issue)

9월호에 실린 Spatial Random Tree Grammars for Modeling Hierarchical Structure in Images with Regions of Arbitrary Shape 논문은 이미지를 이해하는 방식을 근본적으로 바꾸려는 야심 찬 시도를 담고 있었다.22 이 연구는 이미지를 단순히 픽셀들의 집합이나 독립적인 특징들의 모음으로 보지 않고, 마치 문장이 단어와 구로 구성되듯, 이미지가 객체와 하위 객체, 그리고 배경 영역들 간의 계층적이고 문법적인 구조를 가지고 있다고 보았다.

이러한 ’비전은 파싱이다(Vision as Parsing)’라는 관점을 구현하기 위해, 연구진은 ’공간적 랜덤 트리 문법(Spatial Random Tree Grammars, SRTG)’이라는 새로운 확률 모델을 제안했다. SRTG는 이미지 분할(segmentation)을 통해 생성된 임의의 형태를 가진 영역들이 어떻게 결합하여 더 큰 구조를 형성하는지에 대한 확률적 규칙을 정의한다. 예를 들어, ’얼굴’이라는 상위 구조는 ‘눈’, ‘코’, ’입’이라는 하위 구조들로 특정 공간적 관계를 유지하며 구성된다는 규칙을 학습할 수 있다.

이러한 접근법은 단순히 이미지 안에 ’무엇이 있는가’를 넘어 ’그것들이 어떻게 구조적으로 연관되어 있는가’를 파악하려는 시도였다. 이는 장면을 더 깊이 있게 이해하기 위한 중요한 단계였다. 비록 당시에는 계산 비용 문제로 널리 적용되기 어려웠지만, 이미지의 구성적(compositional) 본질을 파악하려는 이 아이디어는 이후 장면 그래프 생성(scene graph generation)이나 구성적 표현을 학습하는 딥러닝 모델 연구의 중요한 개념적 선구자가 되었다.

4. 종합 및 결론

4.1 2007년 3분기 연구의 핵심 동향 요약

2007년 3분기에 발표된 AI 및 로봇 분야의 주요 연구들을 종합해 볼 때, 당시 연구의 흐름을 관통하는 세 가지 핵심 동향을 다음과 같이 요약할 수 있다.

• 통합 (Integration): AAAI-07 최우수 논문상 수상작인 PLOW는 이 시기 AI 연구의 가장 두드러진 특징인 ’통합’을 상징적으로 보여준다. 자연어 처리, 지식 표현 및 추론, 기계학습, 대화 시스템 등 전통적으로 분리되어 발전해 온 AI의 여러 하위 분야 기술들을 단일 에이전트 아키텍처 내에 유기적으로 결합하려는 노력이 정점에 달했음을 보여준다. 이는 개별 알고리즘의 성능 향상을 넘어, 여러 지능적 능력이 시너지를 발휘하는 복합적인 지능 시스템을 구축하려는 시도였다. 이는 ’강한 AI’를 향한 고전적인 비전이 현대적인 기계학습 방법론과 결합되는 중요한 양상이었다.
• 의미론 (Semantics): AAAI-07 로봇 경진대회의 ’시맨틱 로봇 비전 챌린지’는 AI 시스템이 기호를 넘어 ’의미’를 다루어야 한다는 시대적 요구를 반영한다. 로봇이 “프링글스“라는 텍스트를 이해하고, 웹에서 시각적 정보를 수집하여 개념을 학습한 뒤, 실제 물리적 세계에서 해당 객체를 찾아내는 과제는 언어적 기호, 시각적 패턴, 물리적 실체 간의 의미론적 연결(semantic grounding)을 핵심으로 한다. 이는 AI와 로봇이 단순한 패턴 인식이나 기계적 동작 수행을 넘어, 인간의 지시와 세상에 대한 지식을 이해하는 방향으로 나아가고 있음을 명확히 보여주었다.
• 정교화 (Sophistication): JMLR과 TPAMI에 발표된 연구들은 기존의 강력한 모델들을 더욱 복잡하고 구조적인 문제에 적용하기 위해 수학적으로 ’정교화’하는 경향을 뚜렷하게 보여준다. DCRF는 CRF 모델을 확장하여 더 복잡한 레이블 의존성을 포착했고, TRMDP는 MDP 프레임워크를 수정하여 현실 세계의 목표(승리)를 더 정확하게 모델링했다. SRTG는 이미지에 문법적 구조를 부여하여 더 깊은 이해를 추구했다. 이러한 연구들은 문제 정의 자체를 더 현실에 가깝게 만들고, 데이터에 내재된 복잡한 구조를 명시적으로 모델링하려는 노력의 일환으로, AI 이론의 깊이가 더해지고 있었음을 증명한다.

4.2 후속 연구 및 현재 기술에 대한 영향

2007년 3분기의 연구 성과들은 비록 딥러닝 시대 이전에 이루어졌지만, 현재 AI 기술의 발전에 지대한 영향을 미친 선구적인 아이디어들을 다수 포함하고 있다.

• PLOW의 통합적, 대화 기반 과업 학습 접근 방식은 오늘날 우리가 사용하는 대화형 AI 비서(예: Siri, Google Assistant)와, 특히 사용자의 지시사항을 이해하고 복잡한 작업을 수행하는 ‘instruction-following’ 대규모 언어 모델(LLM)의 초기 개념 형태로 볼 수 있다. 단일 시연과 자연어 설명을 통해 학습한다는 아이디어는 few-shot learning 및 in-context learning의 철학과도 맞닿아 있다.
• ’시맨틱 로봇 비전 챌린지’에서 시도된 웹 데이터의 능동적 활용은, 현재 대규모 비전-언어 모델(VLM)들이 인터넷 규모의 이미지-텍스트 쌍 데이터를 통해 사전 학습(pre-training)하는 핵심 패러다임의 초석이 되었다. 이는 레이블링된 데이터의 한계를 극복하고 세상에 대한 폭넓은 상식을 학습하는 가장 효과적인 방법임이 증명되었다.
• Thresholded Rewards 연구에서 제기된 ’수학적 최적화 목표’와 ‘인간의 실제 목표’ 사이의 정렬(alignment) 문제는 현대 강화학습 연구의 가장 중요한 화두 중 하나가 되었다. 특히, 인간의 피드백을 통해 보상 모델을 학습하고 AI의 행동을 인간의 가치에 부합하도록 만드는 인간 피드백 기반 강화학습(RLHF) 연구의 중요한 철학적 배경을 제공한다.

결론적으로, 2007년 3분기는 딥러닝 이전 시대의 AI 기술이 성숙기에 접어들면서, 개별 알고리즘의 성능 경쟁이라는 틀에서 벗어나 시스템 통합, 의미론적 이해, 모델의 구조적 정교화라는 새로운 차원으로 나아가던 중요한 변곡점이었다. 이 시기에 제시된 문제 정의와 선구적인 아이디어들은 이후 딥러닝이라는 새로운 도구를 만나 폭발적으로 발전하며 현재 AI 기술의 근간을 이루고 있다.

5. 참고 자료

1. AAAI-07 / IAAI-07: Artificial Intelligence Conferences Continue Content-Rich Tradition, https://aaai.org/aaai-07-iaai-07-artificial-intelligence-conferences-continue-content-rich-tradition/
2. Awards - AAAI - The Association for the Advancement of Artificial Intelligence, https://aaai.org/conference/aaai/aaai07/aaai07awards/
3. Conferences in 2007 - ACL Wiki - Association for Computational Linguistics, https://aclweb.org/aclwiki/Conferences_in_2007
4. Advances in Artificial Intelligence, 30th Annual German Conference on AI, KI 2007, Osnabrück, Germany, September 10-13, 2007, Proceedings - ResearchGate, https://www.researchgate.net/publication/242501555_KI_2007_Advances_in_Artificial_Intelligence_30th_Annual_German_Conference_on_AI_KI_2007_Osnabruck_Germany_September_10-13_2007_Proceedings
5. AAAI-07 / IAAI-07 - The Association for the Advancement of Artificial Intelligence, https://aaai.org/wp-content/uploads/2023/01/aaai07program.pdf
6. AAAI Conference Paper Awards and Recognition, https://aaai.org/about-aaai/aaai-awards/aaai-conference-paper-awards-and-recognition/
7. PLOW: A Collaborative Task Learning Agent - AAAI, https://aaai.org/papers/01514-aaai07-240-plow-a-collaborative-task-learning-agent/
8. (PDF) PLOW: a collaborative task learning agent - ResearchGate, https://www.researchgate.net/publication/221605373_PLOW_a_collaborative_task_learning_agent
9. PLOW: A Collaborative Task Learning Agent - The Association for …, https://cdn.aaai.org/AAAI/2007/AAAI07-240.pdf
10. [PDF] PLOW: A Collaborative Task Learning Agent - Semantic Scholar, https://www.semanticscholar.org/paper/PLOW%3A-A-Collaborative-Task-Learning-Agent-Allen-Chambers/431e61648a59abcd05411503ead56de8aa97906b
11. James F. Allen’s Home Page - Computer Science : University of Rochester, https://www.cs.rochester.edu/~james/
12. Thresholded Rewards: Acting Optimally in Timed, Zero-Sum Games - Semantic Scholar, https://www.semanticscholar.org/paper/Thresholded-Rewards%3A-Acting-Optimally-in-Timed%2C-McMillen-Veloso/e1f99232103402e134eef9bded15f5d7ec142672
13. Awards, https://fileadmin.cs.lth.se/ai/Proceedings/aaai07/00/AAAI07-374.pdf
14. Thresholded Rewards: Acting Optimally in Timed, Zero-Sum Games, https://www.cs.cmu.edu/~mmv/papers/07aaai-colin.pdf
15. AAAI-07: Sixteenth Annual AAAI Mobile Robot Competition, https://aaai.org/conference/aaai/aaai07/aaai07robot/
16. JMLR Papers - Journal of Machine Learning Research, https://jmlr.csail.mit.edu/papers/
17. JMLR Volume 8 - Journal of Machine Learning Research, https://www.jmlr.org/papers/v8
18. ISSN 1741-3176 (Online) | The international journal of robotics research, https://portal.issn.org/resource/ISSN/1741-3176
19. International Journal of Robotics, Theory and Applications, https://ijr.kntu.ac.ir/
20. IEEE Transactions on Pattern Analysis and Machine Intelligence …, https://sigmod.org/publications/dblp/db/journals/pami/pami29.html
21. IEEE Transactions on Pattern Analysis and Machine Intelligence - Table of Contents, https://www.computer.org/csdl/journal/tp/2007/08
22. Spatial Random Tree Grammars for Modeling Hierarchical Structure …, https://engineering.purdue.edu/~qobi/papers/tpami2007.pdf