12.3 완벽한 가상 훈련장: 아이작(Isaac) 생태계

“수천만 원짜리 로봇 팔을 사서 테이블 위에 올려놓았다. 그런데 코드를 한 줄 잘못 짰더니, 이 쇳덩어리가 미친 듯이 회전하며 연구원의 명치를 때리고 책상을 때려 부수며 첫날 만에 고철로 변해버렸다.”

이것은 로봇 공학계에서 수백 년간 매일 같이 벌어지던 가장 잔혹한 블랙 코미디이자 피 토하는 물리적 비용(Cost)의 현실이었다. 기계를 부수지 않고, 인간이 다치지 않으면서 가장 똑똑한 인공지능을 기계의 뇌에 주입하는 방법은 무엇인가?
엔비디아(NVIDIA) 젠슨 황(Jensen Huang)은 이 질문에 가장 SF영화스러운 대답을 내놓았다.

“현실에서 한 번도 움직이지 마라. 기계의 목을 베고 피를 흘리는 일은, 오직 우리가 만든 ‘아이작(Isaac)’ 이라는 완벽한 가상 세계 안에서 수천만 번 반복해라. 그곳에서 졸업장을 딴 완벽한 영혼(소프트웨어)만 현실의 로봇 몸에 다운로드해 주마.”

이 12.3장에서는 중력 9.8m/s²과 관성마저 똑같이 복제된 매트릭스, ‘아이작 심(Isaac Sim)’ 의 실체를 파헤친다. 게임 그래픽의 모의 장난을 넘어 현실의 물리 법칙을 100% 모방하고, 가상에서 수만 번 엎어지고 깨지며 배운 뇌수 데이터를 클릭 한 번으로 무식한 현실 로봇 공장으로 복사해 버리는 기적의 연금술, ‘심투리얼(Sim-to-Real)’ 의 파괴적인 가상-현실 동기화 메커니즘을 확인해 보자.

12.3.1 로봇 개발의 진입 장벽을 낮춘 아이작 플랫폼

만약 어떤 천재 스타트업이 새로운 배달 로봇을 하나 만들고 싶다 치자. 과거엔 어떻게 했을까? 용접공을 불러 뼈대를 짜고, 모터 회사에 연락하고, 인공지능 회사에 가서 카메라 센서를 사 온 다음, 이것들을 엮기 위해 밤새도록 C++ 코드를 짜며 1년을 허비해야만 했다. 로봇 하나 굴려보기 위해 넘어야 할 통곡의 장벽이 너무나도 높았다.

엔비디아(NVIDIA)는 이 처참한 막노동판을 박살 내고 세상의 모든 로봇 스타트업들을 자신들의 무릎 아래 꿇리기 위해 ‘아이작(Isaac)’ 플랫폼이라는 마법의 레고(Lego) 상자를 뿌려버렸다.

젠슨 황(Jensen Huang)의 의도는 다분히 흑마술적이었다. “당신들의 거지 같은 용접과 기초 코딩에 시간을 버리지 마라. 우리 아이작 플랫폼 안에는 시각 인지(Vision), 로봇 팔의 궤적 계산, 내비게이션 길 찾기 기능이 모조리 ’모듈화된 기성품 코드(Isaac ROS)’로 완성되어 들어있다. 그냥 필요한 레고 블록을 가져다 끼우기만 해라.”

이 폭력적인 편의성은 파괴적인 결과를 낳았다. 1년이 걸리던 로봇 지능 세팅이 단 며칠 만에 끝났고, 세계의 무수히 많은 소자본 스타트업들은 환호하며 아이작이라는 아편에 빠져들었다.
하지만 이 레고 상자의 가장 밑바닥 밑장 빼기는, 그 레고 블록들이 오직 단 하나, 엔비디아의 젯슨(Jetson) 하드웨어 칩보드 위에서만 찰떡같이 돌아가게끔 교묘하게 맞물려 설계되어 있었다는 점이다. 공짜처럼 보이는 편리한 소프트웨어로 로봇 회사의 뇌수 설계도를 통째로 대신 짜주고서는, 결국 이들을 영구적인 엔비디아 칩의 마약 중독자로 전락시키는 세계에서 가장 친절하고 완벽한 플랫폼 독재의 승리였다.

12.3.2 아이작 심(Isaac Sim): 물리 법칙을 완벽히 구현한 디지털 트윈 테스트베드

과거 로봇 시뮬레이터들은 허접했다. 단순히 3D 게임 그래픽 안에서 로봇이 굴러가는 흉내만 낼 뿐, 실제로 10kg짜리 마찰력이 없는 미끄러운 상자를 집어 들 때 로봇 팔의 모터가 얼마나 뜨거워지고 전압이 부족해지는지에 대한 정밀한 공학적 수치(Value)는 전혀 계산해 내지 못했다.

이 치명적인 가짜들을 멸종시키기 위해 등장한 것이 바로 엔비디아(NVIDIA) 옴니버스(Omniverse) 기반의 절대 요새, ‘아이작 심(Isaac Sim)’ 이다.
아이작 심은 단순한 그림 놀이터가 아니다. 피직스(PhysX) 물리 엔진을 뼈대로 삼아, 중력 9.8m/s², 바닥의 플라스틱 마찰계수, 조명이 반사되어 카메라 센서를 맹인으로 만드는 악랄한 빛의 난반사(Ray Tracing)까지 100% 동일하게 모방한 완벽한 디지털 트윈 테스트베드(Digital Twin Testbed) 를 창조해 냈다.

이 악랄한 가짜 공장 안에서, 가상 로봇은 바닥의 기름때를 밟고 미끄러져 부서지기도 하고, 뒤엉켜 움직이는 수백 명의 가상 인간 작업자들을 피해 다니며 피와 살이 튀는 무한대의 강화 학습(Reinforcement Learning)을 수행했다. 한 대의 물리 로봇이 평생 걸려도 다 겪지 못할 극악의 돌발 상황을, 10만 대의 가상 로봇이 데이터센터 연산력을 빌려 병렬로 하룻밤 사이에 모두 경험하고 터득해 버리는, 그야말로 신의 시간 단축 마법이 실현된 것이다.

12.3.3 심투리얼(Sim-to-Real): 가상 세계의 수만 번의 실패를 현실의 성공으로 전이하다

가상 세계(Simulation)에서 완벽히 수련을 마친 로봇 소프트웨어의 영혼을 현실의 금속 로봇 몸체(Real World)에 집어넣는 순간, 갑자기 로봇이 미쳐 날뛰며 바닥에 처박히는 현상이 로봇 업계의 영원한 저주였다. 가상의 물리법칙과 현실의 0.001% 미세한 오차가 이른바 ’현실의 벽(Reality Gap)’을 만들어 로봇의 지능을 박살 냈기 때문이다.

엔비디아(NVIDIA)는 이 저주를 우주적 스케일의 강화 학습으로 박살 내버리고, 마침내 ‘심투리얼(Sim-to-Real, 시뮬레이션에서 현실로의 전이)’ 이라는 궁극의 연금술을 완성해 냈다.

graph TD
    A[NVIDIA Sim-to-Real 핵심 프로세스]
    
    A --> B[1단계: Isaac Sim 내의 도메인 무작위화Domain Randomization]
    B --> C[조명, 나사의 무게, 모터의 마찰력 등을<br>10만 가지 다른 변수로 무작위로 뒤틀어버림]
    
    C --> D[2단계: 가상 내 극악의 조건 속에서 학습]
    D --> E[모든 악전고투 속에서도 넘어지지 않게 강화학습 완료]
    
    E --> F[3단계: OTA 무선 업데이트를 통해 현실 로봇에 지능 이식]
    F --> G((현실의 낯선 돌발상황에도 당황하지 않고<br>가상에서 미리 경험했던 해답을 꺼내어 완벽 행동 수행))
    
    style B fill:#f9f,stroke:#333,stroke-width:2px,color:#fff
    style G fill:#f55,stroke:#333,stroke-width:2px,color:#fff

그들의 비결은 ’도메인 무작위화(Domain Randomization)’라는 지독한 가학적 훈련에 있었다. 로봇의 다리 길이를 짝짝이로, 중력을 10% 무겁게, 빛을 완전히 끈 상태 등 수만 가지의 괴상망측한 우주 환경을 가상으로 만들어놓고 로봇을 걷게 만들었다.
이 끔찍한 가짜 세계에서조차 완벽히 살아남은 뇌수를 현실의 로봇에 다운로드하는 순간! 현실 로봇은 바닥에 얼음이 깔려있든, 누군가 돌을 던지든 “아, 이거 가상 지옥 실험실에서 한 번 겪어본 각도네“라며 아무렇지 않게 자세를 바로잡았다. 가짜에서 얻은 지능이 현실의 육체를 완벽하게 통제하는 섬뜩한 도약, 심투리얼의 완성은 결국 “로봇 제조의 모든 것은 엔비디아의 컴퓨터(가상) 안에서 완전히 끝난다“는 무자비한 생태계 독점 선언과 같았다.