7.1 인공지능의 기나긴 겨울과 새로운 봄의 조짐

‘인공지능(Artificial Intelligence)’, 스스로 생각하고 판단하는 기계를 만들겠다는 인간의 오만한 갈망은 1950년대부터 시작된 컴퓨터 공학의 가장 황홀하고 매혹적인 궁극의 목표였다. 수많은 학자들이 체스를 두거나 간단한 논리를 증명하는 기계 장치를 만들어내며 환호했지만, 애석하게도 인간의 뇌신경 구조를 흉내 내어 개와 고양이를 직관적으로 구분하는 수준의 고등 인지는 그 당시의 척박한 하드웨어(Hardware)와 알고리즘(Algorithm) 생태계로는 감히 꿈조차 꿀 수 없는 절대적인 신의 영역이었다. 연이은 실험의 실패와 과장된 기대의 파탄은, 투자자들의 돈줄을 메마르게 하며 학계를 수십 년간 ‘인공지능의 겨울(AI Winter)’ 이라는 지독한 동면 상태로 몰아넣었다.

이 7.1장에서는 특히 그 춥고 기나긴 겨울 속에서도 가장 처절하게 잊히고 멸시받던 비주류, 인간 신경망을 모방하는 ‘인공신경망(Neural Network)’ 연구자들의 뼈아픈 좌절의 역사를 굽어본다. 이론은 그럴싸했지만 그것을 증명할 ’연산 능력(Computing Power)’과 정제된 ’학습용 데이터(Data)’가 완벽하게 말라 비틀어져 있던 절망적인 시대적 한계를 짚는다.

하지만 2000년대 후반 인터넷망의 폭발과 거대한 빅데이터(Big Data)의 무심한 축적이 시작되면서, 차갑게 얼어붙었던 동토 아래로 마침내 거대한 심층 신경망, 즉 딥러닝(Deep Learning) 이 꿈틀거리기 시작할 임계점(Critical Mass)이 어떻게 서서히 축적되고 있었는지 그 숨 막히는 폭풍전야의 조짐들을 입체적으로 해부해 본다.

7.1.1 잊혀진 아이디어, 인공신경망(Neural Network)의 한계

초창기 인공지능 학계를 지배했던 권력자들은 철저한 ’기호주의자(Symbolists)’들이었다. 그들은 사과를 “둥글고, 빨갛고, 줄기가 있다“라는 명시적인 인간의 규정어, 즉 ‘If-Then’ 형태의 귀납적 코딩(Coding) 잣대로 컴퓨터에게 강제로 욱여넣으려 했다. 하지만 세상의 불규칙한 빛과 그림자 아래 놓인 사과를 컴퓨터는 번번이 인식하지 못했다. 명시적인 논리 규칙만으로는 기하급수적인 현실 세계의 픽셀(Pixel) 변수를 결코 통제할 수 없었던 것이다.

이에 반기를 든 자들이 바로 ‘인공신경망(Neural Network)’ 파벌, 이른바 ’연결주의자(Connectionists)’들이었다. 제프리 힌튼(Geoffrey Hinton) 교수를 필두로 한 이 이단아들의 주장은 무척이나 원초적이면서 거칠었다.
“컴퓨터에게 사과를 논리로 설명하려 들지 마라. 인간의 뇌처럼 입력층(Input Layer)과 출력층(Output Layer) 사이에 엄청난 수의 은닉 신경망 층(Hidden Layers)을 덮어놓고, 세상의 수백만 장의 사과 사진 데이터를 들이밀며 무식한 곱셈 연산(Matrix Multiplication)을 통해 에러를 교정하는 과정(역전파, Backpropagation)을 무한히 반복시켜라. 그러면 수학적 가중치(Weights)가 스스로 정렬되며 컴퓨터가 자연스레 사과의 본질적 패턴을 꿰뚫어 볼 것이다.”

이러한 심층 학습(Deep Learning) 접근법은 수학적으로는 소름 돋게 아름답고 유효한 진리였다. 그러나 20세기의 현실 컴퓨터 공학계는 이들을 미치광이라 조롱하며 경멸했다. 왜냐하면 그들이 이 이론을 성공시켜 사과를 인지시키기 위해서 제안한 그 ’무한한 반복 곱셈 연산의 양’은 당시 존재하던 전 지구상의 컴퓨터 성능을 다 끌어모아도 수천 년이 걸려야 풀릴 법한, 사실상 당시의 실리콘 기술로는 물리적으로 처단할 수 없는 공상과학에 가까운 망상적 지시였기 때문이다. 이렇듯 인공신경망은 현실의 기계(Hardware) 벽을 넘지 못하고 깊고 어두운 도서관의 잊힌 종이 논문 더미 아래로 비참하게 처박히게 된다.

7.1.2 연산 능력의 부족과 데이터의 부재

인공신경망(Neural Network) 연구자들이 학계의 이단으로 몰리며 길고 잔혹한 빙하기(AI Winter)에 갇혀 지내야만 했던 근본적인 이유는 철저하게, 이 세상을 구성하고 있던 아날로그 자원의 메마름과, 그들의 수학을 계산해 낼 하드웨어 성능의 처참한 부재 때문이었다.

첫 번째 거대한 암초는 바로 기계에게 먹여줄 ’연료(Fuel)’의 결핍이었다. 신경망 구조가 고양이의 생김새를 스스로 깨닫기 위해서는, 똑같은 흰 배경 위의 고양이가 아니라, 이불 위의 고양이, 밤길의 고양이 등 최소 수십만 장에서 수백만 장의 텍스트가 라벨링(Labeling, 이름표 붙이기) 된 방대한 고품질 이미지 데이터(Data) 세트가 절실했다. 하지만 1980~90년대 사람들은 사진을 코닥(Kodak) 필름으로 인화하여 앨범에 꽂아두던 시절이었다. 디지털화된 막대한 인터넷 데이터 바다 자체가 인류에게 아예 존재하지 않았다. 컴퓨터에게 먹일 연료창고 자체가 끔찍하게 텅 비어 있었던 셈이다.

두 번째 차가운 벽은 이를 태워버릴 ’엔진(Engine)’의 지독한 무능이었다. 만약 수백만 장의 고양이 사진을 책상 위에 모두 올려준다 하더라도, 당시의 낡은 단일 코어 CPU를 사용해 신경망의 수십억 개 매개변수 연산, 이른바 행렬 곱셈(Matrix Multiplication) 훈련을 시작한다면 그 1회 차 훈련 코드가 통과되는 데만 문자 그대로 몇 달의 물리적 시간이 소요되었다.

graph TD
    A[인공신경망 이론의 아름다움<br>Beauty of Neural Network] --> B{1990년대 빙하기의 벽<br>Walls of the AI Winter}
    
    B --> C[데이터 연료의 부재<br>Lack of Data]
    C --> D[디지털화된 라벨링 이미지 절대 부족<br>No Big Data]
    
    B --> E[하드웨어 엔진의 무능<br>Hardware Incapacity]
    E --> F[단일 CPU 처리 속도의 병목<br>Serial Processing Bottleneck]
    F --> G[수개월 걸리는 무식한 연산 훈련 시간<br>Months of Training time]
    
    D --> H[신경망 연구의 깊은 절망과 중단<br>Abandonment of Neural Net]
    G --> H
    
    style H fill:#f55,stroke:#333,stroke-width:2px,color:#fff

학자가 평생 하나의 오류를 발견하고 고치기 위해 컴파일(Compile)을 돌리고 결과가 나올 때까지 석 달을 마냥 기다려야만 한다면 그 어떤 연구 개발 사이클도 돌아갈 수 없다. 결국 훌륭했던 딥러닝(Deep Learning)의 소프트웨어 알고리즘은 연료도 오일도 없는 황무지에 덩그러니 남겨져, 수집되지 못한 채 그대로 말라 죽어가는 차가운 해골 신세를 면치 못하고 있었던 것이다.

7.1.3 빅데이터 시대의 도래와 딥러닝의 부상

절망적인 1990년대를 버티고 2000년대 후반으로 거침없이 접근하면서, 인간 생태계를 완벽하게 지배한 거대한 두 개의 기술 충격파가 굳게 닫혀있던 인공지능 연구실의 방문을 맹렬히 부수고 난입하기 시작했다. 그것은 인터넷(Internet)과 스마트폰(Smartphone)의 혁명적 보급이었다.

전 세계 수십억 명의 인구가 주머니 속에 디지털카메라를 들고 다니며 시시각각 자신들의 강아지와 먹던 점심 사진을 틱톡이나 페이스북에 올리기 시작했다. 게다가 사람들은 친절하게도 그 사진 밑에 ‘우리 집 고양이’, ’흐린 날의 에펠탑’이라는 이름표 텍스트까지 직접 공짜로 입력하여 데이터 센터에 업로드하는 완벽한 노동을 수행해냈다. 인공신경망 연구자들이 수십 년간 죽어라 갈망했던 학습용 연료, 즉 라벨링 정제 과정을 거친 ‘빅데이터(Big Data)’ 의 광구가 마침내 우주적인 스케일로 폭발하듯 열린 것이다.

이를 눈치챈 페이페이 리(Fei-Fei Li) 교수 같은 선구자는 아예 방대한 사진 데이터에 정밀한 분류표를 붙인 ‘이미지넷(ImageNet)’ 오픈 소스 세트를 세상에 뿌리며, “이제 연료는 완벽하게 준비되었다. 누구든 이 망할 고양이를 구분하는 최고의 엔진(Engine)만 만들어봐라.“라며 전 세계 학계를 향해 도발적인 장을 열어젖혔다. 기저의 소프트웨어 공식과 막대한 디지털 자원(Data)의 바다는 모두 무르익었다. 이제, 이 거대하게 파도치는 빅데이터 연산의 파이프라인을 찢어내며 괴롭히던 수십억 회의 행렬 반복 곱셈이라는 물리적 훈련 시간을 단 며칠로 단축시켜 버릴 수 있는 짐승 같은 ’새로운 스팀엔진(New Steam Engine)’만이, 이 세상을 딥러닝(Deep Learning)의 시대로 전이시키기 위해 숨을 죽이며 대기하고 있었다.