2.24 계산주의 신경학이 현대 딥러닝에 미친 이론적 유산
1. 계산주의 신경학의 핵심 원리와 딥러닝으로의 계승
계산주의 신경학(Computational Neuroscience)은 뇌의 신경 활동을 수학적·계산적 모델로 기술하고 분석하는 학문 분야이다. 20세기 중반에 형성된 이 분야의 핵심 원리들은 현대 딥러닝(Deep Learning)의 이론적 골격에 직접적으로 계승되었다. 본 절에서는 계산주의 신경학의 주요 이론적 기여가 현대 딥러닝에 어떻게 구현되고 발전되었는지를 체계적으로 분석한다.
2. 맥컬록-피츠 뉴런에서 인공 뉴런으로
맥컬록과 피츠의 논리적 뉴런 모델(1943)은 신경세포의 활동을 이진 임계값 함수로 추상화한 최초의 수학적 모델이다. 이 모델에서 뉴런은 다수의 입력에 대한 가중합(Weighted Sum)이 문턱값(Threshold)을 초과하면 활성화되는 단위로 정의된다.
현대 딥러닝의 인공 뉴런(Artificial Neuron)은 이 모델의 직접적 일반화이다. 핵심 구조—입력의 가중합과 비선형 활성화 함수의 적용—는 MCP 모델에서 확립된 원형을 유지한다. 다만, 이진 임계값 함수가 미분 가능한 활성화 함수(시그모이드, ReLU 등)로 대체되어 경사 기반 학습(Gradient-Based Learning)이 가능해졌으며, 가중치가 고정값이 아닌 학습 가능한 매개변수로 확장되었다.
이 계승은 단순한 역사적 연속이 아니라, 계산 단위의 설계 원리 자체의 보존이다. 현대 트랜스포머(Transformer) 아키텍처에 이르기까지, 인공 신경망의 기본 연산 단위는 “입력의 가중 결합 → 비선형 변환“이라는 MCP 모델의 구조를 계승하고 있다.
3. 헤브 학습에서 시냅스 가소성 기반 학습으로
헤브(Donald Hebb)의 시냅스 가소성 이론(1949)은 “함께 발화하는 뉴런은 함께 연결된다“는 원리로 학습의 신경학적 메커니즘을 제시하였다. 이 원리는 경험에 의한 연결 강도의 조정이라는 학습의 근본 개념을 확립하였다.
현대 딥러닝의 학습 알고리즘은 헤브의 원리를 두 가지 방식으로 계승한다. 첫째, 학습이 연결 가중치(Weight)의 조정을 통해 이루어진다는 근본 원리가 유지된다. 둘째, 비지도 학습(Unsupervised Learning)에서 헤브적 원리가 직접적으로 사용된다. 자기 조직화 지도(Self-Organizing Map), 대비 학습(Contrastive Learning), 에너지 기반 모델(Energy-Based Model) 등에서 헤브적 연합 학습의 원리가 현대적 형태로 재구현되고 있다.
역전파(Backpropagation) 알고리즘은 헤브 규칙의 직접적 구현은 아니지만, 가중치를 데이터에 기반하여 조정한다는 근본 원리는 공유한다. 역전파는 전역적 오류 신호에 의해 구동되는 반면, 헤브 학습은 국부적 활동 상관에 의해 구동된다는 차이가 있으며, 이 차이를 해소하려는 생물학적으로 타당한 학습 알고리즘(Biologically Plausible Learning)의 연구가 활발히 진행되고 있다.
4. 뉴런 독트린과 신경망 아키텍처
카할(Santiago Ramón y Cajal)이 확립한 뉴런 독트린—뉴런의 개체성, 신호의 방향성, 시냅스에 의한 연결—은 인공 신경망 아키텍처의 구조적 원형을 제공하였다.
현대 딥러닝 아키텍처에서 이 원리의 계승:
- 뉴런의 개체성: 인공 신경망의 각 노드(Node)가 독립적 계산 단위로 기능하는 것은 뉴런의 개체성 원리에 대응한다.
- 신호의 방향성: 순방향 신경망(Feedforward Neural Network)에서 정보가 입력층에서 출력층으로 단방향으로 흐르는 것은 카할의 동적 분극 법칙(Law of Dynamic Polarization)에 대응한다.
- 시냅스 연결: 인공 신경망의 가중 연결(Weighted Connection)은 시냅스의 추상화이며, 가중치의 크기는 시냅스 전달 효율(Synaptic Efficacy)에 대응한다.
5. 사이버네틱스의 피드백 원리
위너(Norbert Wiener)의 사이버네틱스(1948)가 확립한 피드백 제어(Feedback Control)의 원리는 현대 딥러닝에서 다층적으로 계승된다.
훈련 과정의 피드백: 역전파 알고리즘에서 오류 신호(Error Signal)가 출력층에서 입력층으로 역전파되는 과정은 음성 피드백에 의한 오차 교정의 원리를 구현한다. 손실 함수(Loss Function)의 값이 목표값(최소값)으로부터의 편차를 나타내며, 경사 하강법(Gradient Descent)이 이 편차를 감소시키는 방향으로 매개변수를 조정한다.
강화 학습의 보상 피드백: 강화 학습(Reinforcement Learning)에서 에이전트(Agent)가 환경으로부터 보상 신호(Reward Signal)를 받아 행동 정책(Policy)을 조정하는 구조는 사이버네틱스의 피드백 루프와 구조적으로 동형이다.
잔차 연결(Residual Connection): 레스넷(ResNet)에서 도입된 잔차 연결은 이전 층의 출력을 이후 층에 직접 전달하는 구조로서, 피드백 경로의 변형으로 해석할 수 있다.
6. 기능주의와 전이 학습
퍼트남(Hilary Putnam)의 기능주의(Functionalism)가 제시한 다중 실현 가능성(Multiple Realizability) 원리는 현대 딥러닝에서 전이 학습(Transfer Learning)의 이론적 기반과 구조적 유사성을 갖는다. 동일한 기능적 구조(사전 훈련된 모델의 가중치 패턴)가 상이한 과제 영역에서 유효하게 작동할 수 있다는 전이 학습의 전제는, 인지적 기능이 특정 물리적 기질에 종속되지 않는다는 기능주의의 원리와 구조적으로 유사하다.
7. 분산 표상과 분산 표현
연결주의(Connectionism)의 핵심 개념인 분산 표상(Distributed Representation)—하나의 개념이 다수의 뉴런의 활성화 패턴으로 표현되고, 하나의 뉴런이 다수의 개념의 표상에 참여하는 방식—은 현대 딥러닝의 표현 학습(Representation Learning)에 직접적으로 계승되었다.
단어 임베딩(Word Embedding), 합성곱 신경망의 특성 맵(Feature Map), 트랜스포머의 은닉 상태(Hidden State) 등 현대 딥러닝의 핵심 표현들은 모두 분산 표상의 원리에 기반한다. 벤지오(Yoshua Bengio) 등이 2003년 신경 확률적 언어 모델(Neural Probabilistic Language Model)에서 제안한 분산적 단어 표현은 연결주의의 분산 표상 원리의 현대적 실현이다.
8. 자기 조직화와 비지도 학습
코호넨(Teuvo Kohonen)의 자기 조직화 지도(Self-Organizing Map, 1982)와 헬름홀츠 기계(Helmholtz Machine)에서 구현된 자기 조직화 원리는 현대의 생성적 비지도 학습—변분 오토인코더(Variational Autoencoder, VAE), 생성적 적대 신경망(Generative Adversarial Network, GAN)—의 개념적 선행이다.
자기 조직화 원리에서 핵심적인 것은 외부로부터의 명시적 교시(Explicit Supervision) 없이 데이터의 내재적 구조를 발견한다는 것이며, 이는 현대 자기 지도 학습(Self-Supervised Learning)의 근본 원리와 일치한다.
9. 항상성 원리와 정규화 기법
생물학적 항상성(Homeostasis)의 원리는 현대 딥러닝의 정규화(Regularization) 기법에 반영된다.
- 배치 정규화(Batch Normalization, Ioffe & Szegedy, 2015): 각 층의 활성화 값을 정규화하여 일정한 분포로 유지하는 것은 신경 활동의 항상성적 조절의 계산적 유사물이다.
- 층 정규화(Layer Normalization), 그룹 정규화(Group Normalization): 배치 정규화의 변형으로, 정규화의 범위와 방식을 달리하되 항상성적 안정화의 원리를 공유한다.
- 시냅스 스케일링(Synaptic Scaling): 생물학적 신경 네트워크에서 시냅스 전달 효율을 전역적으로 조절하는 항상성적 메커니즘은 가중치 감쇠(Weight Decay)와 구조적으로 유사하다.
10. 계산주의 신경학의 미해결 유산
계산주의 신경학이 현대 딥러닝에 제시하는 미해결 과제도 존재한다.
첫째, 생물학적 타당성(Biological Plausibility) 문제이다. 역전파 알고리즘은 생물학적 뇌에서의 학습 메커니즘과 여러 면에서 상이하며(가중치 수송 문제, 전역 오류 신호의 부재 등), 생물학적으로 타당한 학습 알고리즘의 개발이 활발한 연구 주제이다.
둘째, 에너지 효율성의 문제이다. 인간 뇌는 약 20와트의 전력으로 작동하는 반면, 대규모 딥러닝 모델의 훈련과 추론에는 수백 킬로와트 이상의 전력이 소모된다. 신경형태공학적(Neuromorphic) 컴퓨팅은 뇌의 에너지 효율성을 모방하려는 시도이다.
셋째, 의식과 이해의 문제이다. 중국어 방 논변이 제기한 물음—계산적 과정이 진정한 이해를 산출하는가—은 대규모 언어 모델의 시대에 더욱 첨예한 학문적 논쟁으로 부상하고 있다.
11. 통합적 평가
계산주의 신경학이 현대 딥러닝에 미친 이론적 유산은 다음과 같이 요약된다. 맥컬록-피츠 모델이 인공 뉴런의 원형을, 헤브의 시냅스 가소성이 학습의 원리를, 카할의 뉴런 독트린이 네트워크 아키텍처의 구조를, 사이버네틱스가 피드백 기반 최적화의 틀을, 기능주의가 실현 독립적 계산의 철학적 기반을, 연결주의가 분산 표상의 원리를 각각 제공하였다. 현대 딥러닝은 이 다층적 유산의 종합 위에 구축된 기술적 체계이며, 계산주의 신경학의 이론적 통찰은 딥러닝의 미래 발전 방향을 안내하는 지적 나침반으로 계속 기능하고 있다.