2.9 워런 맥컬록과 월터 피츠의 논리적 뉴런 모델(MCP 뉴런)

2.9 워런 맥컬록과 월터 피츠의 논리적 뉴런 모델(MCP 뉴런)

1. 맥컬록과 피츠의 학문적 배경

워런 스터지스 맥컬록(Warren Sturgis McCulloch, 1898–1969)은 미국의 신경생리학자이자 사이버네틱스 연구자로서, 일리노이 대학교에서 연구하였다. 맥컬록은 신경계의 논리적 구조에 관심을 가졌으며, 뇌의 활동이 논리적 연산으로 기술될 수 있다는 신념을 가지고 있었다.

월터 피츠(Walter Pitts, 1923–1969)는 수학과 논리학에 뛰어난 재능을 보인 자기 학습형 수학자였다. 피츠는 12세에 러셀의 『수학 원리(Principia Mathematica)』를 독학으로 읽었으며, 러셀에게 서한을 보내 해당 저작의 오류를 지적한 것으로 알려져 있다. 피츠는 형식 논리학, 수리논리학, 신경 생리학을 아우르는 독특한 학제적 역량을 갖추고 있었다.

2. “A Logical Calculus of the Ideas Immanent in Nervous Activity” (1943)

맥컬록과 피츠는 1943년 “Bulletin of Mathematical Biophysics“에 “A Logical Calculus of the Ideas Immanent in Nervous Activity“를 발표하였다. 이 논문은 신경 활동을 명제 논리(Propositional Logic)의 형식적 틀 안에서 분석한 최초의 저작이며, 인공 신경망(Artificial Neural Network)과 계산 신경과학(Computational Neuroscience)의 기원으로 평가된다.

3. MCP 뉴런 모델의 정의

맥컬록-피츠 뉴런(McCulloch-Pitts Neuron, MCP Neuron)은 다음과 같이 정의되는 이진 임계값 단위(Binary Threshold Unit)이다.

3.1 기본 가정

  1. 뉴런의 활동은 이진적(Binary)이다: 활성(1) 또는 비활성(0) 상태만 존재한다.
  2. 시간은 이산적(Discrete)이다: 시스템은 동기적 시간 단계 t = 0, 1, 2, \ldots에서 갱신된다.
  3. 고정된 수의 시냅스가 존재하며, 각 시냅스는 흥분성(Excitatory) 또는 억제성(Inhibitory)이다.
  4. 억제성 시냅스는 절대적(Absolute)이다: 어떤 억제성 입력이 활성화되면, 다른 흥분성 입력의 수에 관계없이 뉴런은 비활성 상태가 된다.
  5. 문턱값(Threshold)은 고정되어 있으며 시간에 따라 변하지 않는다.

3.2 수학적 정의

n개의 입력 x_1, x_2, \ldots, x_n \in \{0, 1\}과 문턱값 \theta를 가진 MCP 뉴런의 시각 t+1에서의 출력 y(t+1)은 다음과 같이 정의된다:

y(t+1) = \begin{cases} 1 & \text{if } \displaystyle\sum_{i \in E} x_i(t) \geq \theta \text{ and } \displaystyle\sum_{j \in I} x_j(t) = 0 \\ 0 & \text{otherwise} \end{cases}

여기서 E는 흥분성 입력의 인덱스 집합이고, I는 억제성 입력의 인덱스 집합이다. 억제성 입력이 하나라도 활성화되면 뉴런은 비활성화되며, 억제성 입력이 모두 비활성일 때 흥분성 입력의 합이 문턱값을 초과하면 뉴런이 활성화된다.

MCP 뉴런의 논리적 연산 능력

맥컬록과 피츠는 MCP 뉴런이 기본 논리 연산을 수행할 수 있음을 증명하였다.

AND 연산

두 흥분성 입력 x_1, x_2와 문턱값 \theta = 2를 설정하면:

y = \begin{cases} 1 & \text{if } x_1 + x_2 \geq 2 \\ 0 & \text{otherwise} \end{cases}

이는 y = x_1 \wedge x_2와 동치이다. 두 입력이 모두 1일 때에만 합이 2 이상이 되어 출력이 1이 된다.

3.3 OR 연산

문턱값 \theta = 1을 설정하면:

y = \begin{cases} 1 & \text{if } x_1 + x_2 \geq 1 \\ 0 & \text{otherwise} \end{cases}

이는 y = x_1 \vee x_2와 동치이다.

NOT 연산

단일 억제성 입력 x_1과 항상 활성인 바이어스 입력으로 구현한다. 또는 문턱값 \theta = 0과 가중치 -1을 사용하여:

y = \begin{cases} 1 & \text{if } -x_1 \geq 0, \text{ 즉 } x_1 = 0 \\ 0 & \text{if } x_1 = 1 \end{cases}

4. 계산적 보편성

맥컬록과 피츠의 핵심적 결과는 MCP 뉴런의 네트워크가 임의의 불 함수를 계산할 수 있다는 것이다. AND, OR, NOT의 기능적 완전성에 의해 임의의 불 함수가 이 세 연산의 조합으로 표현 가능하고, 각 연산이 MCP 뉴런으로 구현 가능하므로, MCP 뉴런의 네트워크는 임의의 불 함수를 계산할 수 있다.

더 나아가, 맥컬록과 피츠는 MCP 뉴런 네트워크에 피드백 루프(Feedback Loop)를 허용하면 기억(Memory)이 가능해지며, 이러한 네트워크가 튜링 기계(Turing Machine)와 동등한 계산 능력을 갖는다는 것을 보였다. 즉, 충분히 복잡한 MCP 뉴런 네트워크는 범용 계산 장치(Universal Computing Device)이다.

5. 맥컬록-피츠 모델의 의의와 한계

5.1 의의

첫째, MCP 모델은 뇌의 활동을 수학적으로 형식화한 최초의 시도이다. 신경 활동과 논리 연산 사이의 형식적 대응을 확립함으로써 계산 신경과학의 기초를 놓았다.

둘째, MCP 모델은 인공 신경망의 직접적 기원이다. 이후의 모든 인공 신경망 모델—퍼셉트론, 다층 신경망, 현대의 심층 신경망—은 MCP 뉴런의 일반화로 해석할 수 있다.

셋째, MCP 모델은 뇌가 범용 계산 장치로 기능할 수 있다는 원리적 가능성을 최초로 수학적으로 입증하였다.

5.2 한계

첫째, MCP 모델은 학습 메커니즘을 포함하지 않는다. 가중치와 문턱값은 고정되어 있으며, 경험에 의해 변화하지 않는다. 학습 가능한 신경망 모델은 이후 로젠블랫(Frank Rosenblatt)의 퍼셉트론(Perceptron, 1958)에서 최초로 제안되었다.

둘째, 가중치가 모두 동일(흥분성) 또는 절대적(억제성)으로 설정되어, 시냅스 강도의 연속적 변화를 반영하지 못한다.

셋째, 이진 출력만을 허용하여 생물학적 뉴런의 발화 빈도(Firing Rate)에 의한 연속적 정보 부호화를 포착하지 못한다.

이러한 한계에도 불구하고, MCP 모델은 신경 계산의 논리적 기반을 확립한 역사적 저작으로서, 계산 신경과학과 인공지능의 공통된 이론적 기원에 위치한다.