11.1 생물학적 뉴런과 인공 뉴런의 비교
인공 신경망의 학술적 출발점은 생물학적 신경계의 기본 처리 단위인 뉴런(neuron)의 추상화이다. 이 절에서는 생물학적 뉴런의 구조와 동작 원리를 간략히 기술한 후, 그 추상화로서의 인공 뉴런을 학술적으로 비교한다. 학습의 목표는 인공 뉴런이 생물학적 뉴런의 어떤 특성을 채택하고 어떤 특성을 단순화하였는지를 명확히 이해하는 데에 있다.
1. 생물학적 뉴런의 구조
생물학적 뉴런은 신경 세포(nerve cell)로서 다음의 주요 구성 요소를 가진다.
- 세포체(soma): 핵과 세포 소기관을 포함하며, 전기적 신호를 통합한다.
- 수상 돌기(dendrite): 다른 뉴런으로부터 입력 신호를 받는 가지 모양의 돌기
- 축삭(axon): 통합된 신호를 다른 뉴런에 전달하는 단일한 긴 돌기
- 시냅스(synapse): 한 뉴런의 축삭 말단과 다른 뉴런의 수상 돌기 또는 세포체 사이의 연결 부위
뉴런의 내부와 외부에는 이온 농도의 차이에 의한 막 전위(membrane potential)가 형성되며, 입력 신호의 합이 임계값을 넘으면 활동 전위(action potential)가 발생하여 축삭을 따라 전파된다. 이 과정은 학술적으로 all-or-none 원리로 알려져 있다. 시냅스는 화학적 전달 물질(neurotransmitter)을 매개로 하여 신호를 전달하며, 그 강도는 학습과 경험에 따라 변화한다. 시냅스 강도의 변화는 학술적으로 시냅스 가소성(synaptic plasticity)으로 불린다.
생물학적 뉴런의 정량적 모형 중 가장 대표적인 것은 Hodgkin과 Huxley가 1952년에 제안한 A quantitative description of membrane current and its application to conduction and excitation in nerve이다. 이 모형은 이온 전류와 막 전위의 변화를 미분 방정식 체계로 기술한다.
2. 인공 뉴런의 학술적 정의
인공 뉴런(artificial neuron 또는 unit)은 다수의 입력 신호 x_1, x_2, \dots, x_n을 가중 합으로 결합한 후 활성화 함수에 입력하여 단일 출력을 산출하는 계산 단위이다. 형식적으로 다음과 같이 정의된다.
z = \sum_{i=1}^{n} w_i x_i + b
y = \varphi(z)
여기서 w_i는 입력 x_i에 대응하는 가중치, b는 편향(bias), \varphi는 활성화 함수, y는 출력이다.
인공 뉴런의 최초의 학술적 모형은 McCulloch와 Pitts가 1943년에 A logical calculus of the ideas immanent in nervous activity에서 제안한 임계값 논리 단위(threshold logic unit)이다. 이 모형은 입력의 가중 합이 임계값을 넘는지에 따라 1 또는 0을 출력하는 이진 단위로서, 생물학적 뉴런의 all-or-none 원리를 단순화한 추상화이다.
3. 두 뉴런의 비교
생물학적 뉴런과 인공 뉴런은 다음과 같은 학술적 유사성과 차이를 가진다.
| 항목 | 생물학적 뉴런 | 인공 뉴런 |
|---|---|---|
| 입력 | 다수의 시냅스로부터의 화학·전기 신호 | 다수의 실수 값 입력 |
| 통합 | 막 전위의 합 | 가중 합 z = \sum_{i} w_i x_i + b |
| 출력 | 활동 전위의 발화 여부 또는 발화율 | 활성화 함수의 출력 \varphi(z) |
| 학습 | 시냅스 가소성 | 가중치와 편향의 갱신 |
| 시간 특성 | 연속 시간의 전기·화학 동역학 | 일반적으로 이산 시간의 함수 평가 |
| 에너지 | 대사 에너지에 의한 활동 | 디지털 또는 아날로그 회로의 전력 |
이러한 비교에서 인공 뉴런이 생물학적 뉴런을 단순화한 추상화임이 명확히 드러난다. 생물학적 뉴런의 시간 동역학, 잡음 특성, 에너지 효율, 학습 메커니즘은 인공 뉴런의 일반적 정의에서는 직접적으로 반영되지 않는다. 다만 스파이킹 신경망(spiking neural network)과 같은 학술적 분야는 시간 동역학과 발화의 이산성을 보다 충실히 모형화하기 위한 시도로 알려져 있다.
4. 추상화의 학술적 의의
인공 뉴런이 생물학적 뉴런을 단순화하였음에도 불구하고, 다수의 인공 뉴런을 결합하면 강력한 함수 근사 능력을 가진 신경망이 구성된다는 점이 학술적으로 입증되어 있다. Cybenko의 Approximation by superpositions of a sigmoidal function (1989)과 Hornik의 Approximation Capabilities of Multilayer Feedforward Networks (1991)는 시그모이드 활성화 함수를 가진 단일 은닉층 신경망이 임의의 연속 함수를 임의의 정밀도로 근사할 수 있음을 증명하였다. 이러한 결과는 인공 뉴런의 추상화가 학술적으로 충분한 표현력을 가진다는 것을 의미한다.
5. 출처 및 버전 정보
- McCulloch, W. S., Pitts, W., A logical calculus of the ideas immanent in nervous activity, Bulletin of Mathematical Biophysics, 1943
- Hodgkin, A. L., Huxley, A. F., A quantitative description of membrane current and its application to conduction and excitation in nerve, The Journal of Physiology, 1952
- Rosenblatt, F., The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain, Psychological Review, 1958
- Cybenko, G., Approximation by superpositions of a sigmoidal function, Mathematics of Control, Signals and Systems, 1989
- Hornik, K., Approximation Capabilities of Multilayer Feedforward Networks, Neural Networks, 1991
- Goodfellow, I., Bengio, Y., Courville, A., Deep Learning, MIT Press, 2016
- Maass, W., Networks of spiking neurons: The third generation of neural network models, Neural Networks, 1997