27.1 선형대수학(Linear Algebra)의 정의와 딥러닝에서의 역할
1. 선형대수학의 정의
1.1 학문적 범위
선형대수학(linear algebra)은 벡터 공간(vector space)과 그 위에 정의된 선형 사상(linear map)을 연구하는 수학의 분야이다. ’선형(linear)’이라는 용어는 가법성(additivity) f(\mathbf{x} + \mathbf{y}) = f(\mathbf{x}) + f(\mathbf{y})과 동차성(homogeneity) f(c\mathbf{x}) = cf(\mathbf{x})을 동시에 만족하는 함수의 성질을 지칭한다. 이 두 성질을 합쳐 중첩 원리(principle of superposition)라 하며, 선형대수학은 이 중첩 원리를 만족하는 구조를 체계적으로 분석한다.
선형대수학의 핵심 대상은 벡터 공간, 선형 변환(linear transformation), 행렬(matrix), 행렬식(determinant), 고유값(eigenvalue), 내적 공간(inner product space) 등이다. 이 대상들 사이의 관계와 성질을 규명하는 것이 선형대수학의 과제이다.
1.2 역사적 발전
선형대수학의 기원은 연립 일차 방정식의 해법에 있다. 아서 케일리(Arthur Cayley)는 1858년 행렬 이론을 형식화하였고, 주세페 페아노(Giuseppe Peano)는 1888년 벡터 공간의 공리적 정의를 제시하였다. 20세기 초 헤르만 바일(Hermann Weyl), 에미 뇌터(Emmy Noether) 등에 의해 추상대수학과의 연결이 확립되었으며, 현대적 형태의 선형대수학이 완성되었다.
2. 딥러닝에서의 선형대수학의 역할
2.1 데이터 표현
딥러닝에서 모든 데이터는 수치적 배열, 즉 텐서(tensor)로 표현된다. 흑백 이미지는 2차 텐서(행렬)로, 컬러 이미지는 3차 텐서(높이 × 너비 × 채널)로, 텍스트 시퀀스는 임베딩 벡터의 수열(2차 텐서)로 표현된다. 이러한 데이터의 수학적 표현 체계가 선형대수학에 의해 제공된다.
데이터의 벡터 표현은 단순한 편의가 아니라 본질적 의미를 가진다. 벡터 공간의 구조—덧셈, 스칼라 곱, 내적—는 데이터 사이의 관계(유사도, 거리, 방향)를 정량적으로 정의하는 기반이다. 단어 임베딩(word embedding)에서 의미적으로 유사한 단어가 벡터 공간에서 가깝게 위치하는 것은 이 구조의 활용이다.
2.2 모형의 구성
신경망의 각 층은 수학적으로 선형 변환과 비선형 활성화 함수의 합성이다. 완전 연결 층(fully connected layer)의 연산은:
\mathbf{y} = \sigma(\mathbf{W}\mathbf{x} + \mathbf{b})
여기서 \mathbf{W}는 가중치 행렬, \mathbf{b}는 편향 벡터, \sigma는 비선형 활성화 함수이다. 행렬 곱 \mathbf{W}\mathbf{x}는 선형 변환이며, 이 변환이 입력 벡터를 새로운 표현 공간으로 매핑한다. 신경망의 표현력(representational power)은 이러한 선형 변환과 비선형 활성화의 반복적 합성에서 비롯된다.
2.3 학습과 최적화
경사 하강법(gradient descent)에서 매개변수의 갱신은:
\mathbf{W} \leftarrow \mathbf{W} - \eta \frac{\partial \mathcal{L}}{\partial \mathbf{W}}
이 갱신 규칙에서 경사 \partial \mathcal{L} / \partial \mathbf{W}는 손실 함수의 가중치 행렬에 대한 편미분으로, 역전파(backpropagation) 알고리즘에 의해 행렬 연산의 연쇄로 계산된다. 경사의 계산, 매개변수의 갱신, 배치 처리의 병렬화 모두 선형대수학의 연산으로 구현된다.
2.4 분석과 해석
학습된 모형의 분석에도 선형대수학이 활용된다. 가중치 행렬의 특이값 분해(SVD)는 모형이 학습한 변환의 주요 방향과 크기를 드러내며, 주성분 분석(PCA)에 의한 활성화 공간의 시각화, 공분산 행렬의 고유값 분석에 의한 특징 상관 관계 파악 등이 대표적이다.
2.5 계산 효율
현대 딥러닝의 계산적 효율은 선형대수학 연산의 병렬화에 크게 의존한다. 행렬 곱셈, 벡터 내적, 텐서 축약(tensor contraction) 등은 GPU(Graphics Processing Unit)와 TPU(Tensor Processing Unit)에서 대규모 병렬 처리에 적합한 연산이다. cuBLAS, cuDNN 등의 선형대수학 라이브러리는 이러한 연산을 하드웨어 수준에서 최적화하여 딥러닝의 실용적 실행을 가능하게 한다.
3. 선형대수학과 딥러닝의 상호 발전
딥러닝의 발전은 선형대수학에 새로운 연구 동기를 제공하기도 하였다. 대규모 희소 행렬(sparse matrix)의 효율적 처리, 저순위 근사(low-rank approximation)에 의한 모형 압축, 랜덤 행렬 이론(random matrix theory)에 기반한 신경망 초기화 분석, 텐서 분해(tensor decomposition)에 의한 다차원 데이터 분석 등은 딥러닝의 필요에 의해 활성화된 선형대수학의 연구 주제이다.
4. 결론
선형대수학은 딥러닝의 데이터 표현, 모형 구성, 학습 최적화, 결과 분석, 계산 실행의 전 과정에서 핵심적 수학적 기반을 제공한다. 벡터 공간과 선형 변환의 개념은 신경망의 작동 원리를 이해하는 데 불가결하며, 행렬 연산의 효율적 구현은 대규모 모형의 실용적 학습을 가능하게 한다. 선형대수학에 대한 체계적 이해 없이 딥러닝의 원리를 깊이 파악하는 것은 불가능하다.