27.4 벡터 공간(Vector Space)의 공리적 정의와 성질

1. 벡터 공간의 공리적 정의

벡터 공간(vector space)은 체 $\mathbb{F}$ 위에서 정의된 대수적 구조로서, 집합 $V$ 와 두 연산인 벡터 덧셈 $+: V \times V \to V$ , 스칼라 곱 $\cdot: \mathbb{F} \times V \to V$ 로 구성된다. 이 구조가 벡터 공간이 되려면 다음의 여덟 가지 공리를 만족하여야 한다.

임의의 $\mathbf{u}, \mathbf{v}, \mathbf{w} \in V$ 와 $\alpha, \beta \in \mathbb{F}$ 에 대하여,

(V1) $(\mathbf{u} + \mathbf{v}) + \mathbf{w} = \mathbf{u} + (\mathbf{v} + \mathbf{w})$ (덧셈의 결합법칙)

(V2) $\mathbf{u} + \mathbf{v} = \mathbf{v} + \mathbf{u}$ (덧셈의 교환법칙)

(V3) $\mathbf{v} + \mathbf{0} = \mathbf{v}$ 를 만족하는 영벡터 $\mathbf{0} \in V$ 가 존재한다. (덧셈의 항등원)

(V4) $\mathbf{v} + (-\mathbf{v}) = \mathbf{0}$ 을 만족하는 $-\mathbf{v} \in V$ 가 존재한다. (덧셈의 역원)

(V5) $\alpha(\beta \mathbf{v}) = (\alpha\beta)\mathbf{v}$ (스칼라 곱의 결합법칙)

(V6) $1 \cdot \mathbf{v} = \mathbf{v}$ (스칼라 곱의 항등원)

(V7) $\alpha(\mathbf{u} + \mathbf{v}) = \alpha\mathbf{u} + \alpha\mathbf{v}$ (벡터 덧셈에 대한 분배법칙)

(V8) $(\alpha + \beta)\mathbf{v} = \alpha\mathbf{v} + \beta\mathbf{v}$ (스칼라 덧셈에 대한 분배법칙)

공리 (V1)_{(V4)는 $(V, +)$ 가 아벨 군(abelian group)을 이루는 조건이며, (V5)}(V8)은 스칼라 곱과 벡터 덧셈 사이의 호환성 조건이다.

2. 공리로부터 도출되는 기본 성질

벡터 공간의 공리로부터 다음 성질들이 논리적으로 도출된다.

정리 1. 영벡터 $\mathbf{0}$ 는 유일하다.

증명: $\mathbf{0}'$ 도 영벡터라 가정하면 $\mathbf{0} = \mathbf{0} + \mathbf{0}' = \mathbf{0}'$ 이 성립하므로 $\mathbf{0} = \mathbf{0}'$ 이다.

정리 2. 각 $\mathbf{v} \in V$ 에 대한 덧셈 역원 $-\mathbf{v}$ 는 유일하다.

증명: $\mathbf{v} + \mathbf{w}_1 = \mathbf{0}$ 이고 $\mathbf{v} + \mathbf{w}_2 = \mathbf{0}$ 이면, $\mathbf{w}_1 = \mathbf{w}_1 + \mathbf{0} = \mathbf{w}_1 + (\mathbf{v} + \mathbf{w}_2) = (\mathbf{w}_1 + \mathbf{v}) + \mathbf{w}_2 = \mathbf{0} + \mathbf{w}_2 = \mathbf{w}_2$ 이다.

정리 3. 임의의 $\mathbf{v} \in V$ 에 대하여 $0 \cdot \mathbf{v} = \mathbf{0}$ 이다.

증명: $0 \cdot \mathbf{v} = (0 + 0)\mathbf{v} = 0 \cdot \mathbf{v} + 0 \cdot \mathbf{v}$ 이므로 양변에 $-(0 \cdot \mathbf{v})$ 를 더하면 $\mathbf{0} = 0 \cdot \mathbf{v}$ 를 얻는다.

정리 4. 임의의 $\alpha \in \mathbb{F}$ 에 대하여 $\alpha \cdot \mathbf{0} = \mathbf{0}$ 이다.

정리 5. $(-1) \cdot \mathbf{v} = -\mathbf{v}$ 이다.

증명: $\mathbf{v} + (-1)\mathbf{v} = 1 \cdot \mathbf{v} + (-1)\mathbf{v} = (1 + (-1))\mathbf{v} = 0 \cdot \mathbf{v} = \mathbf{0}$ 이므로 $(-1)\mathbf{v}$ 는 $\mathbf{v}$ 의 덧셈 역원이다.

3. 벡터 공간의 대표적 예시

$\mathbb{R}^n$ 공간: $n$ 개의 실수 성분으로 구성된 열벡터의 집합이다. 성분별 덧셈과 스칼라 곱으로 벡터 공간을 이룬다. 딥러닝에서 가장 빈번하게 사용되는 벡터 공간이다.

$\mathbb{R}^{m \times n}$ 공간: $m \times n$ 실수 행렬의 집합이다. 행렬의 성분별 덧셈과 스칼라 곱을 정의하면 벡터 공간이 된다. 이 공간은 $\mathbb{R}^{mn}$ 과 동형(isomorphic)이다.

함수 공간: 집합 $S$ 에서 $\mathbb{R}$ 로의 함수 전체의 집합 $\mathbb{R}^S$ 는 점별(pointwise) 덧셈과 스칼라 곱으로 벡터 공간을 이룬다. $(f + g)(x) = f(x) + g(x)$ , $(\alpha f)(x) = \alpha f(x)$ 로 정의한다.

다항식 공간 $\mathbb{P}_n$ : 차수가 $n$ 이하인 실계수 다항식의 집합은 통상적인 다항식 덧셈과 스칼라 곱으로 $(n+1)$ 차원 벡터 공간이 된다.

4. 부분 공간

벡터 공간 $V$ 의 부분집합 $W \subseteq V$ 가 $V$ 와 동일한 연산에 의하여 그 자체로 벡터 공간이 되면 $W$ 를 $V$ 의 부분 공간(subspace)이라 한다. $W$ 가 부분 공간이 되기 위한 필요충분조건은 다음 세 가지이다.

$\mathbf{0} \in W$ (비공집합 조건)
$\mathbf{u}, \mathbf{v} \in W \Rightarrow \mathbf{u} + \mathbf{v} \in W$ (덧셈에 대한 닫힘)
$\alpha \in \mathbb{F}, \mathbf{v} \in W \Rightarrow \alpha \mathbf{v} \in W$ (스칼라 곱에 대한 닫힘)

조건 2와 3을 하나로 합치면, $\alpha\mathbf{u} + \beta\mathbf{v} \in W$ (선형 결합에 대한 닫힘)로 간결하게 표현할 수 있다.

딥러닝에서 부분 공간의 개념은 다양한 곳에서 등장한다. 예를 들어, 주성분 분석(PCA)은 데이터의 분산을 최대로 보존하는 저차원 부분 공간을 찾는 기법이며, 신경망의 특정 층이 출력하는 특성 표현(feature representation)은 고차원 공간의 부분 공간 위에 집중되는 경향이 있다.

5. 선형 결합, 생성, 차원

벡터 $\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_k \in V$ 의 선형 결합(linear combination)은 스칼라 $\alpha_1, \alpha_2, \ldots, \alpha_k \in \mathbb{F}$ 에 대하여

$\alpha_1 \mathbf{v}_1 + \alpha_2 \mathbf{v}_2 + \cdots + \alpha_k \mathbf{v}_k$

로 정의된다. 이러한 모든 선형 결합의 집합을 $\{\mathbf{v}_1, \ldots, \mathbf{v}_k\}$ 가 생성(span)하는 부분 공간이라 하며, $\text{span}(\mathbf{v}_1, \ldots, \mathbf{v}_k)$ 로 표기한다.

벡터 공간 $V$ 의 기저(basis)는 $V$ 를 생성하면서 동시에 선형 독립(linearly independent)인 벡터들의 집합이다. 유한 차원 벡터 공간의 모든 기저는 동일한 개수의 원소를 가지며, 이 개수를 $V$ 의 차원(dimension)이라 하고 $\dim(V)$ 로 표기한다. $\mathbb{R}^n$ 의 차원은 $n$ 이며, 표준 기저 $\{\mathbf{e}_1, \mathbf{e}_2, \ldots, \mathbf{e}_n\}$ 이 하나의 기저를 형성한다.

차원의 개념은 딥러닝 모델의 설계에서 핵심적이다. 은닉층의 차원(hidden dimension), 임베딩 차원(embedding dimension) 등은 모두 해당 벡터 공간의 차원을 지정하는 하이퍼파라미터이며, 모델의 표현 능력(representational capacity)에 직접적으로 영향을 미친다.