27.5 부분 공간(Subspace)의 정의와 판별 조건

1. 부분 공간의 정의

벡터 공간 $V$ 의 공집합이 아닌 부분집합 $W \subseteq V$ 가 $V$ 에서 정의된 동일한 벡터 덧셈과 스칼라 곱 연산에 의하여 그 자체로 벡터 공간이 되면, $W$ 를 $V$ 의 부분 공간(subspace)이라 한다. 형식적으로, 체 $\mathbb{F}$ 위의 벡터 공간 $V$ 에 대하여 $W$ 가 부분 공간이라 함은 $W \neq \emptyset$ 이고, $(W, +, \cdot)$ 가 동일한 연산 하에 $\mathbb{F}$ -벡터 공간이 되는 것을 의미한다.

모든 벡터 공간 $V$ 는 최소한 두 개의 자명한(trivial) 부분 공간을 갖는다. 하나는 영벡터만으로 구성된 $\{\mathbf{0}\}$ 이고, 다른 하나는 $V$ 자신이다. 이 두 부분 공간을 제외한 나머지를 진부분 공간(proper subspace)이라 한다.

2. 부분 공간 판별 정리

$W$ 가 $V$ 의 부분 공간인지를 판별할 때, 벡터 공간의 여덟 가지 공리를 모두 검증할 필요는 없다. $V$ 에서 이미 성립하는 공리(결합법칙, 교환법칙, 분배법칙 등)는 $W$ 의 원소에 대해서도 자동으로 성립하기 때문이다. 따라서 연산에 대한 닫힘(closure)과 항등원·역원의 존재만 확인하면 충분하다.

정리 (부분 공간 판별 조건). $V$ 가 체 $\mathbb{F}$ 위의 벡터 공간이고 $W \subseteq V$ 일 때, $W$ 가 $V$ 의 부분 공간일 필요충분조건은 다음 세 가지이다.

$\mathbf{0} \in W$
임의의 $\mathbf{u}, \mathbf{v} \in W$ 에 대하여 $\mathbf{u} + \mathbf{v} \in W$ (덧셈에 대한 닫힘)
임의의 $\alpha \in \mathbb{F}$ 와 $\mathbf{v} \in W$ 에 대하여 $\alpha \mathbf{v} \in W$ (스칼라 곱에 대한 닫힘)

조건 1은 조건 3으로부터 도출될 수 있다. $W \neq \emptyset$ 이면 어떤 $\mathbf{v} \in W$ 가 존재하고, 조건 3에 의하여 $0 \cdot \mathbf{v} = \mathbf{0} \in W$ 이 되기 때문이다. 그러나 공집합을 배제하기 위하여 조건 1을 명시적으로 포함시키는 것이 관례이다.

간소화된 판별 조건. 위의 세 조건은 다음 하나의 조건으로 통합된다.

$\forall \alpha, \beta \in \mathbb{F}, \; \forall \mathbf{u}, \mathbf{v} \in W: \quad \alpha \mathbf{u} + \beta \mathbf{v} \in W$

이 조건은 $W$ 가 선형 결합에 대하여 닫혀 있음을 의미한다. 유한 개의 원소에 대한 일반화로서, $W$ 가 부분 공간이면 $W$ 의 임의의 원소들의 임의의 선형 결합이 다시 $W$ 에 속한다.

3. 부분 공간의 구성적 예시

예제 1: $\mathbb{R}^3$ 에서의 원점을 지나는 평면. 법선 벡터가 $\mathbf{n} = (a, b, c)^\top$ 인 원점을 지나는 평면은 $W = \{\mathbf{x} \in \mathbb{R}^3 : a x_1 + b x_2 + c x_3 = 0\}$ 으로 정의된다. $\mathbf{u}, \mathbf{v} \in W$ 이면 $a(\alpha u_1 + \beta v_1) + b(\alpha u_2 + \beta v_2) + c(\alpha u_3 + \beta v_3) = \alpha(au_1 + bu_2 + cu_3) + \beta(av_1 + bv_2 + cv_3) = 0$ 이므로 $\alpha\mathbf{u} + \beta\mathbf{v} \in W$ 이다. 따라서 $W$ 는 $\mathbb{R}^3$ 의 부분 공간이다.

예제 2: 동차 선형 시스템의 해 공간. $A \in \mathbb{R}^{m \times n}$ 에 대하여 동차 연립방정식 $A\mathbf{x} = \mathbf{0}$ 의 해 집합 $\text{Null}(A) = \{\mathbf{x} \in \mathbb{R}^n : A\mathbf{x} = \mathbf{0}\}$ 은 $\mathbb{R}^n$ 의 부분 공간이다. $\mathbf{u}, \mathbf{v} \in \text{Null}(A)$ 이면 $A(\alpha\mathbf{u} + \beta\mathbf{v}) = \alpha A\mathbf{u} + \beta A\mathbf{v} = \alpha\mathbf{0} + \beta\mathbf{0} = \mathbf{0}$ 이므로 닫힘 조건이 성립한다.

반례: 부분 공간이 아닌 집합. $S = \{(x_1, x_2)^\top \in \mathbb{R}^2 : x_1 x_2 \geq 0\}$ (제1·3사분면의 합집합)은 덧셈에 대하여 닫혀 있지 않다. $(1, 0)^\top \in S$ 이고 $(0, -1)^\top \in S$ 이지만 $(1, -1)^\top \notin S$ 이다.

4. 부분 공간의 연산

교집합. 부분 공간들의 교집합은 항상 부분 공간이다. $W_1, W_2$ 가 $V$ 의 부분 공간이면 $W_1 \cap W_2$ 도 $V$ 의 부분 공간이다. $\mathbf{0} \in W_1 \cap W_2$ 이고, $\mathbf{u}, \mathbf{v} \in W_1 \cap W_2$ 이면 $\alpha\mathbf{u} + \beta\mathbf{v}$ 는 $W_1$ 에도, $W_2$ 에도 속하므로 $W_1 \cap W_2$ 에 속한다.

합집합. 부분 공간들의 합집합은 일반적으로 부분 공간이 아니다. 대신 부분 공간의 합(sum)을 정의한다.

$W_1 + W_2 = \{\mathbf{w}_1 + \mathbf{w}_2 : \mathbf{w}_1 \in W_1, \mathbf{w}_2 \in W_2\}$

$W_1 + W_2$ 는 $W_1 \cup W_2$ 를 포함하는 가장 작은 부분 공간이다.

직합. $W_1 \cap W_2 = \{\mathbf{0}\}$ 일 때, $W_1 + W_2$ 를 직합(direct sum)이라 하며 $W_1 \oplus W_2$ 로 표기한다. 직합에서는 임의의 $\mathbf{v} \in W_1 \oplus W_2$ 를 $\mathbf{v} = \mathbf{w}_1 + \mathbf{w}_2$ ( $\mathbf{w}_1 \in W_1$ , $\mathbf{w}_2 \in W_2$ )로 유일하게 분해할 수 있다.

5. 딥러닝에서의 부분 공간

딥러닝에서 부분 공간의 개념은 여러 핵심 기법의 이론적 기반이 된다.

차원 축소(dimensionality reduction): 주성분 분석(PCA)은 데이터가 놓인 고차원 공간 $\mathbb{R}^d$ 에서 분산을 최대로 보존하는 $k$ 차원 부분 공간을 찾는다. 이 부분 공간은 상위 $k$ 개의 고유벡터(eigenvector)가 생성하는 $\text{span}(\mathbf{v}_1, \ldots, \mathbf{v}_k)$ 이다.

영 공간(null space)과 경사도: 신경망의 손실 함수 $\mathcal{L}(\boldsymbol{\theta})$ 에서, 야코비 행렬 $J$ 의 영 공간에 속하는 방향으로 매개변수를 변화시키면 출력이 변하지 않는다. 이는 과잉 매개변수화(overparameterization)된 모델에서 해 공간의 구조를 이해하는 데 중요하다.

저순위 근사(low-rank approximation): 대규모 언어 모델의 미세 조정에서 LoRA(Low-Rank Adaptation)는 가중치 갱신을 저차원 부분 공간에 제한하여 학습 가능 매개변수 수를 대폭 줄인다. 갱신 행렬 $\Delta W = BA$ ( $B \in \mathbb{R}^{m \times r}$ , $A \in \mathbb{R}^{r \times n}$ , $r \ll \min(m,n)$ )의 열 공간은 $\mathbb{R}^m$ 의 $r$ 차원 부분 공간을 형성한다.