27.7 선형 결합(Linear Combination)의 정의와 생성 공간(Span)

1. 선형 결합의 정의

체 $\mathbb{F}$ 위의 벡터 공간 $V$ 에서, 벡터 $\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_k \in V$ 와 스칼라 $\alpha_1, \alpha_2, \ldots, \alpha_k \in \mathbb{F}$ 에 대하여

$\mathbf{w} = \alpha_1 \mathbf{v}_1 + \alpha_2 \mathbf{v}_2 + \cdots + \alpha_k \mathbf{v}_k = \sum_{i=1}^{k} \alpha_i \mathbf{v}_i$

를 $\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_k$ 의 선형 결합(linear combination)이라 한다. 여기서 $\alpha_i$ 를 계수(coefficient)라 부른다.

선형 결합은 벡터 공간의 두 기본 연산인 벡터 덧셈과 스칼라 곱만을 사용하여 새로운 벡터를 생성하는 방법이다. 이 개념은 선형대수학의 근간을 이루며, 선형 독립, 기저, 차원, 계수(rank) 등 거의 모든 주요 개념이 선형 결합을 통하여 정의된다.

2. 자명한 선형 결합과 비자명한 선형 결합

영벡터 $\mathbf{0}$ 를 선형 결합으로 표현하는 방식에는 두 종류가 있다.

자명한(trivial) 선형 결합: 모든 계수가 0인 경우, 즉 $\alpha_1 = \alpha_2 = \cdots = \alpha_k = 0$ 일 때 $\sum_{i=1}^k \alpha_i \mathbf{v}_i = \mathbf{0}$ 이 항상 성립한다. 이를 자명한 선형 결합이라 한다.

비자명한(nontrivial) 선형 결합: 적어도 하나의 $\alpha_j \neq 0$ 이면서 $\sum_{i=1}^k \alpha_i \mathbf{v}_i = \mathbf{0}$ 이 성립하는 경우를 비자명한 선형 결합이라 한다.

영벡터를 자명한 방식으로만 표현할 수 있는 벡터 집합을 선형 독립(linearly independent)이라 하고, 비자명한 방식으로도 표현할 수 있으면 선형 종속(linearly dependent)이라 한다. 이 구분은 기저의 정의에서 핵심적인 역할을 한다.

3. 생성 공간(Span)의 정의

벡터 집합 $S = \{\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_k\}$ 의 모든 선형 결합의 집합을 $S$ 의 생성 공간(span)이라 하며, 다음과 같이 정의된다.

$\text{span}(S) = \text{span}(\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_k) = \left\{ \sum_{i=1}^{k} \alpha_i \mathbf{v}_i : \alpha_i \in \mathbb{F} \right\}$

관례상 공집합의 생성 공간은 $\text{span}(\emptyset) = \{\mathbf{0}\}$ 으로 정의한다.

정리. $\text{span}(S)$ 는 $S$ 를 포함하는 $V$ 의 가장 작은 부분 공간이다.

증명: 먼저 $\text{span}(S)$ 가 부분 공간임을 보인다. $\mathbf{0} = \sum_{i=1}^k 0 \cdot \mathbf{v}_i \in \text{span}(S)$ 이므로 비공집합이다. $\mathbf{u} = \sum_i \alpha_i \mathbf{v}_i$ 와 $\mathbf{w} = \sum_i \beta_i \mathbf{v}_i$ 가 $\text{span}(S)$ 에 속하면, 임의의 $c, d \in \mathbb{F}$ 에 대하여 $c\mathbf{u} + d\mathbf{w} = \sum_i (c\alpha_i + d\beta_i)\mathbf{v}_i \in \text{span}(S)$ 이다. 또한 $S$ 를 포함하는 임의의 부분 공간 $W$ 는 선형 결합에 대하여 닫혀 있으므로 $\text{span}(S) \subseteq W$ 이다. 따라서 $\text{span}(S)$ 는 최소 부분 공간이다.

4. 생성 공간의 기하학적 해석

$\mathbb{R}^3$ 에서 생성 공간의 기하학적 형태는 벡터의 개수와 선형 독립성에 따라 결정된다.

$\text{span}(\mathbf{0}) = \{\mathbf{0}\}$ : 원점(0차원)
$\text{span}(\mathbf{v})$ ( $\mathbf{v} \neq \mathbf{0}$ ): 원점을 지나는 직선(1차원)
$\text{span}(\mathbf{v}_1, \mathbf{v}_2)$ 에서 $\mathbf{v}_1, \mathbf{v}_2$ 가 선형 독립: 원점을 지나는 평면(2차원)
$\text{span}(\mathbf{v}_1, \mathbf{v}_2, \mathbf{v}_3)$ 에서 세 벡터가 선형 독립: $\mathbb{R}^3$ 전체(3차원)

선형 종속인 벡터가 추가되어도 생성 공간의 차원은 증가하지 않는다. 예를 들어, $\mathbf{v}_2 = 3\mathbf{v}_1$ 이면 $\text{span}(\mathbf{v}_1, \mathbf{v}_2) = \text{span}(\mathbf{v}_1)$ 이다.

5. 생성 공간의 성질

생성 공간에 관한 중요한 성질들을 정리하면 다음과 같다.

성질 1. $S_1 \subseteq S_2$ 이면 $\text{span}(S_1) \subseteq \text{span}(S_2)$ 이다.

성질 2. $\text{span}(\text{span}(S)) = \text{span}(S)$ 이다. 즉 생성 공간의 생성 공간은 자기 자신이다.

성질 3. $\mathbf{v} \in \text{span}(S)$ 이면 $\text{span}(S \cup \{\mathbf{v}\}) = \text{span}(S)$ 이다. 이미 생성 공간에 속한 벡터를 추가하여도 생성 공간이 확장되지 않는다.

성질 4. $\text{span}(S_1 \cup S_2) = \text{span}(S_1) + \text{span}(S_2)$ 이다. 두 집합의 합집합이 생성하는 공간은 각 생성 공간의 합이다.

6. 열 공간과 행 공간

행렬 $A \in \mathbb{R}^{m \times n}$ 의 열벡터를 $\mathbf{a}_1, \mathbf{a}_2, \ldots, \mathbf{a}_n \in \mathbb{R}^m$ 이라 하면, 이들의 생성 공간을 $A$ 의 열 공간(column space)이라 한다.

$\text{Col}(A) = \text{span}(\mathbf{a}_1, \mathbf{a}_2, \ldots, \mathbf{a}_n) = \{A\mathbf{x} : \mathbf{x} \in \mathbb{R}^n\}$

마찬가지로, $A$ 의 행벡터들이 생성하는 공간을 행 공간(row space)이라 하며, $\text{Row}(A) = \text{Col}(A^\top)$ 이다.

연립방정식 $A\mathbf{x} = \mathbf{b}$ 가 해를 가질 필요충분조건은 $\mathbf{b} \in \text{Col}(A)$ 이다. 이는 $\mathbf{b}$ 가 $A$ 의 열벡터들의 선형 결합으로 표현 가능해야 함을 의미한다.

7. 딥러닝에서의 선형 결합과 생성 공간

딥러닝에서 선형 결합은 거의 모든 계산의 기본 단위이다.

신경망의 순전파: 완전 연결층의 출력 $\mathbf{z} = W\mathbf{x} + \mathbf{b}$ 에서, $W\mathbf{x}$ 의 $j$ 번째 성분은 $z_j = \sum_{i=1}^d w_{ji} x_i$ 로서 가중치 행 벡터와 입력의 선형 결합이다. 비선형 활성화 함수를 적용하기 전까지 신경망의 각 층은 입력 벡터의 선형 결합을 계산한다.

어텐션 메커니즘(attention mechanism): 트랜스포머(Transformer)의 자기 어텐션(self-attention)은 값(value) 벡터들의 가중 선형 결합으로 정의된다.

$\text{Attention}(\mathbf{q}, K, V) = \sum_{i=1}^{n} \text{softmax}\left(\frac{\mathbf{q}^\top \mathbf{k}_i}{\sqrt{d_k}}\right) \mathbf{v}_i$

어텐션 가중치 $\alpha_i = \text{softmax}(\mathbf{q}^\top \mathbf{k}_i / \sqrt{d_k})$ 는 비음수이고 합이 1이므로, 이 연산은 값 벡터들의 볼록 결합(convex combination)이 된다. 출력은 $\text{span}(\mathbf{v}_1, \ldots, \mathbf{v}_n)$ 내의 볼록 껍질(convex hull)에 위치한다.

단어 임베딩과 의미 합성: 단어 임베딩 벡터의 선형 결합은 의미의 합성을 근사적으로 모델링한다. Mikolov et al. (2013)이 제시한 유명한 관계 $\text{vec}(\text{king}) - \text{vec}(\text{man}) + \text{vec}(\text{woman}) \approx \text{vec}(\text{queen})$ 은 의미 관계가 벡터 공간의 선형 구조로 포착될 수 있음을 보여준 사례이다. 이러한 벡터 산술(vector arithmetic)은 본질적으로 선형 결합의 응용이다.