27.8 선형 독립(Linear Independence)과 선형 종속의 판별

1. 선형 독립과 선형 종속의 정의

체 $\mathbb{F}$ 위의 벡터 공간 $V$ 에서 벡터 집합 $\{\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_k\}$ 가 **선형 독립(linearly independent)**이라 함은, 등식

$\alpha_1 \mathbf{v}_1 + \alpha_2 \mathbf{v}_2 + \cdots + \alpha_k \mathbf{v}_k = \mathbf{0}$

을 만족하는 스칼라 $\alpha_1, \alpha_2, \ldots, \alpha_k \in \mathbb{F}$ 가 오직 $\alpha_1 = \alpha_2 = \cdots = \alpha_k = 0$ 뿐임을 의미한다. 즉, 영벡터를 자명한 방식으로만 표현할 수 있는 경우에 해당한다.

이 조건을 만족하지 않는 경우, 즉 $\alpha_j \neq 0$ 인 적어도 하나의 스칼라가 존재하여 위 등식이 성립하면, $\{\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_k\}$ 는 **선형 종속(linearly dependent)**이라 한다.

2. 선형 종속의 동치 조건

선형 종속에 대한 중요한 동치 조건을 다음과 같이 서술할 수 있다.

정리. 벡터 집합 $\{\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_k\}$ ( $k \geq 2$ )가 선형 종속일 필요충분조건은, 적어도 하나의 벡터가 나머지 벡터들의 선형 결합으로 표현되는 것이다.

증명: ( $\Rightarrow$ ) 선형 종속이면 $\alpha_j \neq 0$ 인 $j$ 가 존재하여 $\sum_i \alpha_i \mathbf{v}_i = \mathbf{0}$ 이 성립한다. 이를 정리하면

$\mathbf{v}_j = -\frac{\alpha_1}{\alpha_j}\mathbf{v}_1 - \cdots - \frac{\alpha_{j-1}}{\alpha_j}\mathbf{v}_{j-1} - \frac{\alpha_{j+1}}{\alpha_j}\mathbf{v}_{j+1} - \cdots - \frac{\alpha_k}{\alpha_j}\mathbf{v}_k$

이므로 $\mathbf{v}_j$ 는 나머지 벡터들의 선형 결합이다.

( $\Leftarrow$ ) $\mathbf{v}_j = \sum_{i \neq j} \beta_i \mathbf{v}_i$ 이면 $\sum_{i \neq j} \beta_i \mathbf{v}_i + (-1)\mathbf{v}_j = \mathbf{0}$ 에서 $\mathbf{v}_j$ 의 계수가 $-1 \neq 0$ 이므로 선형 종속이다.

3. 선형 독립의 기본 성질

성질 1. 영벡터를 포함하는 집합은 항상 선형 종속이다. $1 \cdot \mathbf{0} = \mathbf{0}$ 이므로 자명하지 않은 선형 결합으로 영벡터를 표현할 수 있기 때문이다.

성질 2. 벡터 하나로 이루어진 집합 $\{\mathbf{v}\}$ 는 $\mathbf{v} \neq \mathbf{0}$ 일 때, 그리고 오직 그 때에만 선형 독립이다.

성질 3. 두 벡터 $\{\mathbf{u}, \mathbf{v}\}$ 가 선형 종속일 필요충분조건은 하나가 다른 하나의 스칼라 배인 것이다. 즉 $\mathbf{u} = c\mathbf{v}$ 또는 $\mathbf{v} = c\mathbf{u}$ 인 $c \in \mathbb{F}$ 가 존재한다.

성질 4. 선형 독립인 집합의 부분집합은 선형 독립이다.

성질 5. 선형 종속인 집합의 초집합(superset)은 선형 종속이다.

4. 행렬을 이용한 판별법

$\mathbb{R}^n$ 의 벡터 $\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_k$ 의 선형 독립 여부는 이들을 열벡터로 나열한 행렬 $A = [\mathbf{v}_1 \; \mathbf{v}_2 \; \cdots \; \mathbf{v}_k] \in \mathbb{R}^{n \times k}$ 를 통하여 판별할 수 있다. 선형 결합 등식 $\sum_i \alpha_i \mathbf{v}_i = \mathbf{0}$ 은 $A\boldsymbol{\alpha} = \mathbf{0}$ ( $\boldsymbol{\alpha} = (\alpha_1, \ldots, \alpha_k)^\top$ )와 동치이다.

따라서 $\{\mathbf{v}_1, \ldots, \mathbf{v}_k\}$ 가 선형 독립일 필요충분조건은 동차 연립방정식 $A\boldsymbol{\alpha} = \mathbf{0}$ 이 자명한 해만을 가지는 것이며, 이는 $\text{rank}(A) = k$ 와 동치이다.

정사각 행렬인 경우( $k = n$ ): $A$ 가 $n \times n$ 정사각 행렬이면, 선형 독립의 필요충분조건은 $\det(A) \neq 0$ 이다.

열의 수가 행의 수를 초과하는 경우( $k > n$ ): $\mathbb{R}^n$ 에서 $n$ 개를 초과하는 벡터는 반드시 선형 종속이다. 이는 $\text{rank}(A) \leq \min(m, n) = n < k$ 이므로 자명한 해 이외의 해가 항상 존재하기 때문이다.

5. 가우스 소거법을 이용한 판별

행렬 $A = [\mathbf{v}_1 \; \cdots \; \mathbf{v}_k]$ 에 기본 행 연산(elementary row operation)을 적용하여 행 사다리꼴(row echelon form)로 변환하면, 주축(pivot) 열의 개수가 $\text{rank}(A)$ 가 된다.

주축 열의 개수가 $k$ 이면(모든 열에 주축이 존재하면) 벡터들은 선형 독립이고, 주축 열의 개수가 $k$ 보다 작으면 선형 종속이다. 주축이 없는 열에 대응하는 벡터는 주축 열에 대응하는 벡터들의 선형 결합으로 표현된다.

예를 들어, $\mathbf{v}_1 = (1, 2, 3)^\top$ , $\mathbf{v}_2 = (4, 5, 6)^\top$ , $\mathbf{v}_3 = (7, 8, 9)^\top$ 에 대하여

$A = \begin{pmatrix} 1 & 4 & 7 \\ 2 & 5 & 8 \\ 3 & 6 & 9 \end{pmatrix} \xrightarrow{\text{행 연산}} \begin{pmatrix} 1 & 4 & 7 \\ 0 & -3 & -6 \\ 0 & 0 & 0 \end{pmatrix}$

주축이 2개이므로 $\text{rank}(A) = 2 < 3$ 이다. 따라서 $\{\mathbf{v}_1, \mathbf{v}_2, \mathbf{v}_3\}$ 은 선형 종속이며, 실제로 $\mathbf{v}_3 = 2\mathbf{v}_2 - \mathbf{v}_1$ 이 성립한다.

6. 그람 행렬을 이용한 판별

내적 공간(inner product space)에서는 그람 행렬(Gram matrix)을 이용한 판별이 가능하다. 벡터 $\mathbf{v}_1, \ldots, \mathbf{v}_k$ 의 그람 행렬은

$G = \begin{pmatrix} \langle\mathbf{v}_1, \mathbf{v}_1\rangle & \langle\mathbf{v}_1, \mathbf{v}_2\rangle & \cdots & \langle\mathbf{v}_1, \mathbf{v}_k\rangle \\ \langle\mathbf{v}_2, \mathbf{v}_1\rangle & \langle\mathbf{v}_2, \mathbf{v}_2\rangle & \cdots & \langle\mathbf{v}_2, \mathbf{v}_k\rangle \\ \vdots & \vdots & \ddots & \vdots \\ \langle\mathbf{v}_k, \mathbf{v}_1\rangle & \langle\mathbf{v}_k, \mathbf{v}_2\rangle & \cdots & \langle\mathbf{v}_k, \mathbf{v}_k\rangle \end{pmatrix}$

로 정의된다. $\{\mathbf{v}_1, \ldots, \mathbf{v}_k\}$ 가 선형 독립일 필요충분조건은 $\det(G) \neq 0$ 이다. 유클리드 내적의 경우 $G = A^\top A$ 이므로, $\det(A^\top A) \neq 0$ 이 판별 조건이 된다.

7. 딥러닝에서의 선형 독립

신경망에서 선형 독립의 개념은 모델의 표현 능력과 직결된다.

가중치 행렬의 계수: 완전 연결층의 가중치 행렬 $W \in \mathbb{R}^{m \times d}$ 의 행벡터들이 선형 독립이면 $\text{rank}(W) = m$ 이 되어, 입력 공간 $\mathbb{R}^d$ 에서 $m$ 차원 부분 공간으로의 전사(surjective) 선형 사상이 된다. 행벡터들이 선형 종속이면 출력 공간의 실효 차원이 $m$ 보다 작아져 정보의 손실이 발생한다.

특성 다양성(feature diversity): 학습된 특성 벡터들이 선형 독립에 가까울수록 각 뉴런이 서로 구별되는 정보를 포착하고 있음을 의미한다. 반대로 특성 벡터들이 선형 종속에 가까우면 중복 표현이 존재하며, 이는 모델 압축(pruning)이나 저순위 근사의 가능성을 시사한다.

수치적 선형 독립: 실제 계산에서는 부동소수점 오차로 인하여 엄밀한 선형 종속이 아닌 “거의 선형 종속“인 상태가 발생한다. 이 경우 그람 행렬의 조건수(condition number) $\kappa(G) = \|G\|\|G^{-1}\|$ 가 매우 커지며, 수치적 불안정성의 원인이 된다. 조건수가 클수록 역행렬 계산이나 연립방정식 풀이에서 오차가 증폭되므로, 수치 선형대수에서는 특이값 분해(SVD)를 이용하여 수치적 계수(numerical rank)를 판별한다.