29.7 선형 변환의 상(Image)과 치역(Range)의 구조

1. 정의

벡터 공간 $V$ 와 $W$ 사이에서 정의된 선형 변환 $T : V \to W$ 에 대하여, $V$ 의 모든 원소가 사상된 결과로 얻어지는 공역 $W$ 의 부분집합을 선형 변환 $T$ 의 상(Image) 또는 치역(Range)이라 부르며, 다음과 같이 정의한다.

$\mathrm{Im}(T) = \{ T(\mathbf{v}) : \mathbf{v} \in V \} \subseteq W$

행렬 $A \in \mathbb{F}^{m \times n}$ 에 의해 정의되는 선형 변환 $T(\mathbf{v}) = A \mathbf{v}$ 의 경우, 상은 다음과 같이 표현되며 일반적으로 행렬 $A$ 의 열공간(Column Space)이라 부른다.

$\mathrm{Col}(A) = \{ A \mathbf{v} : \mathbf{v} \in \mathbb{F}^{n} \} = \mathrm{span}\{ \mathbf{a}_{1}, \mathbf{a}_{2}, \ldots, \mathbf{a}_{n} \}$

여기서 $\mathbf{a}_{j}$ 는 $A$ 의 $j$ 번째 열이다. 따라서 상은 단지 함숫값들의 집합이 아니라, $A$ 의 열들이 펼치는 부분 공간과 정확히 일치한다. 이러한 동등성은 $A \mathbf{v}$ 가 본질적으로 $A$ 의 열들의 선형 결합 $\sum_{j} v_{j} \mathbf{a}_{j}$ 로 표현된다는 사실로부터 곧바로 따라 나온다.

2. 상이 부분 공간을 이룬다는 사실

$\mathrm{Im}(T)$ 는 단순한 집합이 아니라 공역 $W$ 의 부분 공간이며, 이는 핵이 부분 공간을 이룬다는 사실과 짝을 이루는 결과이다. 다음과 같이 직접 검증된다.

2.1 영벡터의 포함

선형 변환의 동차성에 의해 $T(\mathbf{0}_{V}) = \mathbf{0}_{W}$ 이므로 $\mathbf{0}_{W} \in \mathrm{Im}(T)$ 이다.

2.2 덧셈에 대한 닫힘

임의의 두 벡터 $\mathbf{w}_{1}, \mathbf{w}_{2} \in \mathrm{Im}(T)$ 를 택하면, 정의에 의해 어떤 $\mathbf{v}_{1}, \mathbf{v}_{2} \in V$ 가 존재하여 $\mathbf{w}_{1} = T(\mathbf{v}_{1})$ , $\mathbf{w}_{2} = T(\mathbf{v}_{2})$ 가 된다. 가법성에 의해

$\mathbf{w}_{1} + \mathbf{w}_{2} = T(\mathbf{v}_{1}) + T(\mathbf{v}_{2}) = T(\mathbf{v}_{1} + \mathbf{v}_{2}) \in \mathrm{Im}(T)$

가 성립한다.

2.3 스칼라 곱에 대한 닫힘

임의의 $\mathbf{w} \in \mathrm{Im}(T)$ 와 임의의 스칼라 $c \in \mathbb{F}$ 에 대해, $\mathbf{w} = T(\mathbf{v})$ 인 $\mathbf{v} \in V$ 가 존재하며 동차성에 의해

$c \mathbf{w} = c T(\mathbf{v}) = T(c \mathbf{v}) \in \mathrm{Im}(T)$

가 성립한다.

세 조건을 모두 만족하므로 $\mathrm{Im}(T)$ 는 공역의 부분 공간이다. 즉, 선형 변환의 상은 자동으로 선형 구조를 부여받으며, 이는 함수의 공역에 대한 일반적 직관과 다른 점이다. 일반적인 함수의 치역은 단지 점들의 모임에 불과할 수 있지만, 선형 변환의 치역은 항상 공역 안에 자연스럽게 매장된 부분 공간이 된다.

3. 전사성과 상의 관계

선형 변환 $T : V \to W$ 가 전사(Surjective)일 필요충분조건은 그 상이 공역 전체와 일치하는 것이다.

$T \text{ is surjective} \iff \mathrm{Im}(T) = W$

이는 전사의 정의 그 자체이다. 행렬 표현에서 이 조건은 행렬 $A$ 의 열공간이 공역 $\mathbb{F}^{m}$ 전체와 일치하는 것, 즉 $A$ 의 열들이 $\mathbb{F}^{m}$ 을 펼치는 것에 해당한다. 이로부터 $A$ 의 계수가 $m$ 과 같다는 조건과 동등함이 따라 나온다. 따라서 전사성은 행렬의 계수만으로 명확히 판별되며, 이는 일반적인 함수의 전사성을 직접 검사하는 것보다 훨씬 쉬운 절차이다.

4. 비동차 선형 방정식의 해 가능성

상의 개념은 선형 방정식 $A \mathbf{v} = \mathbf{b}$ 의 해 존재 조건을 명료하게 표현한다. 이 방정식이 해를 가지기 위한 필요충분조건은 $\mathbf{b}$ 가 $A$ 의 열공간에 속하는 것이다.

$\exists \mathbf{v} : A \mathbf{v} = \mathbf{b} \iff \mathbf{b} \in \mathrm{Col}(A)$

이는 정의에 의해 즉각 성립한다. 만약 $\mathbf{b} \notin \mathrm{Col}(A)$ 이면 어떠한 $\mathbf{v}$ 도 $A \mathbf{v}$ 를 $\mathbf{b}$ 와 같게 만들 수 없다. 이러한 경우에 등장하는 표준적 대안이 최소 제곱법이며, 이는 $\mathbf{b}$ 대신 $\mathbf{b}$ 의 열공간 위로의 직교 사영을 우변으로 채택하는 절차로 해석된다.

5. 상의 차원과 계수

상의 차원을 선형 변환 $T$ 의 계수(Rank)라 부르며, 일반적으로 다음과 같이 표기한다.

$\mathrm{rank}(T) = \dim(\mathrm{Im}(T))$

행렬 $A$ 에 대해서는 동일한 양을 행렬의 계수라 부르며 $\mathrm{rank}(A)$ 로 표기한다. 이 양은 다음의 두 정의가 모두 동등하다는 사실을 가진다. 첫째, 상의 차원, 즉 $A$ 의 열공간의 차원. 둘째, $A$ 의 행공간(Row Space), 즉 $A$ 의 행들이 펼치는 부분 공간의 차원. 셋째, $A$ 의 영이 아닌 특이값(Singular Value)의 개수. 이 세 정의가 모두 동일한 값을 산출한다는 사실은 선형대수학의 기본 결과 가운데 하나이며, 통상 행렬의 계수에 대한 행-열 등치 정리(Row-Column Rank Equivalence)로 알려져 있다.

행렬의 계수는 그 행렬이 표현하는 선형 변환이 도달할 수 있는 출력 차원의 크기를 나타내며, 사상의 표현 능력을 정량화하는 가장 기초적인 척도이다.

6. 상의 기저 결정 절차

행렬 $A$ 의 상, 즉 열공간의 기저를 결정하는 표준 절차는 다음과 같다. 첫째, $A$ 를 환원 행 사다리꼴로 변환하는 가우스 소거법을 적용한다. 둘째, 환원된 행 사다리꼴에서 기본 열(Pivot Column)이 위치한 인덱스를 식별한다. 셋째, 원래 행렬 $A$ 의 해당 인덱스에 위치한 열들을 모두 모은다. 이 열들의 집합이 정확히 $\mathrm{Col}(A)$ 의 기저이다. 주의할 점은, 환원된 행 사다리꼴의 열을 그대로 채택해서는 안 되며, 반드시 원래 행렬의 열을 채택해야 한다는 것이다. 그 이유는 행 연산이 열공간 자체는 변화시키지 않지만, 열의 구체적 표현은 일반적으로 변화시키기 때문이다.

기본 열의 개수는 곧 행렬의 계수와 같으며, 이는 행 사다리꼴의 기본 열이 곧 선형 독립인 열들을 식별해 주는 절차임을 보여 준다.

7. 핵과 상의 짝 구조

이전 절에서 다룬 핵과 본 절에서 다루는 상은, 선형 변환의 두 측면을 짝을 이루어 묘사한다. 핵은 정의역의 부분 공간으로서 사상이 영점으로 보내는 방향을, 상은 공역의 부분 공간으로서 사상이 도달하는 방향을 각각 나타낸다. 두 부분 공간의 차원은 차원 정리에 의해 다음의 식으로 결정적으로 연결된다.

$\dim(V) = \dim(\mathrm{Ker}(T)) + \dim(\mathrm{Im}(T))$

이 식은 정의역의 차원이 영도와 계수의 합과 정확히 일치한다는 사실을 진술하며, 후속 절에서 형식적으로 증명된다. 이로부터 사상이 단사이면서 동시에 전사일 가능성, 즉 동형(Isomorphism)이 되기 위한 조건은 정의역과 공역의 차원이 같고 계수가 그 공통 차원과 일치하는 것임이 자연스럽게 따라 나온다.

8. 기하학적 해석

상의 기하학적 의미는 사상이 도달할 수 있는 모든 점의 집합으로 매우 명료하다. 평면 $\mathbb{R}^{2}$ 에서 한 직선 위로의 사영 변환을 예로 들면, 그 변환의 상은 정확히 사영 직선 그 자체이다. 평면을 한 점으로 보내는 영 사상의 상은 원점만으로 이루어진 자명한 부분 공간이다. 회전, 반사, 균일 스케일링과 같은 가역 변환의 상은 공역 전체와 일치한다.

행렬 $A \in \mathbb{R}^{m \times n}$ 에 대해 $A$ 의 열공간을 시각화하는 직관적 방법은, $\mathbb{F}^{n}$ 의 표준 기저 벡터 $\mathbf{e}_{1}, \mathbf{e}_{2}, \ldots, \mathbf{e}_{n}$ 을 입력으로 주었을 때 얻어지는 출력 벡터들 $A \mathbf{e}_{1}, A \mathbf{e}_{2}, \ldots, A \mathbf{e}_{n}$ 이 곧 $A$ 의 열들이며, 이 열들이 펼치는 부분 공간이 곧 사상이 도달할 수 있는 모든 방향임을 관찰하는 것이다.

9. 신경망 가중치 행렬의 상

딥러닝의 맥락에서 가중치 행렬 $W \in \mathbb{R}^{m \times n}$ 의 상은 그 계층이 산출할 수 있는 모든 출력 벡터의 집합이며, 이는 출력 공간 $\mathbb{R}^{m}$ 의 부분 공간을 이룬다. 만약 가중치의 계수가 $m$ 보다 작다면, 그 계층은 출력 공간 전체를 표현할 수 없으며, 출력은 항상 어떤 $r$ 차원 부분 공간에 제약된다. 이는 가중치 행렬을 저랭크로 분해하는 압축 기법, 가지치기(Pruning)에 의한 가중치 희소화, 그리고 LoRA와 같은 매개변수 효율적 미세 조정 기법의 표현력을 분석할 때 핵심적인 척도가 된다.

특히 임베딩 행렬과 같이 입력이 이산적 토큰이고 출력이 고차원 벡터인 경우, 상은 임베딩이 산출할 수 있는 모든 벡터의 부분 공간으로 해석되며, 그 차원은 임베딩의 표현 능력에 직접적으로 대응한다.

10. 결론

선형 변환의 상은 사상이 도달할 수 있는 모든 점의 집합으로 정의되지만, 단순한 집합이 아니라 항상 공역의 부분 공간을 이룬다. 행렬에 대해서는 상이 열공간과 정확히 일치하며, 그 차원이 행렬의 계수와 동등하다. 상은 전사성, 선형 방정식의 해 가능성, 사상의 표현 능력을 모두 통합적으로 기술하는 도구이며, 핵과 짝을 이루어 차원 정리라는 선형대수학의 가장 기본적인 결과로 이어진다. 딥러닝의 맥락에서 가중치 행렬의 상은 한 계층이 표현할 수 있는 출력 공간의 부분을 의미하며, 매개변수 효율성과 표현력 분석의 핵심적 기준이 된다.