29.2 선형성 조건: 가법성(Additivity)과 동차성(Homogeneity)의 증명

1. 두 조건의 의미와 동치성

선형 변환의 정의를 구성하는 가법성과 동차성이라는 두 조건은, 사상이 벡터 공간의 두 기본 연산인 벡터의 덧셈과 스칼라 곱에 대해 어떻게 동작하는지를 각각 규정한다. 가법성은 사상이 덧셈을 보존함을, 동차성은 사상이 스칼라 곱을 보존함을 의미한다. 그리고 이 두 조건이 동시에 성립한다는 것은, 사상이 임의의 선형결합 c_1 \mathbf{u} + c_2 \mathbf{v} 형식의 모든 표현을 보존한다는 것과 동치이다. 본 절에서는 이러한 동치성을 형식적으로 증명하고, 양 방향에서 따라 나오는 귀결을 분석한다.

2. 단일 등식 형식과 두 조건 형식의 동치 증명

명제: 함수 T : V \to W에 대하여 다음 두 진술은 동치이다.

(i) T는 가법성 T(\mathbf{u} + \mathbf{v}) = T(\mathbf{u}) + T(\mathbf{v})와 동차성 T(c \, \mathbf{v}) = c \, T(\mathbf{v})를 모두 만족한다.

(ii) 임의의 \mathbf{u}, \mathbf{v} \in V와 임의의 스칼라 c_1, c_2 \in \mathbb{F}에 대하여 다음이 성립한다.
T(c_1 \mathbf{u} + c_2 \mathbf{v}) = c_1 T(\mathbf{u}) + c_2 T(\mathbf{v}).

2.1 (i) ⟹ (ii)의 증명

가법성과 동차성을 모두 가정하자. 임의의 \mathbf{u}, \mathbf{v} \in V와 스칼라 c_1, c_2 \in \mathbb{F}를 택한다. 먼저 가법성을 적용하면 다음을 얻는다.

T(c_1 \mathbf{u} + c_2 \mathbf{v}) = T(c_1 \mathbf{u}) + T(c_2 \mathbf{v}).

이어서 두 항 각각에 동차성을 적용하면 다음이 성립한다.

T(c_1 \mathbf{u}) + T(c_2 \mathbf{v}) = c_1 T(\mathbf{u}) + c_2 T(\mathbf{v}).

두 식을 연결하면 (ii)가 따라 나온다.

2.2 (ii) ⟹ (i)의 증명

이제 단일 등식 (ii)가 성립한다고 가정한다.

가법성의 회복을 위해 c_1 = c_2 = 1로 두면, (ii)로부터 다음을 얻는다.

T(\mathbf{u} + \mathbf{v}) = T(1 \cdot \mathbf{u} + 1 \cdot \mathbf{v}) = 1 \cdot T(\mathbf{u}) + 1 \cdot T(\mathbf{v}) = T(\mathbf{u}) + T(\mathbf{v}).

따라서 가법성이 성립한다.

동차성의 회복을 위해 c_2 = 0, \mathbf{u} = \mathbf{v}, c_1 = c로 두면, 우선 (ii)를 적용하기 위해 임의의 \mathbf{w} \in V를 택하고 c_2 = 0을 적용한다.

T(c \, \mathbf{v} + 0 \cdot \mathbf{w}) = c \, T(\mathbf{v}) + 0 \cdot T(\mathbf{w}).

좌변의 0 \cdot \mathbf{w}는 V의 영벡터이고, 우변의 0 \cdot T(\mathbf{w})는 W의 영벡터이므로, 양변에서 영벡터를 소거하면

T(c \, \mathbf{v}) = c \, T(\mathbf{v})

가 성립한다. 따라서 동차성도 회복된다.

이상의 두 방향에 의해 (i)와 (ii)는 동치이며, 선형 변환의 정의는 두 조건의 합 또는 단일 등식 어느 형태로든 동등하게 부여될 수 있다.

3. 두 조건의 독립성과 반례

가법성과 동차성은 일견 매우 가까워 보이지만, 일반적인 함수에 대하여는 서로 독립적인 조건이며 한쪽이 다른 쪽을 함의하지 않는다. 이를 보이는 가장 잘 알려진 사례는 실수체 \mathbb{R} 위의 벡터 공간 \mathbb{R}을 자기 자신으로 사상하는 함수가 아니라, 실수체를 복소수체 \mathbb{C}로 확장하여 생각할 때 나타난다.

3.1 동차성 없는 가법성 — 코시(Cauchy) 함수 방정식의 비측정 해

실수 위에서 f(x + y) = f(x) + f(y)를 만족하는 함수, 즉 코시 함수 방정식의 해는 측정 가능성과 같은 정칙 조건을 부과하지 않으면 \mathbb{R}를 \mathbb{Q} 위의 벡터 공간으로 보았을 때의 임의의 \mathbb{Q}-선형 사상으로 구성될 수 있으며, 이러한 해는 일반적으로 \mathbb{R}-선형, 즉 f(c x) = c f(x)를 만족하지 않는다. 이는 가법성만으로는 동차성이 따라 나오지 않는다는 사실을 보여 준다. 실제로 코시 함수 방정식의 측정 가능 해는 모두 f(x) = c x 형태이지만, 측정 불가능한 해는 가법성을 만족하면서도 동차성을 만족하지 않는다.

3.2 가법성 없는 동차성 — 복소 켤레

복소수 공간 \mathbb{C}를 \mathbb{C} 위의 1차원 벡터 공간으로 간주할 때, 복소 켤레 사상 f(z) = \bar{z}를 생각하자. 이 사상은 \mathbb{R} 위에서는 동차이지만, \mathbb{C} 위에서 c = i를 택하면 f(i \cdot 1) = \overline{i} = -i이고 i \cdot f(1) = i \cdot 1 = i이므로 f(c z) = c f(z)가 성립하지 않는다. 그러나 가법성 f(z + w) = \overline{z + w} = \bar{z} + \bar{w} = f(z) + f(w)는 그대로 성립한다. 따라서 복소 켤레는 \mathbb{R}-선형이지만 \mathbb{C}-선형이 아닌 사상의 표준 예시이며, 동차성 없이 가법성이 성립할 수 있음을 보여 준다.

이러한 두 사례는 가법성과 동차성의 어느 한쪽만으로는 일반적으로 충분하지 않다는 사실을 명확히 한다. 그러므로 선형 변환의 엄밀한 정의는 반드시 두 조건을 모두 요구해야 한다.

4. 두 조건으로부터 따라 나오는 즉각적 귀결

4.1 영벡터의 보존

동차성을 c = 0의 경우에 적용하면, 임의의 \mathbf{v} \in V에 대하여

T(\mathbf{0}_V) = T(0 \cdot \mathbf{v}) = 0 \cdot T(\mathbf{v}) = \mathbf{0}_W

가 성립한다. 이는 별도의 가정 없이 동차성만으로 따라 나오는 결론이다.

4.2 음벡터의 보존

가법성과 동차성을 결합하면, 임의의 \mathbf{v} \in V에 대하여

T(-\mathbf{v}) = T((-1) \cdot \mathbf{v}) = (-1) \cdot T(\mathbf{v}) = -T(\mathbf{v})

가 성립한다. 따라서 선형 변환은 덧셈에 대한 역원의 사상도 자동으로 보존한다.

4.3 임의의 유한 선형결합의 보존

수학적 귀납법을 적용하면, 임의의 자연수 n과 임의의 벡터 \mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_n \in V 및 임의의 스칼라 c_1, c_2, \ldots, c_n \in \mathbb{F}에 대하여 다음이 성립한다.

T\left( \sum_{i=1}^{n} c_i \, \mathbf{v}_i \right) = \sum_{i=1}^{n} c_i \, T(\mathbf{v}_i).

기저 단계로 n = 1의 경우는 동차성에 의해 자동이며, 귀납 단계는 n - 1개의 항에 대한 가정과 가법성, 동차성을 결합하여 얻을 수 있다. 이 일반화된 식은 선형 변환이 정의역의 모든 선형결합 구조를 공역으로 그대로 옮긴다는 사실을 명확히 한다.

5. 신경망 가중치 곱의 선형성 증명

본 절의 형식적 증명이 가지는 가장 직접적인 응용은, 신경망의 가중치 곱이 선형 변환임을 명시적으로 확인하는 것이다. W \in \mathbb{R}^{m \times n}을 임의의 행렬, T(\mathbf{v}) = W \mathbf{v}를 그에 대응되는 사상이라 하자. 임의의 \mathbf{u}, \mathbf{v} \in \mathbb{R}^{n}과 임의의 스칼라 c_1, c_2 \in \mathbb{R}에 대하여, 행렬-벡터 곱셈의 정의로부터

T(c_1 \mathbf{u} + c_2 \mathbf{v}) = W(c_1 \mathbf{u} + c_2 \mathbf{v}) = c_1 W \mathbf{u} + c_2 W \mathbf{v} = c_1 T(\mathbf{u}) + c_2 T(\mathbf{v})

가 성립하므로, T는 가법성과 동차성을 동시에 만족하는 선형 변환이다. 이는 본 절에서 증명한 동치성에 의해, 단일 등식 형식과 두 조건 형식의 어느 한쪽만 확인하더라도 무방하다는 사실의 직접적 사례이다. 마찬가지의 증명은 합성곱 계층, 어텐션의 질의·키·값 변환, 임베딩 행렬에 의한 사상 등 신경망의 모든 학습 가능한 선형 부분에 동일하게 적용된다.