29.29 내적 공간(Inner Product Space)에서의 리스 표현 정리(Riesz Representation)

1. 문제의 동기

유한 차원 벡터 공간 $V$ 와 그 쌍대 공간 $V^*$ 는 동일한 차원을 가지므로 동형이다. 그러나 이 동형은 기저의 선택에 의존한다. 내적(inner product)이 추가로 주어지면, $V$ 와 $V^*$ 사이에 기저 선택에 의존하지 않는 자연적 동형 사상이 존재한다. 이것이 리스 표현 정리(Riesz representation theorem)의 내용이다.

2. 리스 표현 정리의 진술

정리 (리스 표현 정리, 유한 차원). $V$ 를 유한 차원 내적 공간이라 하자. 임의의 선형 범함수 $\varphi \in V^*$ 에 대하여, 다음을 만족하는 유일한 벡터 $u \in V$ 가 존재한다.

$\varphi(x) = \langle u, x \rangle, \quad \forall x \in V$

역으로, 각 $u \in V$ 에 대하여 $\varphi_u(x) = \langle u, x \rangle$ 로 정의된 $\varphi_u$ 는 $V^*$ 의 원소이다.

3. 증명

3.1 존재성

$\{e_1, e_2, \ldots, e_n\}$ 을 $V$ 의 정규 직교 기저라 하자. 임의의 $\varphi \in V^*$ 에 대하여

$u = \sum_{i=1}^n \overline{\varphi(e_i)} e_i$

로 정의하라 (실수 내적 공간에서는 켤레 복소수 $\overline{\varphi(e_i)} = \varphi(e_i)$ 이다). 임의의 $x = \sum_{j=1}^n c_j e_j$ 에 대하여

$\langle u, x \rangle = \left\langle \sum_{i=1}^n \overline{\varphi(e_i)} e_i, \sum_{j=1}^n c_j e_j \right\rangle = \sum_{i=1}^n \sum_{j=1}^n \overline{\varphi(e_i)} c_j \langle e_i, e_j \rangle = \sum_{i=1}^n \overline{\varphi(e_i)} c_i \cdot \overline{\overline{\varphi(e_i)}} \cdot c_i$

정규 직교성 $\langle e_i, e_j \rangle = \delta_{ij}$ 를 사용하면

$\langle u, x \rangle = \sum_{i=1}^n \varphi(e_i) c_i = \varphi\left(\sum_{i=1}^n c_i e_i\right) = \varphi(x)$

실수 내적 공간에서는 더 간단히

$\langle u, x \rangle = \sum_{i=1}^n \varphi(e_i) c_i = \varphi(x)$

3.2 유일성

$\langle u_1, x \rangle = \langle u_2, x \rangle$ 이 모든 $x \in V$ 에 대하여 성립하면

$\langle u_1 - u_2, x \rangle = 0, \quad \forall x \in V$

$x = u_1 - u_2$ 로 두면 $\|u_1 - u_2\|^2 = 0$ 이므로 $u_1 = u_2$ 이다. $\blacksquare$

4. 리스 동형 사상

리스 표현 정리에 의하여 정의되는 사상

$\Phi : V \to V^*, \quad \Phi(u) = \varphi_u, \quad \varphi_u(x) = \langle u, x \rangle$

를 리스 사상(Riesz map) 또는 **리스 동형 사상(Riesz isomorphism)**이라 한다.

4.1 리스 사상의 성질

선형성 (실수 내적 공간). 실수 내적 공간에서 $\Phi$ 는 선형이다.

$\Phi(\alpha u + \beta v) = \alpha \Phi(u) + \beta \Phi(v)$

이는 $\langle \alpha u + \beta v, x \rangle = \alpha \langle u, x \rangle + \beta \langle v, x \rangle$ 으로부터 즉시 도출된다.

반선형성 (복소 내적 공간). 복소 내적 공간에서는 $\Phi(\alpha u) = \bar{\alpha} \Phi(u)$ 이므로 $\Phi$ 는 반선형(conjugate-linear 또는 antilinear)이다.

전단사성. $\Phi$ 가 단사임은 유일성 증명과 동일한 논법으로 확인된다: $\Phi(u) = 0$ 이면 $\langle u, x \rangle = 0$ ( $\forall x$ )이므로 $u = 0$ . $\dim(V) = \dim(V^*)$ 이므로 $\Phi$ 는 전단사이다.

노름 보존.

$\|\Phi(u)\|_{V^*} = \sup_{\|x\|=1} |\varphi_u(x)| = \sup_{\|x\|=1} |\langle u, x \rangle| = \|u\|$

마지막 등식은 코시-슈바르츠 부등식(Cauchy-Schwarz inequality) $|\langle u, x \rangle| \leq \|u\|\|x\|$ 과 등호 조건 $x = u/\|u\|$ 로부터 도출된다.

5. $\mathbb{R}^n$ 에서의 리스 표현 정리

$\mathbb{R}^n$ 에서 표준 내적 $\langle u, x \rangle = u^T x$ 를 사용하면, 임의의 선형 범함수 $\varphi(x) = a^T x$ 는

$\varphi(x) = \langle a, x \rangle$

로 쓸 수 있다. 리스 사상 $\Phi$ 는 열 벡터 $a$ 를 행 벡터 $a^T$ (선형 범함수)로 대응시키는 사상이다. $\mathbb{R}^n$ 에서 이 대응이 자명해 보이는 것은 표준 내적이 항등 행렬에 대응하는 가장 단순한 내적이기 때문이다.

6. 일반 내적과 리스 사상

내적이 $\langle x, y \rangle = x^T G y$ ( $G$ 는 양의 정부호 대칭 행렬)로 주어지는 경우, 선형 범함수 $\varphi(x) = a^T x$ 에 대응하는 리스 표현 벡터 $u$ 는

$\langle u, x \rangle = u^T G x = a^T x, \quad \forall x$

이므로 $u^T G = a^T$ , 즉 $u = G^{-1} a$ 이다.

이 경우 리스 사상은 $\Phi(u)(x) = u^T G x$ 이며, $\Phi(u)$ 를 행 벡터로 표현하면 $u^T G$ 이다. 따라서 $\Phi$ 는 계량 텐서 $G$ 에 의한 “지표 내림(index lowering)” 연산에 해당한다.

7. 그래디언트의 리스 표현

다변수 함수 $f : \mathbb{R}^n \to \mathbb{R}$ 의 점 $x_0$ 에서의 미분은 선형 범함수 $df_{x_0} : \mathbb{R}^n \to \mathbb{R}$ 이다.

$df_{x_0}(h) = \sum_{i=1}^n \frac{\partial f}{\partial x_i}(x_0) h_i$

리스 표현 정리에 의하여, 이 선형 범함수에 대응하는 벡터가 **기울기 벡터(gradient)**이다.

$df_{x_0}(h) = \langle \nabla f(x_0), h \rangle$

표준 내적( $G = I$ )에서 $\nabla f = \left(\frac{\partial f}{\partial x_1}, \ldots, \frac{\partial f}{\partial x_n}\right)^T$ 이다.

일반 내적( $G \neq I$ )에서는 $\nabla_G f = G^{-1} \nabla f$ 가 된다. 이는 리만 기하학에서 계량 텐서에 의한 기울기의 정의와 직접적으로 대응한다. 자연 기울기(natural gradient) 방법에서 피셔 정보 행렬(Fisher information matrix) $F$ 를 계량 텐서로 사용하면 $\nabla_F f = F^{-1} \nabla f$ 가 되어, 매개변수 공간의 기하학적 구조를 반영한 최적화가 가능해진다.

8. 리스 표현 정리의 이론적 의의

리스 표현 정리의 핵심적 의의는 다음과 같다.

첫째, 내적 공간에서 $V$ 와 $V^*$ 를 자연적으로 동일시할 수 있게 한다. 이로써 “벡터“와 “선형 범함수“의 구분이 내적이 주어진 공간에서는 불필요해진다.

둘째, 추상적 선형 범함수를 구체적 내적의 형태로 환원함으로써, 쌍대 공간의 원소를 원래 공간의 벡터로 “실체화“한다. 이는 계산적으로 선형 범함수를 벡터로 다룰 수 있게 하여 수치 구현을 용이하게 한다.

셋째, 딥러닝에서 손실 함수의 기울기가 가중치 공간의 벡터로 표현되는 것은 리스 표현 정리의 직접적 적용이다. 기울기 벡터의 방향과 크기는 사용하는 내적(계량)에 의존하며, 이는 최적화 알고리즘의 설계에 근본적 영향을 미친다.