28.30 텐서 네트워크(Tensor Network)의 기초 개념과 다이어그램 표기법

1. 텐서 네트워크의 개념적 정의

텐서 네트워크는 다수의 텐서가 공유 인덱스(Shared Index)에 대한 축약(Contraction) 관계로 결합되어 하나의 더 큰 텐서 또는 스칼라를 표현하는 수학적 구조이다. 형식적으로 텐서 네트워크는 그래프 $G = (V, E)$ 로 정의되며, 각 정점(Vertex) $v \in V$ 에는 고차 텐서 $\mathcal{T}^{(v)}$ 가 할당되고, 각 변(Edge) $e \in E$ 는 두 텐서 사이에서 합산되는 내부 인덱스(Internal Index)를 의미한다. 단 한쪽 끝만 정점에 연결된 변은 자유 인덱스(Free Index) 또는 외부 인덱스(External Index)라 부르며, 이는 네트워크 전체가 표현하는 결과 텐서의 모드(Mode)에 해당한다. 모든 자유 인덱스가 존재하지 않는 경우 네트워크의 축약 결과는 스칼라가 된다. 이러한 일반화된 관점에서 보면 행렬 곱셈, 벡터 내적, 트레이스(Trace), CP 분해, 터커 분해, 텐서 트레인 분해 등은 모두 특정한 위상(Topology)을 가지는 텐서 네트워크의 특수한 사례로 통합적으로 기술된다.

2. 다이어그램 표기법의 도입과 역사적 배경

다수의 인덱스를 가진 고차 텐서를 전통적인 첨자 표기로 다루면 표현이 급속히 번잡해지며, 동일한 식이 여러 표기로 변형될 때 구조적 동치성을 직관적으로 인식하기 어렵다. 이러한 한계를 해소하기 위해 도입된 것이 그래픽적 다이어그램 표기법이다. 펜로즈(R. Penrose)는 1971년 논문 “Applications of Negative Dimensional Tensors“에서 텐서 연산을 도형으로 표현하는 일관된 규칙을 처음으로 체계화하였으며, 이를 일반적으로 펜로즈 그래픽 표기법(Penrose Graphical Notation)이라 부른다. 이후 양자 다체 물리학과 양자 정보 이론에서 행렬 곱 상태(Matrix Product States, MPS) 및 사영 결합 짝 상태(Projected Entangled Pair States, PEPS) 등 다양한 텐서 네트워크가 연구되면서, 동일한 표기법은 양자 회로(Quantum Circuit)와 통계 역학 모형까지 포괄하는 표준 언어로 확립되었다.

3. 다이어그램의 기본 구성 요소

다이어그램 표기법의 기본 규칙은 단순하고 엄밀하다. 첫째, 각 텐서는 도형(원, 사각형, 삼각형 등)으로 그려진다. 둘째, 텐서의 각 인덱스는 도형으로부터 뻗어 나오는 다리(Leg)로 그려지며, 다리의 개수가 곧 텐서의 차수(Order)와 같다. 셋째, 두 텐서의 다리가 서로 연결되어 하나의 선을 이루면, 이는 해당 두 인덱스에 대한 합산, 즉 축약을 의미한다. 넷째, 한쪽 끝이 다른 텐서와 연결되지 않고 외부로 뻗어 있는 다리는 자유 인덱스이며, 결과 텐서의 모드를 나타낸다.

이러한 규칙에 따르면 0차 텐서인 스칼라는 다리가 없는 점으로, 1차 텐서인 벡터는 한 개의 다리를 가진 도형으로, 2차 텐서인 행렬은 두 개의 다리를 가진 도형으로, $d$ 차 텐서는 $d$ 개의 다리를 가진 도형으로 표현된다. 따라서 다이어그램만 보아도 각 객체의 차수가 즉시 식별된다.

4. 기본 텐서 연산의 다이어그램 표현

가장 단순한 사례로, 두 벡터 $\mathbf{u}, \mathbf{v} \in \mathbb{R}^n$ 의 내적

$\langle \mathbf{u}, \mathbf{v} \rangle = \sum_{i=1}^{n} u_i v_i$

은 두 개의 점이 하나의 선으로 연결된 형태로 그려지며, 자유 다리가 없으므로 결과는 스칼라이다.

행렬-벡터 곱 $\mathbf{y} = A \mathbf{x}$ , 즉 $y_i = \sum_{j} A_{ij} x_j$ 는 두 개의 다리를 가진 사각형(행렬 $A$ )이 한 개의 다리를 가진 점(벡터 $\mathbf{x}$ )과 한 다리를 통해 연결되고, 사각형의 나머지 한 다리가 자유 다리로 남아 결과 벡터 $\mathbf{y}$ 의 인덱스를 나타내는 형태로 표현된다.

행렬 곱셈 $C = AB$ , 즉 $C_{ik} = \sum_{j} A_{ij} B_{jk}$ 는 두 사각형이 가운데 한 다리(공유 인덱스 $j$ )를 통해 연결되고, 양 끝의 두 자유 다리가 각각 결과 행렬의 행 인덱스와 열 인덱스를 나타내는 형태로 그려진다.

행렬의 트레이스 $\mathrm{tr}(A) = \sum_{i} A_{ii}$ 는 사각형의 두 다리가 자기 자신과 연결되어 폐곡선(Loop)을 이루는 형태로 표현되며, 자유 다리가 없으므로 결과는 스칼라가 된다.

5. 다이어그램과 아인슈타인 합산 규약의 동치성

다이어그램 표기법은 아인슈타인 합산 규약과 일대일로 대응한다. 임의의 텐서식에서 두 텐서 사이에 동일한 첨자가 두 번 등장하면 합산이 암묵적으로 수행되는데, 이는 다이어그램에서 두 다리가 하나의 선으로 연결되는 것에 정확히 대응한다. 식에 한 번만 등장하는 첨자, 즉 자유 첨자는 다이어그램의 자유 다리에 대응한다. 따라서 다이어그램은 단순한 시각적 보조 수단이 아니라, 형식적 규칙이 부여된 엄밀한 표기 체계이며, 아인슈타인 합산 표기와 의미적으로 완전히 동등하다.

예를 들어 식

$T_{ikl} = \sum_{j} A_{ij} B_{jkl}$

은 두 다리를 가진 도형( $A$ )과 세 다리를 가진 도형( $B$ )이 가운데 다리( $j$ )로 연결된 다이어그램으로 표현되며, 외부에 남는 다리 $i, k, l$ 은 결과 텐서 $\mathcal{T}$ 의 세 모드를 나타낸다.

6. 텐서 네트워크의 위상과 분류

텐서 네트워크는 그래프의 위상 구조에 따라 분류된다. 첫째, 사슬(Chain) 형태의 네트워크가 있다. 각 텐서가 양 옆의 텐서와 한 개의 결합 인덱스로만 연결되며, 양 끝 텐서는 한쪽 결합 인덱스만 가진다. 이는 텐서 트레인 분해 또는 행렬 곱 상태(MPS)에 정확히 대응한다. 둘째, 트리(Tree) 형태의 네트워크가 있으며, 폐곡선이 존재하지 않는다는 특징을 가진다. 계층적 터커 분해(Hierarchical Tucker Decomposition) 및 트리 텐서 네트워크(Tree Tensor Network)가 이에 해당한다. 셋째, 격자(Lattice) 형태의 네트워크가 있으며, 사영 결합 짝 상태(PEPS)와 같이 2차원 이상의 격자 위에 텐서가 배치된다. 넷째, 다중 척도 얽힘 재정규화 가설(Multi-scale Entanglement Renormalization Ansatz, MERA)과 같은 계층적 위상도 존재한다.

이러한 분류는 단지 도형적 차이가 아니라, 표현 가능한 함수 공간의 구조와 축약 비용, 그리고 표현되는 물리적·수학적 대상의 얽힘(Entanglement) 구조와 직접적으로 연결된다.

7. 축약 순서와 계산 복잡도

텐서 네트워크의 축약 결과는 축약 순서에 무관하지만, 중간 단계에서 발생하는 임시 텐서의 크기는 순서에 따라 크게 달라지므로 실제 계산 비용은 순서에 결정적으로 의존한다. 일반적인 텐서 네트워크에 대하여 최적 축약 순서를 결정하는 문제는 NP-난해(NP-hard)에 속함이 알려져 있으며, 이는 그래프의 트리폭(Treewidth) 결정 문제와 깊이 관련된다. 그러므로 실제 응용에서는 동적 계획법, 분기 한정법, 휴리스틱 알고리즘 등을 활용하여 준최적 축약 경로를 탐색한다. 파이퍼(R. Pfeifer) 등이 제안한 NCON(Network CONtractor) 규약 및 TensorNetwork 라이브러리의 자동 축약 경로 탐색기는 이러한 절차를 표준화한 대표적 사례이다.

8. 다이어그램 표기법의 이론적 효용

다이어그램 표기법은 단순히 시각적 직관을 제공하는 데 그치지 않고, 여러 비자명한 등식의 증명을 도형적 변형만으로 수행할 수 있게 한다. 예컨대 두 텐서 곱의 결합 법칙, 분배 법칙, 트레이스 순환 불변성 $\mathrm{tr}(AB) = \mathrm{tr}(BA)$ 등은 다이어그램에서 선의 연결 관계만 유지하면서 도형의 위치를 옮기는 변형으로 직접 확인된다. 이는 텐서 네트워크가 단순한 자료 구조가 아니라, 카테고리 이론(Category Theory)에서 말하는 모노이드 카테고리(Monoidal Category) 또는 끈 다이어그램(String Diagram)과 본질적으로 동일한 형식 체계임을 보여 준다. 콕(B. Coecke)과 키싱어(A. Kissinger)의 저서 “Picturing Quantum Processes“는 이러한 관점을 양자 정보 이론 전반에 걸쳐 체계화하였다.

9. 딥러닝과의 연결

텐서 네트워크와 다이어그램 표기법은 딥러닝 영역에서도 점차 핵심적 도구로 자리잡고 있다. 합성곱 신경망의 합성곱 연산, 어텐션 메커니즘에서의 질의·키·값 행렬 곱, 다중 헤드 어텐션의 병렬 축약 등은 모두 텐서 네트워크 다이어그램으로 간결하게 표현된다. 또한 신경망 가중치 행렬을 텐서 네트워크 형태로 분해하여 매개변수 수를 줄이는 압축 기법, 그리고 트랜스포머의 자기 어텐션 연산을 효율적으로 구현하기 위한 축약 경로 최적화 연구는 텐서 네트워크 이론과 직접 결합된 응용이다. 따라서 다이어그램 표기법은 딥러닝의 복잡한 텐서 흐름을 명료하게 기술하기 위한 표준적 매체로 채택되고 있다.