Booil Jung

3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS)

컴퓨터 그래픽스 분야의 오랜 숙원은 3차원(3D) 모델로부터 현실 세계를 그대로 복제한 듯한 2차원(2D) 이미지를 생성하는 렌더링(Rendering) 기술의 완성에 있었습니다.1 이 목표를 달성하기 위해 전통적으로는 폴리곤 메시(Polygon Mesh)나 포인트 클라우드(Point Cloud)와 같은 명시적인(explicit) 3D 장면 표현 방식이 주를 이루었습니다. 그러나 이러한 방식들은 복잡한 기하학적 구조나 머리카락과 같은 미세한 디테일을 표현하는 데 본질적인 한계를 드러냈습니다. 메시는 복잡한 표면을 단순화하는 과정에서 구멍이나 균열과 같은 아티팩트(artifact)를 유발할 수 있으며, 포인트 클라우드는 불연속적이고 희소한 구조로 인해 복잡한 형태를 정확하게 재구성하기 어려웠습니다.1

이러한 상황 속에서, 2020년 등장한 Neural Radiance Fields(NeRF)는 새로운 시점 합성(Novel View Synthesis) 분야에 혁명을 일으켰습니다.3 NeRF는 3D 공간상의 위치 좌표($x,y,z$)와 2D 시선 방향($\theta, \phi$)이라는 5차원(5D) 입력을 받아 해당 지점의 색상(RGB)과 볼륨 밀도($\sigma$, volume density)를 출력하는 심층 신경망(MLP, Multi-Layer Perceptron)을 사용합니다.5 이 연속적인(continuous) 함수 표현을 통해 NeRF는 기존 방식으로는 불가능했던 수준의 극사실적인 렌더링 품질을 달성하며 3D 재구성 기술의 새로운 기준을 제시했습니다.

NeRF는 전례 없는 시각적 품질(visual fidelity)을 선보이며 학계와 산업계의 폭발적인 관심을 받았지만, 실용화를 가로막는 두 가지 핵심적인 한계를 명확히 드러냈습니다. 첫 번째는 극심한 연산 비용으로 인한 느린 학습 및 렌더링 속도였고, 두 번째는 이로 인해 실시간 상호작용이 거의 불가능하다는 점이었습니다.3

NeRF의 렌더링 과정은 각 픽셀에 대해 광선(ray)을 투사하고, 그 경로를 따라 수많은 지점을 샘플링한 후, 각 샘플링 지점마다 무거운 MLP 연산을 반복적으로 수행해야 합니다.7 이 볼륨 레이 마칭(volume ray marching) 방식은 본질적으로 높은 계산 비용을 수반합니다. Mip-NeRF360과 같은 후속 연구들은 렌더링 품질을 더욱 향상시켜 최고 수준에 도달했지만, 단일 장면을 학습하는 데 최대 48시간이 소요될 정도로 비효율적이었습니다.4 반대로 Instant-NGP와 같은 모델들은 해시 그리드(hash grid)와 같은 기법을 도입하여 학습 시간을 수 분 단위로 단축했지만, 이는 필연적으로 품질 저하를 동반하는 트레이드오프(trade-off) 관계에 있었습니다.4 결과적으로, 1080p 해상도에서 초당 30프레임(FPS) 이상의 실시간 렌더링은 여전히 달성하기 어려운 목표로 남아있었습니다.3

2023년 SIGGRAPH 학회에서 발표된 ‘3D Gaussian Splatting for Real-Time Radiance Field Rendering’ 논문은 이러한 NeRF의 한계를 정면으로 돌파하며 새로운 패러다임을 제시했습니다.3 3D 가우시안 스플래팅(이하 3D-GS)은 Mip-NeRF360과 동등하거나 그 이상의 시각적 품질을 달성하면서도, 1080p 해상도에서 초당 100프레임 이상의 압도적인 실시간 렌더링 속도와 경쟁력 있는 학습 시간을 동시에 구현했습니다.1

3D-GS의 핵심 혁신은 NeRF의 근간이었던 신경망을 과감히 배제하고, 장면을 표현하는 기본 단위를 ‘미분 가능한 3D 가우시안(differentiable 3D Gaussians)’이라는 명시적 프리미티브(explicit primitive)로 대체한 것에 있습니다.1 그리고 이 가우시안들을 2D 이미지로 렌더링하는 전 과정을 GPU 아키텍처에 고도로 최적화된 미분 가능한 래스터화(differentiable rasterization) 파이프라인으로 설계했습니다. 이는 NeRF가 추구했던 ‘모든 것을 학습하는’ 암시적 표현(implicit representation)에서, GPU의 병렬 처리 능력을 극대화하는 명시적 표현으로의 회귀이자 동시에 진화였습니다.

이러한 접근 방식의 전환은 단순히 NeRF의 속도 문제를 해결한 것을 넘어, 3D 장면 표현 방식에 대한 근본적인 철학의 변화를 의미합니다. NeRF의 핵심이 장면 전체를 하나의 거대한 신경망 가중치에 ‘인코딩’하는 것이었다면, 3D-GS는 GPU가 가장 잘하는 작업인 ‘프리미티브 그리기(래스터화)’에 집중했습니다.15 3D-GS 연구진은 “만약 렌더링할 프리미티브 자체를 미분 가능하게 만들 수 있다면, 신경망 없이도 경사 하강법(gradient descent)을 통해 장면을 최적화할 수 있지 않을까?”라는 질문에 대한 해답을 제시한 것입니다. 그 해답이 바로 위치, 모양, 색, 투명도를 파라미터로 갖는 미분 가능한 3D 가우시안이었고 16, 이를 2D로 투영(splatting)하는 과정 전체를 미분 가능하게 설계하여 학습 기반 최적화를 가능하게 했습니다.13 결과적으로, NeRF의 ‘느린 추론(per-ray sampling)’을 GPU에 최적화된 ‘빠른 그리기(rasterization)’로 대체하면서도 학습의 유연성을 유지한 것이 3D-GS의 성공 비결입니다. 이는 기술적 진보가 항상 복잡성 증가를 동반하는 것이 아니라, 기존 하드웨어의 강점을 재해석하고 핵심 원리에 집중함으로써 이루어질 수 있음을 보여주는 중요한 사례입니다.

3D-GS의 혁신은 세 가지 핵심 요소의 유기적인 결합으로 이루어집니다: 3D 가우시안을 이용한 장면 표현, 고속의 미분 가능한 래스터화 파이프라인, 그리고 학습 과정에서 가우시안의 밀도를 동적으로 조절하는 최적화 기법입니다.3

3D-GS는 3D 장면을 수백만 개의 3D 가우시안(3D Gaussians) 집합으로 표현합니다.12 이는 각 점이 위치와 색상 정보만 갖는 전통적인 포인트 클라우드와 달리, 각 ‘점’이 하나의 가우시안 분포를 나타내는 풍부한 파라미터를 가집니다.6 ‘스플랫(Splat)’이라는 용어는 이러한 3D 가우시안을 2D 이미지 평면에 물감을 흩뿌리듯 투영하는 과정을 의미합니다.2

각 3D 가우시안은 다음과 같은 핵심 파라미터로 정의됩니다 13:

미분 가능한 래스터화 파이프라인은 3D-GS 기술의 심장부라 할 수 있습니다. 이 파이프라인은 3D 공간에 정의된 수백만 개의 가우시안 집합을 입력받아 최종 2D 이미지를 생성하는 전 과정을 담당하며, 가장 중요한 특징은 이 모든 과정이 미분 가능하다(differentiable)는 점입니다.13 덕분에 렌더링된 결과 이미지와 실제 촬영된 원본 이미지(ground truth) 사이의 오차(loss)를 계산하고, 이 오차를 최소화하기 위한 그래디언트(gradient)를 모든 가우시안 파라미터에 대해 역전파(backpropagate)하여 모델을 최적화할 수 있습니다.21

이 파이프라인은 다음과 같은 주요 단계로 구성됩니다 7:

  1. 투영 (Projection): 먼저, 3D 공간에 있는 모든 가우시안을 주어진 카메라의 시점(viewpoint)에서 바라본 2D 이미지 평면으로 투영합니다. 이 과정에서 3D 가우시안의 중심점 $\mu$는 간단한 변환을 통해 2D 좌표로 매핑됩니다. 더 복잡한 부분은 3D 공분산 행렬 $\Sigma$를 2D로 투영하는 것입니다. 이는 뷰 변환 행렬($W$)과 원근 투영의 자코비안 행렬($J$)을 사용하여 $\Sigma′=JW\Sigma W^TJ^T$ 라는 근사식을 통해 2D 공분산 행렬 $\Sigma’$를 계산함으로써 이루어집니다. 이렇게 얻어진 $\Sigma’$는 2D 이미지 평면상에서의 타원(splat)의 모양을 결정합니다.7

  2. 타일 기반 래스터화 (Tile-based Rasterization): 수백만 개의 스플랫을 픽셀 단위로 처리하는 것은 비효율적입니다. 이를 해결하기 위해, 렌더링할 화면을 16x16 픽셀과 같은 작은 타일(tile) 단위로 분할합니다.6 그 다음, 각 스플랫이 어떤 타일들과 겹치는지 빠르게 식별하고, 각 타일별로 렌더링에 영향을 미치는 스플랫들의 목록을 생성합니다. 하나의 스플랫이 여러 타일에 걸쳐 있을 경우, 해당 스플랫은 여러 타일 목록에 중복으로 포함됩니다.7 이 방식은 GPU의 수많은 코어를 활용하여 각 타일을 독립적으로 병렬 처리할 수 있게 해주어 래스터화 과정의 효율을 극대화합니다.13

  3. 정렬 및 알파 블렌딩 (Sorting & Alpha Blending): 각 타일 내부에서는 해당 타일에 할당된 스플랫들을 카메라로부터의 거리, 즉 깊이(depth)를 기준으로 정렬합니다.13 정렬은 일반적으로 빠른 정렬 알고리즘인 기수 정렬(radix sort)을 사용합니다. 정렬이 완료되면, 각 타일의 픽셀들을 순회하며 스플랫들을 앞에서 뒤로(front-to-back) 순서대로 렌더링합니다. 각 픽셀의 최종 색상은 다음의 알파 블렌딩 공식을 통해 누적 계산됩니다: \(C_\text{out}=C_\text{new}\alpha_\text{new}+C_\text{prev}(1−\alpha_\text{new})\) 이 과정을 통해 반투명한 객체들이 자연스럽게 혼합된 결과를 얻을 수 있습니다.6

  4. 경사 하강 흐름 (Gradient Flow): 학습을 위한 역전파 과정에서는 이와 반대 방향으로 연산이 진행됩니다. 최종 픽셀 색상에 대한 손실로부터 시작하여, 뒤에서 앞으로(back-to-front) 순서로 각 스플랫이 최종 색상에 기여한 정도를 계산하고, 이를 통해 각 스플랫의 2D 파라미터(색상, 불투명도, 2D 공분산)에 대한 그래디언트를 구합니다. 마지막으로, 투영 과정의 역연산(chain rule)을 통해 이 2D 그래디언트를 다시 3D 가우시안의 원본 파라미터(SH 계수, 불투명도, 스케일, 회전)에 대한 그래디언트로 변환합니다.15 이 모든 복잡한 연산은 고성능 컴퓨팅을 위해 특별히 제작된 CUDA 커널을 통해 구현되어, 전체 학습 및 렌더링 파이프라인의 빠른 속도를 보장합니다.28

3D-GS는 단순히 고정된 수의 가우시안을 최적화하는 데 그치지 않고, 학습 과정에서 가우시안의 밀도를 동적으로 조절하는 ‘적응형 밀도 제어(Adaptive Density Control)’라는 독창적인 전략을 사용합니다. 이 전략은 모델이 스스로 장면의 복잡도를 파악하고 필요한 곳에 자원을 집중적으로 할당하게 만들어, 효율성과 최종 품질을 동시에 높이는 핵심적인 역할을 합니다.7

이러한 적응형 밀도 제어 전략은 고정된 구조를 갖는 NeRF의 MLP와 근본적으로 다른 접근 방식입니다. 이는 마치 조각가가 처음에는 큰 덩어리로 전체적인 형태를 잡고, 점차 디테일이 필요한 부분에 정과 망치를 집중하여 세밀하게 조각해 나가는 과정과 유사합니다. 필요한 곳에만 ‘정보량(가우시안)’을 동적으로 집중시키는 데이터 기반(data-driven) 방식 덕분에, 3D-GS는 매우 효율적으로 고품질의 장면 표현을 학습할 수 있습니다.

3D-GS는 NeRF가 해결하고자 했던 새로운 시점 합성 문제를 동일하게 다루지만, 그 접근 방식과 성능 특성에서 근본적인 차이를 보입니다. 두 기술의 차이점을 표현 방식, 렌더링 패러다임, 그리고 정량적 성능 지표를 통해 심층적으로 비교 분석할 수 있습니다.

두 기술의 가장 근본적인 차이는 3D 장면을 컴퓨터 내에서 어떻게 표현하는지에 있습니다.

장면 표현 방식의 차이는 자연스럽게 렌더링 방식의 차이로 이어집니다.

이러한 근본적인 차이는 학습 시간, 렌더링 속도, 시각적 품질, 그리고 메모리 사용량 등 정량적 성능 지표에서 뚜렷한 트레이드오프를 만들어냅니다.

이러한 복합적인 비교를 통해 3D-GS와 NeRF의 관계는 단순한 ‘대체’가 아닌, 명확한 ‘트레이드오프(trade-off)’ 관계에 있음을 알 수 있습니다. 아래 표는 주요 NeRF 변종들과 3D-GS의 성능을 정량적으로 요약한 것입니다.

Table 1: 3D-GS vs. NeRF 정량적 성능 비교

항목 (Metric) 3D Gaussian Splatting (3D-GS) Mip-NeRF360 (품질 기준) Instant-NGP (속도 기준) 자료 출처 (Source)
품질 (Quality) 최상급 (SOTA) (PSNR, SSIM, LPIPS) 최상급 (SOTA) (3D-GS와 유사/근소 열위) 중간 품질 (3D-GS보다 낮음) 1
학습 시간 (Training Time) ~30-60분 ~24-48시간 ~5-10분 (가장 빠름) 4
렌더링 속도 (Rendering Speed) 실시간 (≥100 FPS @ 1080p) 매우 느림 (<1 FPS) 준실시간 (10-15 FPS) 3
메모리/파일 크기 큼 (수백MB ~ 1.5GB+) 작음 (수십MB) 매우 작음 (~5-35MB) 17
장면 표현 방식 명시적 (Explicit Primitives) 암시적 (Implicit MLP) 암시적 (Implicit Hash Grid + MLP) 1

이 비교는 기술 선택이 최종 애플리케이션의 요구사항에 따라 결정되어야 함을 명확히 보여줍니다. 3D-GS는 ‘모든 정보를 명시적으로 펼쳐놓기’ 때문에 렌더링은 빠르지만 메모리를 많이 차지하고 36, NeRF는 ‘모든 정보를 신경망에 압축’하기 때문에 메모리는 적지만 렌더링 시 압축을 푸는 과정(추론)이 느립니다.19 따라서 사용자가 3D 장면을 웹에서 실시간으로 탐험하는 VR/AR이나 인터랙티브 뷰어와 같은 애플리케이션에는 초기 로딩 시간이 다소 길더라도 일단 로드된 후에는 압도적으로 빠른 렌더링 속도를 제공하는 3D-GS가 절대적으로 유리합니다.2 반면, 수많은 3D 에셋을 클라우드에 저장하고 필요할 때마다 선택적으로 전송해야 하는 서비스나, 모델 자체의 배포가 중요한 상황에서는 NeRF의 작은 파일 크기가 여전히 장점으로 작용할 수 있습니다. 이러한 트레이드오프는 자연스럽게 3D-GS 연구의 다음 방향성, 즉 ‘메모리 및 저장 공간 문제 해결’의 중요성을 부각시키며, 이는 다음 장에서 다룰 성능 최적화 및 압축 기술 연구의 당위성으로 이어집니다.

3D-GS가 발표된 이후, 연구 커뮤니티는 그 잠재력을 최대한 발휘하기 위해 두 가지 주요 방향으로 성능 개선 노력을 집중해왔습니다. 첫째는 렌더링 및 학습 속도를 더욱 가속화하는 것이고, 둘째는 가장 큰 약점으로 지적되는 메모리 및 저장 공간 문제를 해결하는 것입니다.

3D-GS의 핵심 장점인 속도를 극한까지 끌어올리기 위한 다양한 최적화 연구가 진행되고 있습니다.

3D-GS의 기가바이트(GB) 단위에 달하는 거대한 파일 크기는 모바일 기기, VR/AR 헤드셋과 같이 리소스가 제한된 환경에 배포하는 데 가장 큰 실질적인 장벽입니다.37 이 문제를 해결하기 위한 연구는 크게 ‘압축(Compression)’과 ‘컴팩션(Compaction)’이라는 두 가지 상호 보완적인 방향으로 진행되고 있습니다.43

이러한 최적화 기법들은 3D-GS의 실용성을 크게 향상시키고 있습니다. 특히 컴팩션 기법은 단순히 파일 크기를 줄이는 것을 넘어, 렌더링 시 처리해야 할 프리미티브의 총량을 줄여주기 때문에 렌더링 속도까지 함께 향상시키는 ‘일석이조’의 효과를 가져옵니다. 이는 컴팩션이 단순한 저장소 최적화를 넘어, 3D-GS의 핵심 장점인 실시간 성능을 더욱 강화하는 중요한 전략임을 시사합니다.

Table 2: 3D-GS 압축 및 컴팩션 기법 비교

기법 분류 (Category) 세부 기법 (Technique) 핵심 아이디어 (Core Idea) 결과 (Result) 자료 출처 (Source)
압축 (Compression) 양자화 (Quantization) 파라미터의 데이터 타입을 저정밀도로 변환 (e.g., Float32 -> Float16) 2배 압축. 품질 저하 거의 없음. 38
  벡터 양자화, 엔트로피 코딩 유사 파라미터를 코드북으로 대체, 데이터 중복성 제거 5x-12x 압축. 수용 가능한 품질 저하. 38
컴팩션 (Compaction) 가지치기 (Pruning) 학습 중/후에 시각적 기여도가 낮은 가우시안을 제거 가우시안 수 90% 감소, 렌더링 속도 향상, 품질 유지. 39
구조적 압축 (Structured) 앵커/그래프 기반 가우시안의 공간적 관계를 활용하여 구조적으로 압축 높은 압축률 달성 목표. 45

3D-GS의 성공은 자연스럽게 다음 질문으로 이어졌습니다: “이 강력한 기술을 정적인 장면을 넘어 움직이는 동적 장면(dynamic scene)에 적용할 수 없을까?” 이 질문에 대한 해답으로 등장한 것이 바로 4D 가우시안 스플래팅(4D-GS)입니다.

정적 장면에 초점을 맞춘 3D-GS를 동적 장면으로 확장하는 것은 시간의 흐름($t$)에 따른 객체의 움직임(motion)과 모양 변화(deformation)를 모델링해야 하는 새로운 차원의 도전입니다.46

가장 단순한 접근법은 비디오의 각 프레임마다 독립적인 3D-GS 모델을 학습하는 것이지만, 이는 엄청난 계산 비용과 저장 공간 낭비를 초래하며 프레임 간의 시간적 일관성을 보장하지 못합니다.47

이를 해결하기 위해 4D-GS 연구들은 보다 근본적인 접근법을 채택했습니다. 먼저, 시간 t=0에서의 기준이 되는 하나의 ‘정규(canonical)’ 3D 가우시안 집합을 정의합니다. 그리고 시간($t$)을 추가 입력으로 받아, 이 정규 가우시안들을 해당 시점의 위치와 모양으로 변형시키는 ‘변형 필드(deformation field)’를 학습하는 것입니다.47 이 변형 필드는 특정 시점에서 각 정규 가우시안이 겪게 될 위치 이동($\Delta x,\Delta y,\Delta z$), 회전($\Delta R$), 크기 변화($\Delta S$) 등을 예측하는 함수 역할을 합니다.

이 변형 필드는 일반적으로 경량의 신경망으로 구현됩니다. 예를 들어, ‘4D Gaussian Splatting for Real-Time Dynamic Scene Rendering’ 논문에서는 HexPlane에서 영감을 받은 4D 시공간 복셀 그리드(spatio-temporal voxel grid)와 작은 MLP를 결합한 구조를 제안했습니다.47 이 구조에서 4D 인코더는 특정 가우시안의 정규 위치와 현재 시간($t$)을 입력받아 고차원의 특징 벡터(feature vector)를 추출하고, MLP 디코더는 이 특징 벡터를 바탕으로 해당 가우시안에 적용될 구체적인 변형 파라미터들을 예측합니다. 이 방식을 통해 단 하나의 정규 가우시안 모델과 작은 변형 필드 네트워크만으로 전체 동적 장면을 효율적으로 표현할 수 있게 됩니다.

초기 4D-GS 접근법은 동적 장면을 성공적으로 모델링했지만, 곧 새로운 비효율성이 발견되었습니다. 대부분의 실제 동영상 장면은 일부 움직이는 객체(사람, 자동차 등)와 넓은 정적 배경(건물, 풍경 등)이 혼재되어 있습니다. 모든 가우시안을 4D로 모델링하는 것은, 전혀 움직이지 않는 배경에 속한 가우시안들에게도 불필요한 시간적 변형 파라미터를 할당하고 매 프레임 변형을 계산하게 만들어 메모리와 연산을 낭비하는 결과를 초래합니다.51

이러한 문제 인식을 바탕으로, 장면을 동적 요소와 정적 요소로 적응적으로 분리하여 처리하는 ‘하이브리드 3D-4D 가우시안 스플래팅(Hybrid 3D-4DGS)’ 프레임워크가 제안되었습니다.51 이 접근법의 핵심 아이디어와 과정은 다음과 같습니다:

  1. 초기 4D 모델링: 학습 초기에는 장면의 모든 가우시안을 4D로 간주하고 변형 필드를 통해 최적화를 시작합니다.
  2. 정적/동적 분류: 일정 반복 횟수(예: 500회)가 지나면, 각 4D 가우시안의 시간적 변화량을 분석합니다. 시간의 흐름에 따른 위치, 회전, 크기 등의 변화가 특정 임계값 이하로 거의 없는 가우시안들을 ‘정적(static)’으로 분류합니다.52
  3. 표현 변환: ‘정적’으로 분류된 가우시안들은 시간 차원과 관련된 모든 파라미터를 제거하고, 순수한 3D 가우시안으로 변환됩니다. 이들은 더 이상 변형 필드의 영향을 받지 않고 고정된 상태로 렌더링 파이프라인에 참여합니다. 반면, ‘동적(dynamic)’으로 분류된 가우시안들은 계속해서 완전한 4D 표현을 유지하며 변형 필드를 통해 움직임을 표현합니다.52
  4. 분리된 최적화: 이후의 학습 과정에서는 3D 가우시안 그룹과 4D 가우시안 그룹이 분리되어 최적화됩니다. 이를 통해 정적 배경에 대한 중복 계산을 원천적으로 제거할 수 있습니다.

이 하이브리드 방식은 정적 영역에 대한 불필요한 계산을 제거함으로써 전체 학습 시간을 기존 4D-GS 대비 3~5배 단축하고, 메모리 요구량을 크게 줄이면서도 최종 렌더링 품질은 유지하거나 오히려 향상시키는 놀라운 효율성을 보여주었습니다.51

4D-GS, 특히 하이브리드 3D-4DGS로의 발전 과정은 3D-GS 연구 커뮤니티의 빠른 학습 및 문제 해결 능력을 보여주는 대표적인 사례입니다. 이는 ‘일단 되게 만들고(4D-GS), 그 다음 최적화한다(Hybrid 3D-4DGS)’는 실용적인 공학적 접근 방식의 전형을 보여줍니다. 복잡한 문제를 한 번에 완벽하게 해결하려 하기보다, 점진적으로 문제를 분해하고 각 부분에 맞는 최적의 도구를 적용하는 연구 개발의 패턴을 통해 기술이 빠르게 성숙해나가고 있음을 알 수 있습니다.

3D-GS의 뛰어난 실시간 렌더링 성능과 높은 시각적 품질은 발표 직후부터 다양한 산업 분야의 주목을 받았으며, 가상현실(VR), 디지털 트윈, 영화 및 게임 제작 등에서 실질적인 적용 사례들이 등장하고 있습니다. 각 산업의 고유한 요구사항은 3D-GS 기술의 특정 측면을 발전시키는 원동력이 되고 있습니다.

VR/AR 환경은 사용자의 시점 변화에 즉각적으로 반응해야 하므로, 초당 72~90프레임(Hz) 이상의 매우 높은 프레임률과 낮은 지연 시간(latency)이 몰입감 유지를 위해 필수적입니다. 3D-GS의 실시간 렌더링 능력은 이러한 요구사항을 충족시키는 이상적인 기술로 평가받습니다.5

그러나 데스크톱 환경과 달리 VR 헤드셋(HMD)의 넓은 시야각(FOV), 고해상도 디스플레이, 그리고 사용자의 끊임없는 머리 움직임은 3D-GS에 새로운 도전 과제를 안겨주었습니다.55

현재 ‘Scaniverse’, ‘Hyperscape’, ‘Gracia’와 같은 애플리케이션들이 Meta Quest와 같은 상용 VR 기기에서 3D-GS 콘텐츠를 탐색하는 경험을 제공하며 기술의 가능성을 보여주고 있습니다.57

디지털 트윈(Digital Twin)은 공장, 건물, 도시와 같은 물리적 자산이나 시스템의 가상 복제품을 만들고, 실시간 데이터를 연동하여 상태를 모니터링하고 시뮬레이션을 통해 미래를 예측하는 기술입니다.59 3D-GS는 현실 세계를 빠르고 사실적으로 3D 모델화할 수 있는 능력 덕분에 디지털 트윈 구축을 위한 핵심 시각화 기술로 큰 주목을 받고 있습니다.60

영화 및 게임 산업에서 3D-GS는 가상 프로덕션(Virtual Production) 워크플로우를 혁신할 잠재력을 보여주고 있습니다.

결론적으로, 각 산업 분야의 서로 다른 요구사항-VR의 ‘속도’, 디지털 트윈의 ‘정확도’, 미디어 제작의 ‘사실성 및 편집 가능성’-은 3D-GS 기술이 다각적으로 발전하도록 견인하는 역할을 하고 있습니다. 이는 3D-GS가 단일 기술에 머무르지 않고, 다양한 응용 분야와 상호작용하며 진화하는 하나의 거대한 기술 생태계를 형성하고 있음을 보여줍니다.

3D-GS 기술이 빠르게 확산되면서, 전문가부터 일반 사용자까지 누구나 이 기술을 활용할 수 있도록 돕는 다양한 저작(authoring) 및 편집 도구 생태계가 빠르게 형성되고 있습니다. 이 생태계는 ‘접근성’을 높이는 방향과 ‘전문성’을 강화하는 두 가지 방향으로 동시에 확장되고 있습니다.

복잡한 명령어나 설정 없이도 손쉽게 3D-GS 모델을 만들 수 있는 도구들이 등장하며 기술의 대중화를 이끌고 있습니다.

생성된 3D-GS 모델을 그대로 사용하는 경우는 드뭅니다. 원하는 결과물을 얻기 위해서는 불필요한 부분을 제거하거나 다른 에셋과 합성하는 등의 편집 과정이 필수적입니다.

이처럼 3D-GS 생태계는 일반 사용자를 위한 ‘접근성’과 전문가를 위한 ‘전문성’이라는 두 축을 따라 빠르게 성장하고 있습니다. 스마트폰 앱이 기술의 대중화를 이끄는 동시에, 전문 DCC 플러그인과 AI 기반 편집 기술은 3D-GS를 기존 콘텐츠 제작 파이프라인에 깊숙이 통합하고, 이전에는 상상하기 어려웠던 새로운 창작의 가능성을 열어가고 있습니다. 이러한 다각적인 생태계의 발전은 3D-GS가 일시적인 유행을 넘어, 다양한 사용자층을 아우르는 강력하고 실용적인 차세대 3D 기술로 자리매김하고 있음을 증명합니다.

3D 가우시안 스플래팅은 실시간 고품질 렌더링이라는 놀라운 성과를 거두었지만, 기술이 성숙해감에 따라 몇 가지 근본적인 한계점들이 명확해지고 있으며, 이는 곧 미래 연구의 방향성을 제시하고 있습니다. 3D-GS의 미래는 단순히 장면을 더 잘 ‘재구성(Reconstruction)’하는 것을 넘어, 재구성된 장면의 의미를 ‘이해(Understanding)’하고, 이를 바탕으로 새로운 것을 ‘생성(Generation)’하며, 사용자와 ‘상호작용(Interaction)’하는 방향으로 나아갈 것입니다.

현재 3D-GS 기술이 직면한 주요 도전 과제는 다음과 같습니다.

이러한 한계점들을 극복하기 위한 연구들이 활발히 진행 중이며, 이는 3D-GS의 미래 발전 가능성을 엿보게 합니다.

결론적으로, 3D 가우시안 스플래팅은 컴퓨터 그래픽스 분야에 실시간 사실주의 렌더링이라는 새로운 시대를 열었습니다. 현재의 기술은 주로 현실을 얼마나 잘 ‘복제’하는가에 초점이 맞춰져 있지만, 미래의 발전 방향은 명확합니다. 장면 파싱(scene parsing), 의미론적 분할(semantic segmentation)과 같은 컴퓨터 비전 기술과 결합하여 복제된 장면의 의미를 ‘이해’하고, 생성 모델링과 결합하여 새로운 장면을 ‘창조’하며, 물리 기반 렌더링 및 시뮬레이션 기술과 결합하여 사용자와 ‘상호작용’하는 것입니다. 이러한 융합적 발전이 이루어질 때, 3D-GS는 진정한 의미의 차세대 3D 플랫폼으로 자리매김할 것입니다.

  1. 3D Gaussian Splatting for Real Time Radiance Field Rendering Using Insta360 Camera: - CORE, accessed July 19, 2025, https://core.ac.uk/download/617974924.pdf
  2. 가우시안 스플래팅 (Gaussian Splatting): 3D 장면을 표현하는 새로운 패러다임, accessed July 19, 2025, https://nodiscard.tistory.com/230
  3. 3D Gaussian Splatting for Real-Time Radiance Field Rendering - Inria, accessed July 19, 2025, https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/
  4. 3D Gaussian Splatting for Real-Time Radiance Field Rendering - ResearchGate, accessed July 19, 2025, https://www.researchgate.net/publication/372989904_3D_Gaussian_Splatting_for_Real-Time_Radiance_Field_Rendering
  5. Radiance Fields (Gaussian Splatting and NeRFs), accessed July 19, 2025, https://radiancefields.com/
  6. 3D Gaussian Splatting - velog, accessed July 19, 2025, https://velog.io/@hsbc/3D-Gaussian-Splatting
  7. [3DGS] 3D Gaussian Splatting for Real-Time Radiance Field … - velog, accessed July 19, 2025, https://velog.io/@cjkangme/3D-Gaussian-Splattingfor-Real-Time-Radiance-Field-Rendering
  8. 3D Gaussian Splatting 리뷰 (SIGGRAPH 2023) - velog, accessed July 19, 2025, https://velog.io/@dusruddl2/3D-Gaussian-Splatting-%EA%B0%9C%EB%85%90-%EB%A6%AC%EB%B7%B0-SIGGRAPH-2023
  9. [컴퓨터 그래픽스] 트렌드 연구 NeRF, 3D Gaussian Splatting, accessed July 19, 2025, https://flyduckdev.tistory.com/entry/%EC%BB%B4%ED%93%A8%ED%84%B0-%EA%B7%B8%EB%9E%98%ED%94%BD%EC%8A%A4-%ED%8A%B8%EB%A0%8C%EB%93%9C-%EC%97%B0%EA%B5%AC-NeRF
  10. [논문리뷰] Gaussian Splatting with NeRF-based Color and Opacity - 전생했더니 인공지능이었던 건에 대하여, accessed July 19, 2025, https://kimjy99.github.io/%EB%85%BC%EB%AC%B8%EB%A6%AC%EB%B7%B0/vdgs/
  11. Original reference implementation of “3D Gaussian Splatting for Real-Time Radiance Field Rendering” - GitHub, accessed July 19, 2025, https://github.com/graphdeco-inria/gaussian-splatting
  12. 3D Gaussian Splatting: A new frontier in rendering - Chaos, accessed July 19, 2025, https://www.chaos.com/blog/3d-gaussian-splatting-new-frontier-in-rendering
  13. 3D Gaussian Splatting for Real-Time Radiance Field Rendering Qiang Zhang, accessed July 19, 2025, https://zhangtemplar.github.io/3d-gaussian-splatting/
  14. 3D Gaussian Splatting: Performant 3D Scene Reconstruction at Scale - AWS, accessed July 19, 2025, https://aws.amazon.com/blogs/spatial/3d-gaussian-splatting-performant-3d-scene-reconstruction-at-scale/
  15. [논문 리뷰] 3D Gaussian Splatting (SIGGRAPH 2023) : 랜더링 속도/퀄리티 개선 - xoft, accessed July 19, 2025, https://xoft.tistory.com/51
  16. 3D 가우시안 스플래팅 가이드 및 생성 방법 - Pixcap, accessed July 19, 2025, https://pixcap.com/kr/blog/gaussian-splatting
  17. [논문리뷰] 3D Gaussian Splatting - 정리용 블로그 - 티스토리, accessed July 19, 2025, https://clean-dragon.tistory.com/13
  18. What is it? - Hugging Face ML for 3D Course, accessed July 19, 2025, https://huggingface.co/learn/ml-for-3d-course/unit3/what-is-it
  19. The Battle For Realism in 3D Rendering: A Brief Overview of NeRFs vs. Gaussian Splatting by Aahana Antaeus AR Medium, accessed July 19, 2025, https://medium.com/antaeus-ar/the-battle-for-realism-in-3d-rendering-a-brief-overview-of-nerfs-vs-gaussian-splatting-580cff4d8801
  20. Understanding and Exploring 3D Gaussian Splatting: A Comprehensive Overview, accessed July 19, 2025, https://logessiva.medium.com/understanding-and-exploring-3d-gaussian-splatting-a-comprehensive-overview-b4004f28ef1c
  21. Introduction to 3D Gaussian Splatting - Hugging Face, accessed July 19, 2025, https://huggingface.co/blog/gaussian-splatting
  22. 3D Gaussian Splatting: A Technical Guide to Real-Time Neural Rendering - KIRI Engine, accessed July 19, 2025, https://www.kiriengine.app/blog/3d-gaussian-splatting-a-technical-guide-to-real-time-neural-rendering
  23. [2025 실감미디어 겨울학교] Gaussian Splatting 핵심 개념-최재열(성균관대학교/연구원), accessed July 19, 2025, https://www.youtube.com/watch?v=s7FkiQP0mEM
  24. [2505.18764] Efficient Differentiable Hardware Rasterization for 3D Gaussian Splatting, accessed July 19, 2025, https://arxiv.org/abs/2505.18764
  25. Efficient Differentiable Hardware Rasterization for 3D Gaussian Splatting - arXiv, accessed July 19, 2025, https://arxiv.org/html/2505.18764v1
  26. Rasterization - gsplat documentation, accessed July 19, 2025, https://docs.gsplat.studio/main/apis/rasterization.html
  27. [논문 리뷰] 3D Gaussian Splatting for Real-Time Radiance Field Rendering, accessed July 19, 2025, https://mole-starseeker.tistory.com/158
  28. slothfulxtx/diff-gaussian-rasterization: Differentiable gaussian rasterization with depth, alpha, normal map and extra per-Gaussian attributes, also support camera pose gradient - GitHub, accessed July 19, 2025, https://github.com/slothfulxtx/diff-gaussian-rasterization
  29. graphdeco-inria/diff-gaussian-rasterization - GitHub, accessed July 19, 2025, https://github.com/graphdeco-inria/diff-gaussian-rasterization
  30. 3DGS-LM: Faster Gaussian-Splatting Optimization with Levenberg-Marquardt - GitHub Pages, accessed July 19, 2025, https://lukashoel.github.io/3DGS-LM/static/3DGS-LM_paper.pdf
  31. A Survey on 3D Gaussian Splatting, accessed July 19, 2025, https://www.cs.jhu.edu/~misha/ReadingSeminar/Papers/Chen24.pdf
  32. How NeRFs and 3D Gaussian Splatting are Reshaping SLAM: a Survey - arXiv, accessed July 19, 2025, https://arxiv.org/html/2402.13255v1
  33. 3D Gaussian Splatting vs. NeRFs. What is the difference? Fodev JEO, accessed July 19, 2025, https://akillness.github.io/posts/nerf-3d-gaussian-splatting/
  34. Novel view synthesis, NeRF vs Gaussian splatting : r/computervision - Reddit, accessed July 19, 2025, https://www.reddit.com/r/computervision/comments/1if2w7f/novel_view_synthesis_nerf_vs_gaussian_splatting/
  35. 3D Gaussian Splatting 완벽 분석 (feat. CUDA Rasterizer) - velog, accessed July 19, 2025, https://velog.io/@gjghks950/3D-Gaussian-Splatting-%EC%99%84%EB%B2%BD-%EB%B6%84%EC%84%9D-feat.-CUDA-Rasterizer
  36. Three Level Summary: Neural Radiance Fields vs. 3D Gaussian Splatting - Edward Ahn, accessed July 19, 2025, https://edwardahn.me/archive/2024/02/19/NeRFvs3DGS
  37. 3D Gaussian Splatting, But Smaller - Radiance Fields, accessed July 19, 2025, https://radiancefields.com/3d-gaussian-splatting-but-smaller
  38. Making Gaussian Splats smaller - Aras Pranckevičius, accessed July 19, 2025, https://aras-p.info/blog/2023/09/13/Making-Gaussian-Splats-smaller/
  39. Speedy-Splat: Fast 3D Gaussian Splatting with Sparse Pixels and Sparse Primitives, accessed July 19, 2025, https://speedysplat.github.io/
  40. Introduction to 3D Gaussian Splatting and Its Speedup - Fixstars Corporation Tech Blog, accessed July 19, 2025, https://blog.us.fixstars.com/introduction-to-3d-gaussian-splatting-and-its-speedup/
  41. On Scaling Up 3D Gaussian Splatting Training - OpenReview, accessed July 19, 2025, https://openreview.net/forum?id=pQqeQpMkE7
  42. 3DGS.zip: A survey on 3D Gaussian Splatting Compression Methods - arXiv, accessed July 19, 2025, https://arxiv.org/html/2407.09510
  43. 3DGS.zip: A survey on 3D Gaussian Splatting Compression Methods - arXiv, accessed July 19, 2025, https://arxiv.org/html/2407.09510v5
  44. 3DGS.zip: A survey on 3D Gaussian Splatting Compression Methods - Eurographics, accessed July 19, 2025, https://diglib.eg.org/bitstream/handle/10.1111/cgf70078/cgf70078.pdf
  45. [Literature Review] Compression in 3D Gaussian Splatting: A Survey …, accessed July 19, 2025, https://www.themoonlight.io/en/review/compression-in-3d-gaussian-splatting-a-survey-of-methods-trends-and-future-directions
  46. MrNeRF/awesome-3D-gaussian-splatting - GitHub, accessed July 19, 2025, https://github.com/MrNeRF/awesome-3D-gaussian-splatting
  47. 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering - CVF Open Access, accessed July 19, 2025, https://openaccess.thecvf.com/content/CVPR2024/papers/Wu_4D_Gaussian_Splatting_for_Real-Time_Dynamic_Scene_Rendering_CVPR_2024_paper.pdf
  48. 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering - arXiv, accessed July 19, 2025, https://arxiv.org/html/2310.08528v3
  49. [2310.08528] 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering - arXiv, accessed July 19, 2025, https://arxiv.org/abs/2310.08528
  50. 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering - Guanjun Wu, accessed July 19, 2025, https://guanjunwu.github.io/4dgs/
  51. Hybrid 3D-4D Gaussian Splatting for Fast Dynamic Scene Representation - arXiv, accessed July 19, 2025, https://arxiv.org/abs/2505.13215
  52. Hybrid 3D-4D Gaussian Splatting for Fast Dynamic Scene Representation - arXiv, accessed July 19, 2025, https://arxiv.org/html/2505.13215v1
  53. Hybrid 3D-4D Gaussian Splatting for Fast Dynamic Scene Representation - GitHub Pages, accessed July 19, 2025, https://ohsngjun.github.io/3D-4DGS/
  54. VR-Splatting: Foveated Radiance Field Rendering via 3D Gaussian Splatting and Neural Points - Linus Franke, accessed July 19, 2025, https://lfranke.github.io/vr_splatting/
  55. arxiv.org, accessed July 19, 2025, https://arxiv.org/abs/2505.10144
  56. VRSplat: Fast and Robust Gaussian Splatting for Virtual Reality AI, accessed July 19, 2025, https://www.aimodels.fyi/papers/arxiv/vrsplat-fast-robust-gaussian-splatting-virtual-reality
  57. Four ways to explore 3D Gaussian splats with your Meta Quest - Scaniverse, accessed July 19, 2025, https://scaniverse.com/news/four-ways-to-explore-3d-gaussian-splats-on-meta-quest
  58. These 3 Apps let you experience Gaussian Splatting on Quest : r/OculusQuest - Reddit, accessed July 19, 2025, https://www.reddit.com/r/OculusQuest/comments/1kav02v/these_3_apps_let_you_experience_gaussian/
  59. HoloGaussian Digital Twin: Reconstructing 3D Scenes with Gaussian Splatting for Tabletop Hologram Visualization of Real Environments - MDPI, accessed July 19, 2025, https://www.mdpi.com/2072-4292/16/23/4591
  60. Digital Twins: Precision of 3D Gaussian Splatting - Plain Concepts, accessed July 19, 2025, https://www.plainconcepts.com/digital-twins-3d-gaussian-splatting/
  61. PerfCam: Digital Twinning for Production Lines Using 3D Gaussian Splatting and Vision Models - arXiv, accessed July 19, 2025, https://arxiv.org/html/2504.18165v1
  62. Gaussian Splatting: The Future of Reality Capture - Heliguy, accessed July 19, 2025, https://www.heliguy.com/blogs/posts/gaussian-splatting-the-future-of-reality-capture/
  63. 3D Gaussian Splatting - Plain Concepts, accessed July 19, 2025, https://www.plainconcepts.com/3d-gaussian-splatting/
  64. Gaussian Splatting for Digital Twin new feature - Hiverlab, accessed July 19, 2025, https://hiverlab.com/gaussian-splatting-for-digital-twin-new-feature/
  65. [2504.18165] PerfCam: Digital Twinning for Production Lines Using 3D Gaussian Splatting and Vision Models - arXiv, accessed July 19, 2025, https://arxiv.org/abs/2504.18165
  66. The rise of 3D Gaussian Splatting: what is it and how is it changing the immersive media industry? - Magnopus, accessed July 19, 2025, https://www.magnopus.com/blog/the-rise-of-3d-gaussian-splatting
  67. [Workflow] 3D Gaussian Splatting Applied in Scouting and Pre-Production - YouTube, accessed July 19, 2025, https://www.youtube.com/watch?v=jIvmm3noB_s
  68. 3D Gaussian Splatting from Hollywood Films! - YouTube, accessed July 19, 2025, https://www.youtube.com/watch?v=8CdLVVny9hc
  69. Get This Versatile Gaussian Splats Editing Toolset For Houdini - 80 Level, accessed July 19, 2025, https://80.lv/articles/get-this-versatile-gaussian-splats-editing-toolset-for-houdini
  70. GSOPS for SideFX Houdini - YouTube, accessed July 19, 2025, https://www.youtube.com/watch?v=CNo7H39OaE8
  71. Free Gaussian Splatting Editor For Houdini - 80 Level, accessed July 19, 2025, https://80.lv/articles/get-this-versatile-gaussian-splats-editing-toolset-for-houdini/
  72. Gaussian Splatting: When Does it Make Sense to Use and Why? - Rock Paper Reality, accessed July 19, 2025, https://rockpaperreality.com/insights/3d-vfx/gaussian-splatting-when-does-it-make-sense-to-use-and-why/
  73. Gaussian splatting for beginners: The best tools for creating and editing - Design4Real, accessed July 19, 2025, https://design4real.de/en/gaussian-splatting-for-beginners-the-best-tools-for-creating-and-editing/
  74. Free 3D Gaussian Splatting Tool - Polycam, accessed July 19, 2025, https://poly.cam/tools/gaussian-splatting
  75. Top 5 tools for Gaussian Splatting Compared : r/photogrammetry - Reddit, accessed July 19, 2025, https://www.reddit.com/r/photogrammetry/comments/1kpu7h1/top_5_tools_for_gaussian_splatting_compared/
  76. 3D Gaussian Splatting for Real-Time Radiance Field Rendering - Detailed Windows Install & Usage Instructions - GitHub, accessed July 19, 2025, https://github.com/PolarNick239/gaussian-splatting-Windows
  77. Instruct-GS2GS: Editing 3D Gaussian Splatting Scenes with Instructions, accessed July 19, 2025, https://instruct-gs2gs.github.io/
  78. GaussCtrl, accessed July 19, 2025, https://gaussctrl.active.vision/
  79. 3D representation of Architectural Heritage: a comparative analysis of NeRF, Gaussian Splatting, and SfM-MVS reconstructions usi - ISPRS - The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, accessed July 19, 2025, https://isprs-archives.copernicus.org/articles/XLVIII-2-W8-2024/93/2024/isprs-archives-XLVIII-2-W8-2024-93-2024.pdf
  80. 2D Gaussian Splatting Review - 김선호 Nerd’s NeRF Team @가짜연구소 - YouTube, accessed July 19, 2025, https://www.youtube.com/watch?v=1P5gk8icwM0
  81. Gsplat VRAM usage and optimisation? : r/GaussianSplatting - Reddit, accessed July 19, 2025, https://www.reddit.com/r/GaussianSplatting/comments/1iwvgbh/gsplat_vram_usage_and_optimisation/
  82. Generative AI Digital Twins with 4D Gaussian Splats Training Data - Francesca Tabor, accessed July 19, 2025, https://www.francescatabor.com/articles/2024/5/8/pkg69fh3t5g8dvd8jqvo3n13cex8qy
  83. Realtime Gaussian Splatting : r/GaussianSplatting - Reddit, accessed July 19, 2025, https://www.reddit.com/r/GaussianSplatting/comments/1iyz4si/realtime_gaussian_splatting/
  84. RTG-SLAM: Real-time 3D Reconstruction at Scale Using Gaussian Splatting - gapszju, accessed July 19, 2025, https://gapszju.github.io/RTG-SLAM/static/pdfs/RTG-SLAM_arxiv.pdf
  85. How I Built This 3D World in 11 Seconds - YouTube, accessed July 19, 2025, https://www.youtube.com/watch?v=i7fteOuIENE
  86. DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes, accessed July 19, 2025, https://agents4ad.github.io/assets/cvpr2024/papers/35.pdf
  87. HDRSplat: Gaussian Splatting for High Dynamic Range 3D Scene Reconstruction from Raw Images - BMVA Archive, accessed July 19, 2025, https://bmva-archive.org.uk/bmvc/2024/papers/Paper_22/paper.pdf