컴퓨터 그래픽스 분야는 기하학적 근사에서 물리적 시뮬레이션으로 진화하는 패러다임의 전환을 겪어왔다. 이 장에서는 패스 트레이싱을 정의하는 근본적인 물리 및 수학적 원리를 파헤치고, 실시간 구현이 왜 기념비적인 도전 과제인지에 대한 이론적 배경을 제시한다.
컴퓨터 그래픽스 렌더링 기술의 발전은 사실성과 실시간성 사이의 끊임없는 줄다리기였다. 초기 기술인 래스터라이제이션은 속도를 위해 물리적 정확성을 타협했으며, 이후 등장한 레이 트레이싱은 정확성을 위해 속도를 희생했다. 패스 트레이싱은 이 두 가치의 궁극적인 통합을 지향하는 정점 기술이라 할 수 있다.
래스터라이제이션(Rasterization)은 3차원 공간의 기하학적 모델(주로 삼각형으로 구성된 메시)을 2차원 화면 평면에 투영하는 기술이다.1 이는 처음부터 GPU의 핵심 기능이었으며, 최신 NVIDIA GPU는 초당 1,000억 개 이상의 픽셀을 래스터화할 수 있는 경이로운 속도를 자랑한다.2 이러한 압도적인 속도 덕분에 래스터라이제이션은 비디오 게임과 같은 실시간 인터랙티브 그래픽스 분야의 지배적인 패러다임으로 자리 잡았다.
하지만 래스터라이제이션의 본질은 물리적 시뮬레이션이 아닌 기하학적 투영에 있다. 빛의 반사, 굴절, 그림자, 간접 조명(Global Illumination, GI)과 같은 복잡한 광학 현상을 직접 계산하지 않는다. 대신, 스크린 공간 반사(Screen Space Reflection, SSR), 앰비언트 오클루전(Ambient Occlusion), 라이트맵 베이킹(Lightmap Baking)과 같은 다양한 기법을 통해 이러한 효과를 ‘모방’하거나 ‘근사’한다.1 이는 빠르지만 근본적인 한계를 가진다. 예를 들어, SSR은 화면에 보이지 않는 물체는 반사시킬 수 없으며, 미리 계산된 라이트맵은 동적인 조명 변화에 대응할 수 없다.
레이 트레이싱(Ray Tracing)은 래스터라이제이션과는 근본적으로 다른 접근 방식을 취한다. 기하학을 화면에 투영하는 대신, 가상의 카메라(시점)에서부터 빛의 경로를 역으로 추적하여 각 픽셀의 색상을 결정한다.2 이 아이디어는 1979년 터너 휘티드(Turner Whitted)의 논문을 통해 컴퓨터 그래픽스 분야에 본격적으로 도입되었다.2
카메라에서 출발한 광선이 물체 표면에 부딪히면, 그 지점에서 광원을 향한 또 다른 광선(그림자 광선)을 쏘아 그림자 여부를 판단하고, 반사나 굴절 방향으로 새로운 광선을 쏘아 재귀적으로 색상을 계산한다. 이 방식은 물리적으로 정확한 거울 반사, 투명한 물체의 굴절, 그리고 날카로운 그림자(hard shadow)를 자연스럽게 생성할 수 있다. 그러나 이 과정은 엄청난 계산량을 요구하여 수십 년간 영화나 건축 시각화 같은 오프라인 렌더링 분야에서만 제한적으로 사용되었다.1 단일 이미지를 렌더링하는 데 수 시간에서 수일이 소요되는 것이 일반적이었다.
패스 트레이싱(Path Tracing)은 레이 트레이싱의 가장 진보된 형태로, 종종 ‘풀 레이 트레이싱(Full Ray Tracing)’이라고도 불린다.5 휘티드 스타일의 레이 트레이싱이 반사나 굴절 같은 특정 현상을 위해 제한된 수의 광선(주로 1~2회 반사)을 추적하는 반면, 패스 트레이싱은 빛이 광원에서 출발하여 여러 표면에서 수없이 반사되고 산란하다가 최종적으로 카메라에 도달하는 전체 ‘경로(path)’를 시뮬레이션한다.6
이러한 다중 반사(multi-bounce) 시뮬레이션을 통해 패스 트레이싱은 기존 기술로는 근사만 가능했던 전역 조명(Global Illumination)을 완벽하게 구현한다. 전역 조명은 직접광뿐만 아니라 다른 물체에 반사되어 들어오는 간접광까지 모두 고려하는 개념으로, 부드러운 그림자(soft shadow), 색 번짐(color bleeding, 주변 사물의 색이 반사되어 묻어나는 현상), 코스틱스(caustics, 빛이 굴절되거나 반사되어 생기는 밝은 무늬) 등 현실 세계의 거의 모든 미묘한 빛의 상호작용을 포괄한다.6 이처럼 패스 트레이싱은 빛의 물리적 현상을 하나의 통합된 알고리즘으로 풀어내는 가장 정확하고 포괄적인 렌더링 기법이다.
패스 트레이싱의 이론적 심장부에는 ‘렌더링 방정식(The Rendering Equation)’이 있다. 이 방정식은 컴퓨터 그래픽스를 물리학의 영역으로 끌어올린 기념비적인 개념으로, 씬(scene) 내부의 모든 빛의 흐름을 수학적으로 완벽하게 기술한다.
1986년, 캘리포니아 공과대학교의 짐 카지야(Jim Kajiya) 교수는 “The Rendering Equation”이라는 제목의 논문을 발표했다.2 이 논문은 단순히 빛의 물리적 거동을 설명하는 우아한 방정식을 제시한 것을 넘어, 이를 풀기 위한 실용적인 알고리즘, 즉 패스 트레이싱을 함께 제안했다는 점에서 혁명적이었다.2 이 방정식은 에너지 보존 법칙에 기반하며, 씬의 한 지점에서 방출되는 빛의 양은 그 지점 자체에서 나오는 빛과 주변 모든 방향에서 들어와 반사되는 빛의 총합과 같다는 원리를 담고 있다.11
렌더링 방정식은 다음과 같은 형태로 표현된다 11: \(L_o(x, \omega_o) = L_e(x, \omega_o) + \int_{\Omega} f_r(x, \omega_i, \omega_o) L_i(x, \omega_i) (\omega_i \cdot n) d\omega_i\) 이 방정식의 각 항은 다음과 같은 물리적 의미를 가진다 12:
렌더링 방정식은 해석적으로, 즉 깔끔한 닫힌 형태(closed form)로 풀 수 없다.14 가장 큰 이유는 방정식의 재귀적(recursive) 특성 때문이다.14 어떤 지점 $x$에서 나가는 빛 $L_o$를 계산하기 위해서는 그 지점으로 들어오는 모든 빛 $L_i$를 알아야 한다. 그런데 그 들어오는 빛 $L_i$는 사실 다른 지점에서 출발한 나가는 빛 $L_o$이다. 즉, 한 지점의 값을 알기 위해 다른 모든 지점의 값을 알아야 하고, 그 다른 지점들의 값 역시 또 다른 지점들의 값에 의존하는 무한한 상호 의존 관계가 형성된다. 이 때문에 렌더링 방정식은 ‘풀기’ 위한 대상이라기보다는 ‘근사’하기 위한 목표가 된다.
해석적으로 풀 수 없는 렌더링 방정식의 적분을 근사하기 위해 카지야가 제안한 방법이 바로 몬테카를로 적분(Monte Carlo Integration)이다.11 이는 무작위 샘플링을 통해 복잡한 적분 값을 통계적으로 추정하는 강력한 수치 해석 기법이다.
패스 트레이싱 알고리즘은 몬테카를로 방법을 렌더링 방정식에 적용한 것이다. 그 과정은 다음과 같다 8:
이 무작위 경로 추적과 평균화 과정이 바로 렌더링 방정식의 적분을 통계적으로 근사하는 것이다. 충분히 많은 경로를 추적하면 그 평균값은 실제 물리 법칙에 따른 정확한 값으로 수렴하게 된다.
패스 트레이싱은 ‘편향되지 않은(unbiased)’ 렌더링 기법으로 분류된다.6 이는 알고리즘 자체가 시스템적인 오차를 내포하지 않음을 의미한다. 샘플 수가 무한대에 가까워질수록 결과물은 렌더링 방정식의 수학적으로 완벽한 해답에 수렴한다. 이는 속도를 위해 물리적 정확성을 희생하고 체계적인 오류를 도입하는 ‘편향된(biased)’ 렌더링 기법(예: 포톤 매핑의 일부 변형)과 대조되는 가장 큰 특징이다. 패스 트레이싱의 결과물은 근사치일 뿐이지만, 그 근사의 방향성이 한쪽으로 치우치지 않아 통계적으로 올바르다고 할 수 있다.
몬테카를로 방법에 기반한 패스 트레이싱은 이론적으로 완벽하지만, 실용적인 측면에서는 ‘노이즈(noise)’라는 치명적인 약점을 안고 있다.
노이즈는 몬테카를로 샘플링의 본질적인 특성에서 기인한다.8 픽셀당 샘플 수가 적을 경우, 무작위로 생성된 광선 경로 중 일부는 우연히 밝은 광원을 찾아내고 다른 일부는 아무것도 찾지 못한 채 어둠 속에서 끝나버릴 수 있다. 이러한 샘플 간의 큰 편차(variance)가 이미지 상에서는 거칠고 자글자글한 점들, 즉 노이즈로 나타난다.13 특히 간접 조명이 지배적인 어두운 실내나 복잡한 코스틱스 현상이 나타나는 장면에서 노이즈는 더욱 심해진다.8
이 노이즈를 줄이고 깨끗한 이미지로 ‘수렴(converge)’시키는 과정은 매우 더디다. 몬테카를로 적분의 오차는 샘플 수($n$)의 제곱근에 반비례($O(1/\sqrt{n})$)하여 감소한다.17 이는 노이즈를 절반으로 줄이기 위해서는 샘플 수를 네 배로 늘려야 함을 의미한다.17 영화 품질의 단일 프레임을 얻기 위해 수천, 수만 개의 픽셀당 샘플(samples per pixel, spp)이 필요한 이유가 여기에 있다.8 100 spp 정도로도 이미지의 형태는 알아볼 수 있지만, 허용 가능한 수준의 노이즈 제거를 위해서는 통상 5000 spp 이상이 요구되기도 한다.8 이러한 막대한 계산량은 패스 트레이싱을 실시간으로 구현하는 데 있어 가장 근본적인 장벽이 된다.
래스터라이제이션에서 패스 트레이싱으로 이어지는 렌더링 기술의 발전사는 단순히 기술적 진보를 넘어 컴퓨터 그래픽스의 근본적인 철학이 어떻게 변화했는지를 보여준다. 이는 ‘예술적 근사(artistic approximation)’의 시대에서 ‘물리적 시뮬레이션(physical simulation)’의 시대로의 전환으로 요약할 수 있다.
초기 래스터라이제이션 파이프라인은 본질적으로 영리한 ‘속임수(hack)’와 근사의 집합체였다.1 아티스트와 개발자들은 섀도우 맵, 베이크된 라이트맵, 반사 프로브와 같은 도구를 사용하여 사실적인 조명의 ‘환상’을 만들어냈다. 이 과정의 목표는 물리적으로 정확한 것이 아니라 ‘그럴듯하게 보이는 것’이었다. 작업의 중심에는 “이 그림자를 어떻게 가짜로 만들까?”라는 질문이 있었다.
휘티드 스타일의 레이 트레이싱은 시뮬레이션을 향한 첫걸음이었지만, 완벽한 반사와 날카로운 그림자를 위한 한두 번의 반사에 국한되는 등 제한적이었다.2 이는 빛 현상의 극히 일부만을 시뮬레이션한 것이다.
반면, 짐 카지야의 렌더링 방정식을 수치적으로 푸는 패스 트레이싱은 물리적 시뮬레이션을 전면적으로 수용한다.2 이제 목표는 효과를 위조하는 것이 아니라, 광원과 재질의 물리적 속성(BRDF 등을 통해)을 정확하게 정의하고 단일 통합 알고리즘이 그 결과를 계산하도록 하는 것이다.8 이러한 변화는 테크니컬 아티스트의 역할을 근본적으로 바꾼다. 작업 흐름은 지루하고 수동적인 프로브 배치나 라이트 베이킹에서 벗어나, 물리적으로 정확한 재질 속성을 정의하는 보다 직관적인 과정으로 이동한다.3 이제 도전 과제는 “이 표면의 진정한 알베도(albedo)와 거칠기(roughness)는 무엇인가?”가 된다. 이는 개발의 일부 측면을 단순화하지만, 동시에 재료 과학과 빛의 물리학에 대한 더 깊은 이해를 요구하게 된다.18 결국, 패스 트레이싱의 등장은 컴퓨터 그래픽스를 ‘어떻게 보이게 할 것인가’의 문제에서 ‘세상이 어떻게 작동하는가’의 문제로 격상시킨 철학적 전환점이라 할 수 있다.
| 특성 | 래스터라이제이션 (Rasterization) | 하이브리드 레이 트레이싱 (Hybrid Ray Tracing) | 풀 패스 트레이싱 (Full Path Tracing) |
|---|---|---|---|
| 핵심 원리 | 3D 지오메트리를 2D 화면에 투영 1 | 래스터라이제이션 기반에 레이 트레이싱 효과를 선택적으로 결합 1 | 빛의 전체 경로를 물리적으로 시뮬레이션하여 렌더링 방정식 근사 2 |
| 그림자 품질 | 섀도우 맵 (부정확, 아티팩트 발생 가능) | 레이 트레이싱된 하드/소프트 섀도우 (일부 광원에 한정) 1 | 물리적으로 정확한 반그림자(penumbra) 및 접촉 그림자 5 |
| 반사 품질 | 스크린 공간 반사(SSR), 반사 프로브 (제한적, 화면 밖 반사 불가) 1 | 레이 트레이싱된 반사 (주로 1-2회 반사) 1 | 다중 반사를 통한 상호 반사(inter-reflection)까지 완벽 구현 6 |
| 전역 조명 (GI) | 베이크된 라이트맵, SSAO 등 근사 기법 사용 (동적 한계) 7 | 제한적인 실시간 GI (RTGI) 가능 | 물리적으로 정확하고 제한 없는 동적 GI 7 |
| 성능 비용 | 매우 낮음 (실시간 표준) 2 | 높음 5 | 극도로 높음 (실시간 구현이 가장 큰 난제) 5 |
| 개발 워크플로우 | 수동적, 근사 기법 위주 (라이트 베이킹, 프로브 배치) 3 | 래스터와 레이 트레이싱 기법의 혼합 및 균형 조절 1 | 물리 기반 재질 정의 중심의 통합된 워크플로우 9 |
| 주요 사용 사례 | 대부분의 현세대 게임 21 | 고사양 RT 지원 게임 (Alan Wake 2 등) 22 | 오프라인 CGI, 영화, 미래의 게임 (Cyberpunk 2077 RT Overdrive) 2 |
이 장에서는 패스 트레이싱의 ‘실시간’ 구현이 어떻게 가능해졌는지를 다룬다. 1장에서 확인된 막대한 연산 비용이라는 장벽을 극복하기 위해 발명된 특수 하드웨어의 역할과, 주요 GPU 제조사 및 콘솔 플랫폼에 적용된 아키텍처의 혁신을 심층적으로 분석한다.
1장에서 논의했듯이, 패스 트레이싱의 실시간화는 본질적으로 연산량과의 싸움이다.5 기존 GPU의 스트리밍 멀티프로세서(Streaming Multiprocessor, SM)나 컴퓨트 유닛(Compute Unit, CU)과 같은 범용 연산 코어는 다양한 종류의 그래픽 및 연산 작업을 처리하도록 설계되었다. 하지만 패스 트레이싱의 핵심 연산, 즉 복잡한 3D 씬 구조를 탐색하며 광선과 수많은 삼각형의 교차 여부를 반복적으로 테스트하는 작업에는 최적화되어 있지 않다.24 이러한 특정하고 반복적인 연산을 범용 코어에서 처리하는 것은 마치 범용 CPU로 고도로 병렬화된 그래픽 작업을 처리하려는 것과 같이 비효율적이며, 이는 심각한 성능 병목 현상을 유발한다.24
실시간 레이 트레이싱의 대중화를 이끈 결정적 돌파구는 NVIDIA의 RTX 기술과 이를 뒷받침하는 하드웨어 아키텍처에서 비롯되었다.
2018년에 발표된 튜링(Turing) 아키텍처는 세계 최초로 실시간 레이 트레이싱을 위한 전용 하드웨어를 탑재한 GPU 아키텍처이다.26 이는 단순한 성능 향상을 넘어, GPU의 구조 자체를 레이 트레이싱에 맞게 재설계한 패러다임의 전환이었다.
RT 코어(RT Core)는 튜링 아키텍처의 핵심 혁신으로, 레이 트레이싱에서 가장 계산 비용이 높은 두 가지 작업을 전담하여 가속하는 특수 프로세서이다.24
이 두 가지 핵심 작업을 범용 SM에서 전용 RT 코어로 오프로드함으로써, 튜링 아키텍처는 이전 세대인 파스칼(Pascal) 아키텍처 대비 최대 25배 빠른 실시간 레이 트레이싱 성능을 달성했다.26 이는 소프트웨어 에뮬레이션 방식으로는 결코 도달할 수 없는 비약적인 발전이었다.
튜링 아키텍처는 RT 코어와 함께 텐서 코어(Tensor Core)라는 또 다른 특수 프로세서를 도입했다.21 텐서 코어는 딥러닝 및 인공지능(AI) 추론에 사용되는 행렬 연산을 가속하기 위해 특별히 설계된 하드웨어이다.
텐서 코어는 광선을 직접 추적하는 데 관여하지는 않지만, 실시간 패스 트레이싱 생태계에서 RT 코어만큼이나 중요한 역할을 한다. 제한된 시간 내에 소수의 광선만 추적할 경우 필연적으로 발생하는 노이즈를 제거(Denoising)하고, 낮은 해상도로 렌더링한 후 고해상도로 복원(Upscaling)하는 데 AI 기술이 필수적이기 때문이다. 텐서 코어는 바로 이 AI 기반 노이즈 제거와 업스케일링 기술인 DLSS(Deep Learning Super Sampling)를 가속하여, RT 코어가 만들어낸 ‘가능성’을 ‘실용성’으로 전환시키는 핵심 열쇠가 되었다.24 이 기술에 대해서는 3장에서 자세히 다룬다.
AMD 역시 RDNA 아키텍처를 통해 하드웨어 레이 트레이싱 가속 기능을 도입하며 경쟁에 뛰어들었다.
AMD는 RDNA 2 아키텍처부터 레이 트레이싱 가속을 위한 하드웨어를 도입했다.33 NVIDIA가 별도의 ‘코어’ 형태를 강조한 것과 달리, AMD는 각 컴퓨트 유닛(Compute Unit, CU) 내에 ‘레이 액셀러레이터(Ray Accelerator, RA)’라는 기능 블록을 통합하는 방식을 채택했다.34
이 레이 액셀러레이터는 NVIDIA의 RT 코어와 근본적으로 동일한 임무를 수행한다. 즉, BVH 순회의 기본이 되는 광선-박스(ray-box) 및 광선-삼각형(ray-triangle) 교차 테스트 연산을 하드웨어적으로 가속한다.34 RDNA 2를 시작으로, RDNA 3와 차세대 RDNA 4 아키텍처로 진화하면서 레이 액셀러레이터 역시 2세대, 3세대로 발전하며 단위 CU당 처리량과 효율성이 지속적으로 향상되었다.34 또한 NVIDIA와 마찬가지로, AMD GPU 역시 AI 연산을 가속하기 위한 AI 액셀러레이터를 탑재하여 자체 업스케일링 기술인 FSR(FidelityFX Super Resolution)을 지원한다.34
현세대 콘솔 게임기인 PlayStation 5와 Xbox Series X는 모두 AMD의 커스텀 RDNA 2 기반 GPU를 탑재하고 있다. 이는 두 플랫폼 모두 하드웨어 기반 레이 액셀러레이터를 내장하고 있음을 의미하며, 이로써 하드웨어 가속 레이 트레이싱이 이번 세대 콘솔의 표준 기술로 자리매김하게 되었다.38
특히 주목할 만한 것은 세대 중반 업그레이드 모델인 PlayStation 5 Pro이다. PS5 Pro의 GPU는 기존 RDNA 2 아키텍처를 기반으로 하되, RDNA 3의 일부 기능과 RDNA 4 아키텍처의 향상된 레이 트레이싱 코어를 통합하여 상당한 성능 향상을 이루었다.38 공식 발표 및 관련 특허에 따르면, PS5 Pro는 단순한 교차 테스트 가속을 넘어 BVH 순회를 위한 전용 하드웨어와, 광선 다이버전스를 관리하기 위한 일종의 하드웨어 스케줄링(Coherency Sorting) 기능까지 갖춘 것으로 보인다.41 이는 NVIDIA의 SER(Shader Execution Reordering)과 유사한 개념으로, 기본 RDNA 2 아키텍처의 능력을 뛰어넘는 것이다. 이러한 하드웨어 개선 덕분에, PS5 Pro에서는 기존에는 불가능했던 60fps에서의 풀 레이 트레이싱 반사 및 전역 조명과 같은 고품질 효과 구현이 가능해졌다.40
실시간 레이 트레이싱 하드웨어의 발전은 단일 기술의 발명이라기보다는, 하드웨어 아키텍처와 소프트웨어 알고리즘이 서로 영향을 주고받으며 함께 진화한 공진화(co-evolution)의 결과물이다. 하드웨어는 특정 알고리즘의 병목 현상을 해결하기 위해 설계되었고, 그렇게 탄생한 하드웨어는 다시금 그 하드웨어를 최대한 활용할 수 있는 새로운 알고리즘의 개발을 촉진했다.
이 과정은 다음과 같이 분석할 수 있다. 첫째, 수십 년 전부터 레이 트레이싱의 가장 큰 연산 비용은 BVH 순회와 교차 테스트에 있다는 알고리즘적 문제가 명확히 인지되어 왔다.24 둘째, NVIDIA의 튜링 아키텍처는 단순히 범용 연산 성능을 높이는 대신, 이 두 가지 문제만을 전담하여 해결하는 고도로 특화된 고정 기능 하드웨어, 즉 RT 코어를 만들어냈다.26 이는 흔히 사용되는 비싼 연산을 전용 실리콘으로 오프로드하여 효율성을 극대화하는 전형적인 하드웨어 설계 원칙의 적용이다. RT 코어의 개발명이었던 ‘트리 순회 유닛(TTU)’은 이러한 목표 지향성을 명확히 보여준다.28
셋째, RT 코어의 등장은 새로운 성능 지형을 만들었다. 이제 병목은 광선 순회가 아니라, 복잡한 재질을 처리하기 위한 셰이더 실행이나 제한된 광선 수로 인해 발생하는 노이즈 처리와 같은 다른 파이프라인 단계로 이동했다. 넷째, 이 새로운 병목 현상은 AI 기반 해결책의 우선순위를 높이는 직접적인 계기가 되었다. 튜링 아키텍처에 RT 코어와 함께 텐서 코어가 탑재된 것은 우연이 아니다.26 이는 광선 추적 문제를 해결하면 필연적으로 노이즈 제거와 성능 복구라는 새로운 문제가 발생하며, 이 문제를 해결하는 데 AI가 가장 적합하다는 선견지명에 기반한 설계였다.
결론적으로, ‘실시간 패스 트레이싱’은 단순히 더 빠른 칩의 결과물이 아니다. 이는 GPU 아키텍처(SM, RT 코어, 텐서 코어)가 그것이 실행할 소프트웨어 스택(DXR API, DLSS, 노이즈 제거 라이브러리)과 긴밀하게 협력하여 구축된 총체적인 시스템 설계의 산물이다. 하드웨어는 알고리즘을 위해 맞춤 제작되었고, 알고리즘은 다시 하드웨어의 성능과 한계에 맞춰 설계되었다. 이 둘의 상호작용이 바로 실시간 혁명을 가능하게 한 원동력이다.
이 장에서는 실시간 패스 트레이싱을 현실로 만드는 데 필수적인 소프트웨어와 인공지능(AI) 계층을 탐구한다. 하드웨어 가속이 ‘가능성’의 문을 열었다면, 지금부터 설명할 노이즈 제거, 업스케일링, 그리고 이들을 뒷받침하는 하드웨어의 삼위일체는 실시간 패스 트레이싱을 ‘실용적인 현실’로 만드는 핵심 요소이다.
실시간 환경에서는 프레임당 극히 제한된 수의 광선(예: 픽셀당 1~4개)만을 추적할 수 있다. 이로 인해 패스 트레이서의 원본 출력물은 시각적으로 받아들이기 어려운 수준의 극심한 노이즈를 포함하게 된다.13 따라서 노이즈 제거(Denoising)는 선택적인 화질 향상 기능이 아니라, 실시간 패스 트레이싱을 위한 필수불가결한 과정이다.6
전통적인 노이즈 제거 기법, 예를 들어 공간적 필터링(Spatial Filtering)은 주변 픽셀의 색상 정보를 이용해 현재 픽셀을 부드럽게 만드는 방식이다. 이는 본질적으로 ‘블러(blur)’ 효과와 유사하여, 노이즈를 제거하는 과정에서 이미지의 미세한 디테일과 질감까지 함께 뭉개버리는 단점이 있다.42
반면, AI 기반 노이즈 제거기는 수백만 장의 ‘노이즈가 낀 이미지’와 ‘깨끗한 원본 이미지’ 쌍으로 구성된 데이터셋을 통해 훈련된다.44 이 과정을 통해 AI 모델은 이미지의 어떤 패턴이 제거해야 할 ‘노이즈’이고, 어떤 패턴이 보존해야 할 ‘실제 지오메트리 또는 텍스처 디테일’인지를 학습한다.42 그 결과, AI 노이즈 제거기는 전통적인 방식보다 훨씬 뛰어난 품질로 노이즈를 제거하면서도 원본 이미지의 선명도를 최대한 유지할 수 있다.
NVIDIA의 DLSS 3.5에 도입된 광선 재구성(Ray Reconstruction, RR)은 차세대 AI 노이즈 제거 기술의 대표적인 예이다. 기존에는 반사, 그림자, 전역 조명 등 각기 다른 광선 효과를 위해 여러 개의 수작업으로 튜닝된(hand-tuned) 노이즈 제거기를 파이프라인에 연달아 사용해야 했다. 광선 재구성은 이 복잡한 파이프라인을 단 하나의 통합된 AI 모델로 대체한다.47
이 AI 네트워크는 이전 DLSS 버전보다 5배 이상 많은 데이터로 훈련되었으며, 특히 전역 조명이나 앰비언트 오클루전과 같은 특정 레이 트레이싱 효과의 패턴을 인식하도록 학습되었다.49 이를 통해 AI는 단순히 픽셀을 블렌딩하는 것을 넘어, 씬의 조명 구조를 이해하고 더욱 지능적으로 누락된 픽셀을 재구성한다. 또한 모션 벡터, 표면 법선(normal) 등 기존 노이즈 제거기가 활용하지 못했던 추가적인 엔진 데이터를 입력으로 사용하여 시간적 안정성(temporal stability)과 디테일 보존 능력을 크게 향상시켰다.49
AI 기반 노이즈 제거 기술은 뛰어나지만 완벽하지는 않으며, 특정 조건에서 시각적 아티팩트(artifact)를 유발할 수 있다.
패스 트레이싱의 막대한 연산 비용을 감당하기 위해, 현대 게임들은 장면을 목표 해상도보다 낮은 해상도(예: 1080p)로 렌더링한 다음, 지능적인 업스케일링(Upscaling) 알고리즘을 사용해 목표 해상도(예: 4K)의 고품질 최종 이미지를 재구성하는 전략을 사용한다.56 이는 성능과 화질 사이의 균형을 맞추는 핵심 기술이다.
슈퍼 레졸루션(SR)은 저해상도 이미지를 고해상도로 업스케일링하는 기술을 총칭한다.
프레임 생성(FG)은 NVIDIA가 DLSS 3에서 RTX 40 시리즈 GPU부터 도입한 혁신적인 기술이다.56
슈퍼 레졸루션이 프레임 ‘내부’의 픽셀을 채우는 기술이라면, 프레임 생성은 프레임과 프레임 ‘사이’에 완전히 새로운 프레임을 만들어 삽입하는 기술이다. 이 기술은 렌더링이 완료된 두 개의 연속된 프레임(A와 B)과 그 사이의 모션 벡터 및 광학 흐름(optical flow)을 분석하여, 전통적인 렌더링 파이프라인을 전혀 거치지 않고 AI가 중간 프레임(C)을 생성해낸다.47
이 방식은 특히 CPU 병목 현상이 발생하는 구간에서 표시되는 프레임 속도를 극적으로 향상시킬 수 있다. 다만, 렌더링된 프레임이 화면에 표시되기까지 한 단계가 더 추가되므로 입력 지연(input latency)이 증가하는 단점이 있으며, 이를 완화하기 위해 NVIDIA Reflex와 같은 저지연 기술이 함께 사용된다.56
지금까지 설명한 하드웨어 가속, AI 노이즈 제거, AI 업스케일링은 각각 독립적인 기술이 아니라, 실시간 패스 트레이싱이라는 하나의 목표를 위해 상호 의존적으로 작동하는 생태계를 구성한다. 이 세 가지 요소는 마치 세 개의 다리를 가진 의자와 같아서, 어느 하나라도 없으면 전체 시스템이 무너진다.
이들의 시너지 효과는 RTX 4090 GPU에서 구동되는 사이버펑크 2077과 같은 게임의 렌더링 과정을 통해 명확히 이해할 수 있다 23:
이 과정에서 어느 한 단계라도 빠지면 실시간 패스 트레이싱 경험은 불가능해진다. 하드웨어 가속이 없으면 애초에 원본 이미지를 실시간으로 생성할 수 없어 한 자릿수 프레임에 머물 것이고, 노이즈 제거가 없으면 알아볼 수 없는 노이즈 덩어리만 보게 될 것이며, 업스케일링이 없으면 감당할 수 없는 성능 저하로 인해 게임 플레이가 불가능할 것이다.5
DLSS와 같은 AI 기반 기술의 등장은 ‘렌더링(rendering)’ 단계와 ‘후처리(post-processing)’ 단계 사이의 전통적인 경계를 허물고 있다. 과거 렌더링의 핵심이었던 최종 픽셀 색상 결정과 앨리어싱(aliasing) 제거와 같은 기능들이 이제는 고도로 발전된 후처리 단계에서 신경망에 의해 처리되고 있다.
전통적인 파이프라인에서는 GPU가 목표 해상도의 완전한 프레임을 ‘렌더링’하고, 그 후에 블룸(bloom)이나 색 보정 같은 후처리 효과가 적용되었다. 그러나 DLSS 슈퍼 레졸루션을 사용하면, GPU는 더 낮은 해상도의 ‘불완전한’ 프레임만을 렌더링한다. 그 후 DLSS 신경망이 이 불완전한 데이터를 입력받아 최종적인 고해상도 프레임을 ‘재구성’함으로써 렌더링 과정을 사실상 마무리한다.31
DLSS 3.5의 광선 재구성은 한 걸음 더 나아가, 단순히 업스케일링을 넘어 레이 트레이싱된 이미지를 일관성 있게 만드는 데 필수적인 핵심 노이즈 제거 단계를 대체한다.47 이는 AI 모델이 조명 및 반사 파이프라인 자체의 일부가 되었음을 의미한다. DLSS 3의 프레임 생성은 가장 극단적인 예시로, 게임의 렌더러나 엔진 로직이 전혀 관여하지 않은 완전히 새로운 프레임을 생성한다.47
이는 플레이어가 최종적으로 보는 이미지가 전통적으로 렌더링된 픽셀과 AI에 의해 추론되거나 생성된 픽셀의 합성물이라는 것을 의미한다. 이러한 변화는 성능 분석(프레임의 절반이 생성된 것이라면 ‘FPS’가 여전히 올바른 척도인가?), 화질 분석(렌더링된 이미지와 추론된 이미지의 비교), 그리고 개발 방식(개발자는 이제 렌더링 알고리즘뿐만 아니라 신경망의 입력값을 튜닝해야 함)에 심오한 영향을 미친다.
| 특성 | NVIDIA DLSS | AMD FSR | Intel XeSS |
|---|---|---|---|
| 기반 원리 | AI/딥러닝 (시간적 재구성) 31 | 진보된 공간/시간적 알고리즘 37 | AI/딥러닝 (시간적 재구성) 59 |
| 하드웨어 요구사항 | NVIDIA RTX GPU (텐서 코어 필수) 31 | GPU 제조사 무관 (오픈) 37 | Intel Arc GPU (XMX 엔진)에서 최적, 타사 GPU (DP4a 명령어)에서도 호환 59 |
| 주요 기능 | 슈퍼 레졸루션, 프레임 생성, 광선 재구성, DLAA 47 | 슈퍼 레졸루션, 프레임 생성 37 | 슈퍼 레졸루션, 프레임 생성 (개발 중), 네이티브 AA 60 |
| 개방성 | 독점 SDK (엔진 통합 필요) 31 | 오픈 소스 (GPUOpen) 37 | 오픈 소스 60 |
| 일반적인 품질/성능 | 일반적으로 가장 높은 이미지 품질과 성능 향상 제공 5 | 가장 넓은 하드웨어 호환성, 품질은 버전에 따라 상이 57 | 전용 하드웨어에서 우수한 품질, 타사 하드웨어에서도 경쟁력 있음 59 |
이 장에서는 이론을 넘어 실제 적용 사례를 살펴본다. 업계를 선도하는 게임 엔진이 채택한 아키텍처적 선택과, 최첨단 기술을 정의하고 있는 선구적인 게임들을 분석하여 실시간 패스 트레이싱이 현실 세계에서 어떻게 구현되고 있는지를 탐구한다.
에픽게임즈의 언리얼 엔진 5(UE5)는 실시간 패스 트레이싱 시대를 위한 이중적 접근 방식을 제시한다. 이는 성능과 품질이라는 두 마리 토끼를 모두 잡기 위한 전략적 선택으로, ‘루멘(Lumen)’과 ‘패스 트레이서(Path Tracer)’라는 두 가지 독립적인 시스템으로 구현된다.
루멘은 UE5의 기본 동적 전역 조명 및 반사 시스템으로, 차세대 콘솔과 고사양 PC를 위해 설계된 실시간 솔루션이다.64 루멘의 가장 큰 특징은 성능을 위해 다계층적 접근 방식을 사용하는 ‘하이브리드’ 시스템이라는 점이다.
루멘은 광선을 추적할 때, 가장 먼저 빠르고 저렴한 스크린 공간 추적(Screen Traces)을 시도한다. 여기서 정보를 얻지 못하면, 그 다음으로 씬의 지오메트리를 단순화한 표현인 부호화 거리 필드(Signed Distance Fields, SDF)를 활용한 소프트웨어 레이 트레이싱을 수행한다.64 마지막으로, 프로젝트 설정에서 하드웨어 레이 트레이싱이 활성화되어 있고 지원되는 하드웨어라면, 가장 정확한 결과를 위해 하드웨어 가속 레이 트레이싱을 활용할 수 있다.67
이처럼 루멘은 실시간 성능을 위해 물리적 정확성을 일부 타협한 ‘근사’ 기법이다. 시각적으로 매우 뛰어나지만, 거울 속 거울과 같은 다중 반사 표현이 부정확하거나, 얇은 벽에서 빛이 새는 현상, 특정 지오메트리 유형에서의 아티팩트 등 알려진 한계점들이 존재한다.64
UE5에 내장된 패스 트레이서는 루멘과는 별개의 렌더링 모드이다. 이는 점진적(progressive)으로 샘플을 누적하는 하드웨어 가속 렌더러로, 물리적으로 정확하며 어떠한 타협도 없는 ‘절대적 기준(ground truth)’을 제공하도록 설계되었다.70
패스 트레이서의 주된 목적은 게임 플레이가 아닌, 영화급 시네마틱, 건축 시각화, 제품 디자인 등 오프라인 렌더링에 준하는 최고 품질의 결과물을 얻는 것이다.70 또한, 아티스트가 루멘으로 작업한 조명 결과가 물리적으로 얼마나 정확한지를 검증하기 위한 비교 기준으로도 활용된다.69 루멘에 비해 훨씬 느리기 때문에 대부분의 시나리오에서 상호작용이 가능한 실시간 게임 플레이용으로는 적합하지 않다.69
이러한 이중 시스템은 아티스트와 개발자에게 강력한 워크플로우를 제공한다. 아티스트는 루멘을 사용하여 실시간으로 조명을 배치하고 즉각적인 피드백을 받으며 창의적인 작업을 진행할 수 있다.73 그런 다음, 단 한 번의 클릭으로 패스 트레이서 모드로 전환하여 자신이 만든 씬이 물리적으로 정확한 조명 아래에서 어떻게 보이는지 확인할 수 있다. 이는 과거 수 시간씩 걸리던 라이트맵 베이킹 과정을 거치지 않고도 최종 품질을 검증할 수 있게 해주는 혁신적인 방식이다.9
또한, 언리얼 엔진은 머티리얼 에디터에 PathTracingQualitySwitch와 같은 노드를 제공한다. 이를 통해 아티스트는 실시간 렌더링(루멘)을 위한 최적화된 저비용 머티리얼과, 패스 트레이서에서만 사용될 고품질의 복잡한 머티리얼을 하나의 애셋 안에서 관리할 수 있어, 애셋을 이중으로 제작하는 비효율을 줄일 수 있다.75
CD PROJEKT RED의 사이버펑크 2077에 추가된 ‘RT: 오버드라이브 모드’는 복잡한 오픈월드 AAA 게임에 거의 완전한 형태의 통합 패스 트레이싱 파이프라인을 적용한 최초의 시도라는 점에서 기념비적이다.9
오버드라이브 모드는 기존의 복잡한 하이브리드 시스템, 즉 래스터라이제이션 기반 위에 반사, 그림자, GI 등 개별적인 레이 트레이싱 효과를 덧씌우는 방식을 버리고, 거의 모든 조명과 그림자 계산을 단일 패스 트레이싱 알고리즘으로 통합했다.9 이는 개발 단순화라는 패스 트레이싱의 이상에 가장 가까운 ‘순수주의적’ 접근 방식이다.
그 결과는 시각적 사실성의 극적인 변혁으로 나타났다. 빛이 어두운 골목 안쪽까지 사실적으로 여러 번 반사되어 들어오고(전역 조명), 네온사인부터 자동차 헤드라이트까지 모든 광원이 물리적으로 정확한 부드러운 그림자를 드리우며, 이전에는 평면적으로 보였던 공간들이 놀라운 깊이감과 분위기를 갖게 되었다.61
하지만 이처럼 타협 없는 시각적 품질은 엄청난 성능 비용을 수반한다. 오버드라이브 모드는 현재 최상위 모델인 RTX 40 시리즈 GPU에서만 플레이가 가능한 수준으로 여겨지며, 그마저도 DLSS 3.5의 모든 기능(슈퍼 레졸루션, 광선 재구성, 프레임 생성)에 전적으로 의존해야만 수용 가능한 프레임 속도를 얻을 수 있다.23 사실상 RTX 4090이 권장 하드웨어로 지목될 정도이다.23
레미디 엔터테인먼트(Remedy Entertainment)의 앨런 웨이크 2는 사이버펑크 2077과는 다른, 보다 실용적인 접근 방식을 보여준다.22
앨런 웨이크 2는 하드웨어 레이 트레이싱을 사용하지 않는 기본 설정에서도 이미 메시 셰이더(mesh shader)와 매우 강력한 소프트웨어 기반 GI 시스템을 활용하는 등 기술적으로 매우 진보된 렌더러를 갖추고 있다.81
레미디는 기존의 검증된 렌더링 파이프라인을 완전히 대체하는 대신, 패스 트레이싱을 기존 Northlight 엔진에 ‘통합’하는 방식을 선택했다. 패스 트레이싱은 모든 광원의 직접 조명, 반사, 투명도와 같은 핵심적인 효과를 처리하는 데 사용되지만, 이는 기존의 소프트웨어 GI 솔루션과 함께 작동한다.22
이러한 하이브리드 접근 방식은 장단점을 가진다. 장점은 패스 트레이서가 처리해야 할 작업량이 줄어들어 잠재적으로 더 나은 성능과 안정성을 확보할 수 있다는 것이다. 단점은 최종 이미지가 ‘순수한’ 패스 트레이싱 결과물이 아니며, 기저에 있는 소프트웨어 GI 시스템의 시각적 아티팩트나 한계를 그대로 물려받을 수 있다는 점이다. 이로 인해 일부 장면에서는 사이버펑크 2077만큼의 극적인 시각적 변화가 느껴지지 않을 수도 있다.3 이는 기술 채택에 있어 이상주의적 접근과 현실적인 제작 중심의 실용주의적 접근 사이의 흥미로운 대조를 보여준다.
두 게임의 사례는 패스 트레이싱을 도입하는 두 가지 주요 동기가 어떻게 다른 결과로 이어지는지를 명확히 보여준다. 하나는 개발 파이프라인을 ‘단순화’하기 위한 도구로서의 역할이고, 다른 하나는 최종 시각적 품질을 ‘향상’시키기 위한 기능으로서의 역할이다.
개발자의 관점에서 패스 트레이싱의 궁극적인 매력은 ‘단순함’에 있다.9 단일 통합 조명 알고리즘은 래스터라이즈된 그림자, 베이크된 GI, 반사 프로브, SSAO 등 수십 가지의 이질적이고 편법적인 렌더링 기술들을 개발하고 유지하며 균형을 맞출 필요를 없애준다. 이것이 바로
사이버펑크 2077의 오버드라이브 모드가 추구하는 “모든 것에 패스 트레이싱을 사용하라”는 약속이다.9 이는 극단적인 단기 성능 비용을 감수하는 대신 장기적인 개발 프로세스의 단순화를 목표로 한다.
반면, 사용자에게 제공되는 제품의 관점에서 패스 트레이싱은 고사양 하드웨어를 위한 프리미엄 시각 기능이다. 이것이 바로 앨런 웨이크 2의 접근 방식이다.22 레미디는 이미 복잡하지만 아름답고 기능적인 조명 파이프라인을 보유하고 있었다.81 그들은 입증된 렌더링 파이프라인을 완전히 재설계하는 대신, 패스 트레이싱을 일종의 ‘터보 버튼’처럼 사용하여 고사양 하드웨어를 가진 사용자를 위해 특정 시각 요소(직접 조명, 반사)를 향상시켰다.
언리얼 엔진의 루멘/패스 트레이서 분리 구조는 이 두 가지 동기를 모두 해결한다.69 루멘은 아티스트에게 과거의 베이킹 워크플로우보다 훨씬 간단하면서도 고품질의 실시간 GI 솔루션을 제공한다. 동시에 패스 트레이서는 궁극적인 품질을 위한 절대적 기준점을 제공한다. 결국, 패스 트레이싱의 도입은 단일 차원의 결정이 아니다. 스튜디오가 완전한 교체를 택할지, 하이브리드 통합을 택할지는 그들의 주된 목표가 미래의 단순성을 위해 개발 파이프라인을 전면 개편하는 것인지, 아니면 기존 파이프라인에 프리미엄 시각 기능을 추가하는 것인지에 따라 달라진다. 이 전략적 선택은 엔진 아키텍처, 아트 워크플로우, 그리고 성능 목표에 지대한 영향을 미친다.
| 특성/측면 | 루멘 (Lumen) | 패스 트레이서 (Path Tracer) |
|---|---|---|
| 핵심 기술 | 하이브리드: 스크린 트레이스 + 소프트웨어 RT (SDF) + 선택적 하드웨어 RT 64 | 점진적, 비편향 하드웨어 가속 패스 트레이싱 71 |
| 성능 | 실시간 (콘솔 60fps 목표 설계) 64 | 매우 느림 (대부분의 경우 실시간 상호작용 불가) 69 |
| 그림자 품질 | 상대적으로 거칠고, 빛샘 현상 및 아티팩트 발생 가능 69 | 물리적으로 정확한 부드러운 그림자, 빛샘 현상 없음 69 |
| 반사 품질 | 부정확, 복잡한 표면에서 흐릿함, 다중 반사 제한 64 | 물리적으로 정확한 다중 반사 (거울 속 거울 등) 71 |
| 볼류메트릭 효과 | 로컬 안개, 구름 등 안정적으로 작동 69 | 일부 볼류메트릭 효과(로컬 안개 등)가 작동하지 않거나 부정확할 수 있음 69 |
| 머티리얼 지원 | 실시간 성능을 위해 최적화된 머티리얼 필요 82 | 복잡하고 물리적으로 정확한 머티리얼을 타협 없이 사용 가능 71 |
| 이상적인 사용 사례 | 모든 플랫폼의 최종 인게임 렌더링 65 | 고품질 시네마틱, 건축 시각화, 아티스트를 위한 ‘Ground Truth’ 검증 70 |
이 마지막 장에서는 현재의 최첨단 기술을 넘어 미래를 조망한다. 실시간 패스 트레이싱을 더욱 효율적이고, 높은 품질로, 그리고 더 보편적으로 만들 차세대 알고리즘과 최신 연구 동향을 탐구한다.
현재 실시간 패스 트레이싱의 패러다임은 ‘소수의 광선을 추적하고, 그로 인해 발생한 노이즈 가득한 이미지를 강력한 하드웨어와 AI를 통해 보정하여 성능을 확보하는’ 방식으로 요약될 수 있다(3장 참조). 이는 사후 처리 방식에 가깝다.
다음 패러다임은 근본적인 질문에서 출발한다: “나쁜 결과를 얻고 나서 수정하는 대신, 처음부터 더 나은 결과를 생성할 수는 없을까?” 이는 광선을 무작위로 쏘는 것이 아니라, 최종 이미지에 가장 큰 기여를 할 만한 ‘중요한’ 경로를 더 스마트하게 찾아내어 추적하는 것을 목표로 한다. 이것이 바로 진보된 샘플링 알고리즘의 핵심 아이디어이다.83
ReSTIR(Reservoir-based Spatio-Temporal Importance Resampling, 시공간적 저장소 중요도 리샘플링)는 다중 광원 환경 및 전역 조명 실시간 렌더링 분야에서 혁신을 일으킨 알고리즘이다.85
ReSTIR의 기본 철학은 “좋은 빛 경로는 시공간적으로 인접해 있을 가능성이 높다”는 것이다. 즉, 한 픽셀에서 발견된 중요한 광원이나 반사 경로는 그 주변 픽셀(공간적 이웃)이나 이전 프레임의 동일한 픽셀(시간적 이웃)에게도 중요할 확률이 높다는 가정에서 출발한다.83
알고리즘은 각 픽셀마다 ‘저장소(reservoir)’라는 작은 데이터 구조를 유지한다. 이 저장소에는 해당 픽셀이 지금까지 발견한 가장 ‘중요한’ 후보 광선 경로에 대한 정보가 담겨 있다.85 현재 프레임을 렌더링할 때, 각 픽셀은 먼저 자체적으로 초기 후보 경로를 하나 생성한다. 그 다음, 자신의 이전 프레임 저장소와 주변 픽셀들의 저장소를 ‘엿보고’ 그 안의 우수한 후보 경로들을 수집한다. 마지막으로, 이렇게 모인 전체 후보군 중에서 통계적으로 가장 중요한 경로 하나를 최종적으로 다시 샘플링(resample)하여 사용한다.83
이처럼 경로 정보를 지능적으로 재사용하고 전파함으로써, ReSTIR는 픽셀당 훨씬 적은 수의 초기 광선만으로도 노이즈가 적은 이미지에 극적으로 빠르게 수렴할 수 있다. 이 기술 덕분에 이전에는 불가능했던 수백만 개의 동적 광원을 가진 씬을 실시간으로 렌더링하는 것이 가능해졌다.85 ReSTIR는 직접 조명(ReSTIR DI)과 간접 조명(ReSTIR GI 또는 ReSTIR PT)을 위한 특정 변형 알고리즘들을 포함하고 있다.83
SIGGRAPH와 Eurographics는 컴퓨터 그래픽스 분야의 최첨단 연구가 발표되는 가장 권위 있는 학회이다.65 이들 학회에서 발표되는 최신 기술들은 실시간 패스 트레이싱의 미래를 엿볼 수 있는 창이다.
미래의 실시간 패스 트레이싱은 단순히 더 빠른 하드웨어에만 의존하지 않을 것이다. 이는 세 가지 혁신 흐름의 융합을 통해 달성될 것이다.
궁극적인 목표는 물리적으로 정확하고, 노이즈가 없으며, 고해상도 및 고주사율을 갖춘 패스 트레이싱을 일반적인 하드웨어에서 실시간으로 구현하여, 복잡하고 편법적인 래스터라이제이션 기술 스택을 역사 속으로 보내는 것이다.
실시간 렌더링 최적화 기술의 진화는 중요한 경향을 보여준다. 바로 순수하게 ‘이미지 공간(image-space)’, 즉 2D 픽셀 그리드에서 작동하던 기술에서, ‘월드 공간(world-space)’, 즉 3D 씬 데이터에 대한 이해를 바탕으로 작동하는 더 진보된 기술로의 전환이다.
이러한 전환 과정을 단계별로 살펴보면 다음과 같다. 첫째, FXAA와 같은 초기 후처리 기술은 최종적으로 렌더링된 2D 이미지만을 대상으로 작동했다. 이들은 이미지를 만들어낸 3D 씬에 대한 어떠한 정보도 가지고 있지 않았다. 둘째, TAA나 DLSS/FSR과 같은 시간적 기법은 중간 단계에 해당한다. 이들은 여전히 이미지 공간에서 작동하지만, 모션 벡터나 깊이 버퍼와 같은 월드 공간 정보를 사용하여 프레임 간 픽셀의 상관관계를 파악한다.52 이들은 일종의 ‘2.5D’ 기술이라고 할 수 있다.
셋째, ReSTIR나 신경망 가시성 캐시와 같은 차세대 알고리즘은 거의 전적으로 월드 공간에서 작동한다. ReSTIR는 픽셀 간에 3D 빛 경로 데이터를 공유하고 리샘플링한다.85 NVC는 3D 위치와 광원 좌표를 입력받아 3D 가시성 상태를 예측한다.97 포비티드 렌더링은 3D 시선 응시 지점을 월드 공간에 매핑하여 렌더링 품질을 제어한다.99
이는 근본적인 아키텍처의 변화를 의미한다. 렌더링 시스템은 자신이 시뮬레이션하는 3D 세계에 대해 점점 더 ‘지각(aware)’하게 되고 있다. 이는 단순히 최종 2D 픽셀 그리드를 분석하는 것만으로는 불가능했던 훨씬 더 강력하고 정확한 최적화를 가능하게 한다. 이는 미래의 GPU와 렌더링 API가 전통적인 그래픽 파이프라인의 고정된 화면 중심 처리 방식을 넘어, 임의의 월드 공간 데이터를 처리하고 질의하는 데 훨씬 더 효율적이어야 함을 시사한다.
본 보고서에서 분석한 바와 같이, 실시간 패스 트레이싱은 단일 기능이 아니라 하드웨어 가속, AI 기반 후처리 및 성능 복구, 그리고 지능적인 핵심 알고리즘이라는 세 가지 요소가 복잡하게 상호 의존하는 하나의 생태계이다. 하드웨어는 물리적 한계를 극복하고, AI는 그 과정에서 발생하는 노이즈와 성능 저하를 해결하며, 진보된 알고리즘은 애초에 필요한 연산의 양을 줄여 전체 시스템의 효율을 높인다. 이 세 축의 균형 잡힌 발전이 실시간 그래픽스의 미래를 결정할 것이다.
이러한 기술적 변화의 흐름 속에서 개발자와 콘텐츠 제작자는 다음과 같은 전략적 접근을 고려해야 한다.
래스터라이제이션은 저전력 플랫폼과 모바일 환경에서 앞으로도 수년간 중요한 기술로 남을 것이다. 그러나 인터랙티브 엔터테인먼트의 최첨단은 이미 완전한 물리 기반 시뮬레이션으로의 비가역적인 경로에 들어섰다. 앞으로의 기술 경쟁은 샘플링 알고리즘의 효율성, 그리고 이 모든 것을 실시간으로 가능하게 하는 AI 시스템의 품질과 성능을 중심으로 전개될 것이다. 그 최종 결과는 영화적 CGI와 실시간 그래픽스의 경계가 허물어지는 것이며, 이는 가상 세계가 창조되고 경험되는 방식을 근본적으로 바꾸어 놓을 것이다.
| Path Tracing | What Is Path Tracing? | Autodesk, 7월 4, 2025에 액세스, https://www.autodesk.com/solutions/path-tracing |
| Alan Wake 2: a deep dive into Remedy’s high-end ray tracing | Eurogamer.net, 7월 4, 2025에 액세스, https://www.eurogamer.net/digitalfoundry-2023-alan-wake-2-rt-deep-dive |
| Cyberpunk 2077 RT Overdrive: a closer look at the path tracing upgrade | Eurogamer.net, 7월 4, 2025에 액세스, https://www.eurogamer.net/digitalfoundry-2023-cyberpunk-2077-rt-overdrive-a-closer-look-at-the-path-tracing-upgrade |
| 엔비디아 RTX, 수백만 크리에이터들이 꿈꾸던 그래픽의 미래를 실현하다 | NVIDIA Blog, 7월 4, 2025에 액세스, https://blogs.nvidia.co.kr/blog/rtx-real-time-ray-tracing/ |
| NVIDIA Turing Architecture In-Depth | NVIDIA Technical Blog, 7월 4, 2025에 액세스, https://developer.nvidia.com/blog/nvidia-turing-architecture-in-depth/ |
| NVIDIA® DLSS란 무엇이며 어떻게 작동하나요? | 레노버 코리아 - Lenovo, 7월 4, 2025에 액세스, https://www.lenovo.com/kr/ko/glossary/what-is-nvidia-dlss/ |
| 모바일 레이 트레이싱 | 기술 | 삼성반도체 - Samsung Semiconductor, 7월 4, 2025에 액세스, https://semiconductor.samsung.com/kr/technologies/processor/mobile-ray-tracing/ |
| Temporal Upscalers in Unreal Engine | Unreal Engine 5.6 …, 7월 4, 2025에 액세스, https://dev.epicgames.com/documentation/en-us/unreal-engine/temporal-upscalers-in-unreal-engine |
| Playing Cyberpunk Path Tracing on a friend’s 4090 was incredible. Over 100fps (w… | Hacker News, 7월 4, 2025에 액세스, https://news.ycombinator.com/item?id=35856912 |
| PAST, PRESENT, AND FUTURE OF RAY TRACING | SIGGRAPH 2024, 7월 4, 2025에 액세스, https://s2024.siggraph.org/past-present-and-future-of-ray-tracing/ |
| Real-Time Live! | SIGGRAPH 2025, 7월 4, 2025에 액세스, https://s2025.siggraph.org/program/real-time-live/ |
| Temporal anti-aliasing: a blessing or a curse? | Eurogamer.net, 7월 4, 2025에 액세스, https://www.eurogamer.net/digitalfoundry-2024-temporal-anti-aliasing-a-blessing-or-a-curse |