跳到正文
Hacker News (official RSS)(ben3d.ca)·· 6 天前精選品質評分78

Three.js 如何逐步補上 AAA 遊戲引擎的光照效果

My Quest to push native Three.js quality match AAA Game Engines

重點導讀

Three.js 已有不少做出遊戲級光照效果的工具,但要把反射、環境光和材質光照接成完整流程,還有缺口。

  • 作者逐一檢查這套流程:場景預先計算的光照可照亮靜止物件,探針則補上移動物件的光。
  • 螢幕上的反射與間接光再補充即時變化。文章也說明,反射若要進入材質本身,需要追蹤前一幀的畫面,並依表面材質處理光線。目前最大的缺口,是讓這些光照來源能一起接入材質。
  • 部分功能仍在審查或草擬中。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

文章逐階段比較 Three.js 與 AAA 遊戲引擎的光照流程,指出反射、全域光照和材質整合仍缺哪些環節,適合掌握這套技術的進度與瓶頸。

正文 · 中文翻譯

這篇文章是進度報告:逐階段以 Three.js 檢視第 2 部分推薦的管線。

本文沿用第 1 部分的照明術語:間接漫反射與鏡面反射、光源、覆蓋率、SSR 和 SSGI,並新增五個術語:

  • BRDF:材質的著色函式,說明表面如何將入射光轉換成你所看到的光。
  • G-buffer:以每個畫素儲存可見表面資訊的影像(深度、法線、粗糙度),供螢幕空間效果讀取。
  • TRAA:時間反鋸齒;每一影格會與重新投影的前幾個影格混合。
  • TAAU:搭配升頻的時間反鋸齒;累積方式相同,但場景會以低於輸出解析度的設定進行算繪,歷史影格則維持在輸出解析度。
  • PMREM:針對每個粗糙度等級預先模糊處理的環境貼圖,Three.js 便是透過它使用立方體貼圖進行照明。

管線#

管線分成兩部分。設定階段會填入三種快取:靜態網格的光照貼圖、供移動物件使用的光照探針網格,以及每個房間的反射探針。

Pipeline setup, three caches filled on load or at authoring time. Lightmaps take four steps: UV2 unwrap, bake with ray radiosity, denoise, then stitch seams. The light probe grid is a single bake that captures each probe and projects it to L2 spherical harmonics. Reflection probes take three: capture HDR cubemaps, GGX prefilter, then pack into a cube array with influence boxes. Seam stitching and the cube array packing are in review; the rest is in Three.js.

設定階段:三種快取。光照貼圖最費工,探針網格則只需烘焙一次。實線步驟目前已在 Three.js 中;著色步驟正在審查中。

接著,每個影格會讀取這些快取,再疊加螢幕空間運算:

One frame of the pipeline: a G-buffer prepass, a Hi-Z build feeding an SSR trace, an SSGI trace beside it that reads the G-buffer directly and also returns occlusion and bent normals, their denoise, then a forward beauty pass that reads both coverage cascades and three cached inputs, lightmaps, the light probe grid and reflection probes, then TRAA or TAAU, with the resolved output fed back into the next frame's screen-space traces. The Hi-Z build and the beauty pass that reads both cascades are still to build; the SSR and SSGI trace and their denoise are partly there; the rest is in Three.js.

管線中的一個影格。實線階段目前已在 Three.js 中,著色階段正在審查或部分完成,外框階段則尚待建置。TRAA 的輸出,或升頻時 TAAU 的輸出,會供下一個影格的 SSR 和 SSGI 使用。

目前進度#

以下比較各個階段與遊戲需求的差距。每一列都會在下方各節說明:

階段已在 Three.js 中正在審查或已有草稿尚待建置
G-bufferMRT 預先通過八面體法線
烘焙式 GIlightMap、UV 展開工具、烘焙器、光線追蹤輻射度、降噪器、HDR JPEG XL接縫縫合、KHR_lightmap(草稿)glTF JPEG XL 與 UltraHDR 擴充功能、執行階段 BC6H
動態 GILightProbeGrid、烘焙速度提升 8 倍、多重反彈、分散至多個影格更新DDGI 可見度(草稿)—
遮蔽GTAO、builtinAOContext、來自 SSGINode 的 AO彎曲法線與 GTSO(草稿)、聯合雙邊升頻取樣(草稿)來自 SSGINode 的彎曲法線
SSR隨機 GGX SSR、時間累積、多重反彈前一影格追蹤Hi-Z 追蹤、覆蓋率輸出、時空 SSR 降噪器
SSGISSGINode、透過單次地平線搜尋取得反彈光與 AO,再合成至完成的影像上前一影格追蹤(草稿)覆蓋率輸出、供 BRDF 使用的漫反射光源
反射探針單一方盒投影環境貼圖、PMREM探針系統(草稿)、立方體陣列探針正規化、128² 預先篩選
BRDF 整合AO 脈絡、環境備援—可插拔的間接鏡面反射與漫反射、覆蓋率級聯
TRAA 與 TAAUTRAA 節點、TAAU 節點Catmull-Rom 歷史影格(草稿)、靜止時放寬裁切範圍與測試架構(草稿)完整管線中的 TAAU、貼圖 mip 偏移,以及移植至 TAAU 的 TRAA 改良專案

目前最大的缺口在 SSR、SSGI 和 BRDF 這幾列:SSR 需要 Hi-Z 追蹤與覆蓋率,SSGI 也需要相同的覆蓋率;最重要的是可插拔的間接照明,能將兩種級聯整合進 BRDF。其餘功能都已在 Three.js 中、正在審查或已有草稿。

這項工作能以這麼快的速度推進,要歸功於 Three.js 維護者。Michael Herzog(@Mugen87)審查了大多數這些 PR,也不只一次重新調整其中一項的設計,讓它更符合 Three.js 整體的建構方式,並調整渲染器內部架構以納入這些變更。mrdoob 也表達了對其中許多專案的高度支援。我很幸運能得到他們兩位的協助。

不過,到目前為止,這些部分都是逐一提出、各自審查,每一項都依其本身的價值評估。沒有人被要求承諾接受整套方案。這一系列文章是我試著把它們整合成一個連貫的整體,讓每個 PR 除了能依功能評估,也能看出它在整體中的定位。

逐階段拆解渲染管線#

本文接下來會逐一說明影格中的各個階段。每個階段都會回答三個問題:遊戲需要什麼、Three.js 已具備什麼,以及 還缺少什麼。第三個問題的答案,就是接下來要處理的工作。

G-buffer#

遊戲需要什麼。SSR、GTAO 和降噪器都會在光照前於螢幕空間中運作,因此需要逐畫素描述可見表面的資訊:G-buffer。延遲渲染引擎會儲存光照所需的一切資訊,包括基礎色彩和自發光資訊,因為光照階段只會讀取 G-buffer。像 Three.js 這樣的正向渲染器在這方面有個優勢:美術渲染階段會直接對每個材質進行著色,因此 G-buffer 只需包含螢幕空間處理階段會讀取的資訊。

數值最低位元數讀取者
深度24所有處理;也是 Hi-Z 金字塔的來源
法線2×12(八面體編碼)SSR 射線方向、GTAO、降噪器
粗糙度8(感知值)SSR 光瓣與粗糙度衰減、降噪器核心大小
金屬度1–8非金屬材質的 SSR 衰減
材質旗標2–8遮罩天空、水面與透明物件的 SSR
動態向量2×16TRAA、SSR 命中點重投影、降噪器歷史資料

基礎色彩、自發光資訊和材質 AO 貼圖不在清單中:美術渲染階段會直接從材質讀取這些資訊。

Three.js 已具備什麼。WebGPURenderer 已會使用多重彩色附件渲染 G-buffer 預先通道,SSR 範例目前也已使用這項功能。法線會封裝在 RGB8 中,粗糙度則放在 alpha 通道;基礎色彩與金屬度放在第二個 RGBA8 目標,速度則放在第三個目標:

const scenePass = pass( scene, camera );
scenePass.setMRT( mrt( {
	output: output,
	diffuseColor: vec4( diffuseColor.rgb, materialMetalness ),
	normal: vec4( packNormalToRGB( normalView ).rgb, materialRoughness ),
	velocity: velocity
} ) );

因此,機制已經存在。缺少的是資料配置方式與法線精度。

G-buffer 結構與記憶體用量#

以下配置涵蓋上表內容,使用三個彩色附件加上深度:

目標格式每畫素位元組數內容
深度D32F,反向 Z4深度
法線RG16 snorm(後備方案為 RG16F)4八面體法線
材質RGBA84粗糙度、金屬度、旗標、預留
動態RG16F4螢幕空間速度
總計16

每畫素 16 位元組,以 AAA 遊戲的標準來看相當精簡。延遲渲染引擎通常會使用 20–28 位元組,因為還會儲存基礎色彩、自發光資訊和烘焙光照。

不過,G-buffer 並不是唯一佔用整個畫面尺寸的記憶體。影格中的其他部分還包括半精度浮點色彩目標(8 B)、TRAA 歷史資料與輸出(16 B)、用於重投影的前一影格深度(4 B)、SSR 的 Hi-Z 金字塔(含各級 mip 約 5 B)、半解析度 SSR 工作集(6 B)、也包含遮蔽資訊的半解析度 SSGI 工作集,以及它讀取的重投影前一影格(合計約 5.5 B),還有場景解析度的升頻 SSR 與 SSGI 結果(合計 15 B)。所有效果都啟用時,規劃預算約為每畫素 76 bytes:1920×1080 約 157 MB,4K 則約 626 MB。第 2 部分附有這些數字所依據的計算器,以及 TAAU 和較低階配置的範例。這些是針對提議中的級聯與簡單濾鏡所做的估算,並非目前外掛實際配置的記憶體資料。這份清單也納入了升頻後的目標。半解析度效果仍需要考量深度與法線的升頻處理,才能避免反射和遮蔽資訊溢位物件邊緣。我已將這個濾鏡草擬為jointBilateralUpsample();下文的遮蔽章節會再詳述。

法線精度#

Three.js 目前唯一儲存精度過低的欄位就是法線。SSR 對法線誤差非常敏感:光線若從稍有偏差的法線反射,經過長距離追蹤後,落點就會明顯錯誤。使用 RGB8 法線時,平滑的曲面會被量化為有限幾種方向,反射因此出現色帶與聚集現象。

AAA 遊戲的 G-buffer 會以八面體編碼解決這個問題:將方向球面摺疊到八面體上,再展開成正方形,並儲存兩個座標。就其所佔空間而言,這是 Cigolle 等人調查的編碼中精度最高的一種。我們已透過 PR #35480,將 packNormalToOctahedral() 和 unpackOctahedralToNormal() 加入 Three.js:

編碼(每畫素 4 bytes)平均誤差最大誤差可用範圍
RGB8(目前)0.17°0.38°所有平臺
八面體 RG16F0.011°0.040°所有支援 WebGPU 的裝置
八面體 RG16 snorm0.0013°0.0037°93% 的 WebGPU 裝置

相同的 4 bytes,使用半精度浮點數時精度提高 15 倍以上,使用 snorm 時則提高 100 倍以上。目標格式是 RG16 snorm,並以 RG16F 作為備援。

Reflections on a glossy surface with RGB8 normals on the left, showing banding, and octahedral RG16F normals on the right, smooth

以 RGB8 法線(左)追蹤的反射會出現色帶;八面體 RG16F 法線(右)的反射則平滑自然。

Angular normal error at 0.25° full scale: RGB8 on the left shows error everywhere, octahedral RG16F on the right is near zero

儲存法線的角度誤差:RGB8(左)與八面體 RG16F(右),比例尺相同。

全域照明#

遊戲所需的功能。根據這份調查:

  • 為所有不會移動的物件預先烘焙至光照貼圖的反彈光。
  • 使用探針體積為動態物件提供照明,最好能避免光線穿透牆面。

光照貼圖。執行階段所需的功能已在 Three.js 中提供多年:每種標準材質都會讀取一個 lightMap,資料來自第二組 UV 座標。缺少的是製作光照貼圖所需的一切:展開工具、烘焙器、實用的求解器,以及儲存和傳送結果的方法。如今這些部分已整合成完整的烘焙流程,可直接在瀏覽器中執行。這個主題內容豐富,因此另有一篇文章專門介紹:第 4 部分:為 Three.js 加入穩健的光照烘焙功能。

光照探針。對動態物件而言,LightProbeGrid會在場景中佈置探針網格,每個探針都以 L2 球面調和函式儲存入射光,並根據物件周圍的探針為其提供照明(範例)。效果不錯,限制在於擷取時間太長。

Sponza lit by the Three.js light probe grid

由 LightProbeGrid 照明的 Sponza。

探針擷取速度。 批次擷取探針讓 LightProbeGrid 的速度提升四倍,後續變更又讓速度加倍:現在的烘焙速度約為 9 月初的八倍,並支援多次反彈光線。效能分析顯示,烘焙速度受限於 CPU 提交算繪通道的速度,而非 GPU,因此批次擷取會以單一陣列攝影機,每個通道算繪八個探針:解析度為 12 的網格,處理時間從 5.6 s 降至 1.2 s。精確積分球諧函式,也將誤差從 2.4% 降至 0.08%。第二次加倍則是透過逐一以各自的子攝影機剔除每次繪製。

探針漏光。牆壁一側的探針可能照亮另一側的物件,因此明亮房間的光會讓隔壁的暗房間亮起來。DDGI 的解法是讓每個探針儲存各個方向到最近表面的距離,並忽略看不到受照點的探針。LightProbeGrid 的DDGI 式可見度加權已作為草稿 PR 提出。逐畫素測試周圍全部八個探針的可見度成本很高,因此草稿改用四面體插值,混合四個探針。在 Sponza 場景中,這會讓算繪時間增加約 10%;使用八個探針則會增加 30%。

Two adjacent rooms lit by the light probe grid with visibility weighting, one warm and one blue, with no light leaking through the wall between them

探針可見度加權:暖色房間與藍色房間不再隔著牆互相照亮。

環境光與鏡面遮蔽#

遊戲的需求。光照貼圖的解析度太低,無法呈現接觸陰影,而且不包含動態物件的資訊。遊戲會額外加入螢幕空間遮蔽,而 Activision 的 GTAO 是業界標準。它也會產生彎曲法線,也就是平均的開放方向,進而提供鏡面遮蔽(GTSO):反射若指向表面的凹折處,就會受到遮蔽;若指向開口處,則不會。

GTAO 會搜尋深度緩衝區,找出每個畫素周圍的地平線,以判斷遮蔽情況。Three.js 採用的地平線式 SSGI 也會進行相同搜尋,並沿途收集找到的光線,因此一次通道就能同時輸出兩者。因此,管線不會同時執行這兩者:啟用 SSGI 時,其通道會提供遮蔽資訊與彎曲法線;只有在關閉 SSGI 時,才會單獨執行 GTAO。

適用於何種光線的遮蔽,與遮蔽的計算方式同樣重要。在這條管線中,遮蔽不是任一級聯中的步驟,而是共用緩衝區,和目前一樣以 builtinAOContext 設定;需要遮蔽資訊的光源會讀取該緩衝區,並調暗各自的結果:

  • 光照貼圖、探針網格與環境光會對間接漫射光套用 AO,並與材質的 AO 貼圖合併,如同 min( materialAO, gtao )。
  • 反射探針與環境光會對間接鏡面光套用 GTSO。
  • SSR 與 SSGI 都不會套用。螢幕空間命中代表光線實際找到的內容,因此遮蔽已正確反映在其中。
  • 在 SSGI 後方的漫射光源會略過 AO。SSGI 的涵蓋率代表螢幕上物件遮擋半球的比例,這本身就是遮蔽。級聯已透過 1 − coverage 縮放光照貼圖或探針網格的光線,因此再套用 AO 就會使它們被重複調暗。
  • 直接光不受影響,因為它已有陰影。

級聯不會看到這些內容;它們只根據覆蓋率混合顏色。來源只需遵守一項規則:遮蔽會讓顏色變暗,絕不會降低覆蓋率。遭遮蔽的探測結果仍會回傳畫素,只是顏色較暗;若降低它的覆蓋率,下一個來源未受遮蔽的光線就會漏進角落。

將 AO 套用到光照貼圖表面時,表面會稍微被重複變暗,因為烘焙結果已包含靜態自我遮蔽。即使如此,我們還是會套用 AO,因為動態物件仍需要遮蔽靜態物件。

Three.js 現有的功能。 GTAO 已經加入其中,而且會將結果傳入光照計算,而非與最終影像相乘。AO 範例會先算出預先處理結果,再執行 GTAO,接著透過光照內容將結果傳給美術渲染階段:

const aoPass = ao( prePassDepth, prePassNormal, camera );
scenePass.contextNode = builtinAOContext( aoPass.getTextureNode().sample( screenUV ).r );

這正是管線其他部分需要採用的模式,後文也會再次談到它的重要性。

尚待補足之處。共有三項。

  • 鏡面遮蔽。目前 GTAO 只會輸出單一可見度值,實體光照模型再根據視角和粗糙度,透過啟發式方法將它轉換為鏡面遮蔽。它不知道哪些方向遭到遮蔽,因此金屬表面在凹槽內仍會反射天空。Bent normals 和 GTSO已提交草稿 PR。Bent normal 會從相同的地平線搜尋結果中產生,不需額外取樣深度;代價是 AO 渲染目標會從每畫素 1 位元組增加到 4 位元組。

  • 邊緣感知升頻。將半解析度 GTAO 以雙線性濾鏡升頻,會在物件周圍留下深色輪廓,因為來自後方表面的遮蔽會滲過每一道剪影。jointBilateralUpsample()會以全解析度的深度和法線作為引導進行升頻(Kopf 等人,2007),讓結果在邊緣處停止。這項功能目前仍是草稿,尚未提交;AO 範例會是第一個使用者。半解析度 SSR 也需要相同的濾鏡。

  • 從 SSGINode 取得 Bent normals。草稿會將 bent normal 加入 GTAONode。SSGINode也需要相同的輸出,取自搜尋時找到的未受遮蔽方向,讓啟用 SSGI 時不必再執行第二次處理來計算鏡面遮蔽。

A gold bust lit by an environment map: with GTAO and GTSO, folds and cavities stop reflecting the sky; with GTAO and a scalar specular occlusion, they still glow

使用 GTSO(左圖)時,凹槽和空腔不再反射天空。使用純量鏡面遮蔽(右圖)時,它們仍會發亮。

反射:螢幕空間反射#

遊戲的需求。參考 DOOM、Frostbite 等遊戲,級聯中的 SSR 必須做到:

  1. 使用 Hi-Z 深度金字塔,高效率地追蹤任意距離。
  2. 輸出覆蓋率,讓探測結果能補足遺漏的部分。
  3. 追蹤前一影格的受光影像,讓其結果能傳入目前影格的光照計算。
  4. 在空間與時間上進行降噪,讓每畫素只需一條光線就足夠。

Three.js 原有的功能。9 月時,Three.js 的 SSR 是為不同用途打造:在精巧的場景中,將反射效果加到已完成的影像上。它取樣次數少,因此粗糙表面的反射會有雜訊。它會將結果合成到影像上,因此不會經過 BRDF。它的光線也會在固定距離處停止,因此無法反射遠處的物體。

自那之後,許多部分都已改變。SSRNode 現在會以重要性取樣方式追蹤完整的 GGX 波瓣,採用正確的菲涅耳效應、驗證並精煉命中點,並以 Houston Stratified Noise(又稱 HHW,即 Hierarchical Hashed Weyl)雜訊取代藍雜訊紋理。結果會重新投影並隨時間累積,再回饋至場景,讓反射中也能呈現反射。

目前它還無法整合進級聯架構。以下是 SSR 範例如何與場景結合:

const litColor = scenePassColor.rgb.add( denoisedReflections.rgb );

先渲染美術效果影格,再由 SSR 追蹤同一張影像,最後將反射疊加上去。上述每項需求都是在此基礎上尚待補足之處。

Hi-Z 追蹤。SSRNode 目前最多會以 64 個步驟逐步掃描深度緩衝區,最遠可達 maxDistance,並以 thickness 作為判定命中的容許值。長距離光線的成本很高,而且這兩個數值都需要針對每個場景調校。Hi-Z 深度金字塔是一串 mip 層級,每個紋素會儲存下方四個紋素的最小深度。光線會在較粗的層級中跨越大片空白區域,接近表面時才採取細步進,因此成本會隨光線長度的對數增加。如此一來,每條光線都能延伸至螢幕範圍所及之處,不必調校最大距離。在金字塔中同時儲存最小與最大深度,也有助於厚度測試:單一深度層無法判斷光線是從物件後方通過,還是進入了物件;額外的界限能縮小這項歧義。這項技術源自 Uludag 發表於 GPU Pro 5 的論文 Hi-Z Screen-Space Cone-Traced Reflections,並以 McGuire 和 Mara的螢幕空間光線步進技術為基礎。Frostbite(用於平滑表面)、AMD 的 FidelityFX SSSR 和 Killing Floor 2 都採用了這項技術。一個初步原型在 48 個 GPU 測試案例中,結果與線性步進完全一致,但目前整體效能尚未提升:追蹤最多可節省約 7% 的時間,但建立金字塔的成本更高。使用 GTX 1050 時,一個測試場景的影格率從 199 降至 159 fps,另一個則從 126 降至 97。下一步是降低金字塔建置成本,並採用 AMD SPD 中的做法,在單次計算著色器派送中完成,再連同追蹤一起測量。

A 1D cross-section of Hi-Z ray marching: coarse mip levels let a reflected ray cross empty space in a few large steps, descending to finer levels near the surface it hits

Hi-Z 光線步進:在空白區域採取大步進,接近表面時採取小步進。

覆蓋率。目前光線未命中時,SSR 會自行取樣環境貼圖:這是一張以 environmentNode 傳入的等距柱狀投影紋理,無法使用經 PMREM 篩選的 scene.environment,更不用說區域探針。在影像上疊加 SSR 也會讓環境反射重複計算兩次:一次在美術效果影格中,另一次則是 SSR 自己的備援結果。在級聯架構中,SSR 應改為輸出反射及其覆蓋率;在螢幕邊緣、掠射角度、薄幾何體後方及表面粗糙度很高時降低覆蓋率,其餘部分則交由探針處理。我們已完成原型,並會與下方的 BRDF 整合一併納入。

追蹤前一影格。SSR 讀取照明輸出時,就無法同時成為照明流程的一部分。DOOM 的作法是追蹤目前的深度緩衝區,但讀取前一影格的色彩:將每個命中點重新投影至前一影格的 TRAA 輸出,再從中取樣。前一影格的影像已包含前一影格的反射,因此面對面的鏡子每一影格都能多反射一次。前一影格追蹤目前正在審查中。

要讓這個回饋迴圈維持穩定,有兩項規則。第一,影像空間反射(SSR)讀取的必須是線性 HDR 輻射亮度,而且要在 TRAA 之後、色調對映、泛光及其他後製處理之前取得;否則反射會帶入經過色調對映的色彩與泛光光暈。第二,回饋的輻射亮度必須限制範圍。每一影格的反射都會成為下一影格的輸入,因此去雜訊器只要產生單一亮點或些微能量增益,效果就會逐幀累積,而不是逐漸消退。

Reflections only, with SSR multi-bounce feedback off and then restored: the restored version shows reflections inside reflections

僅顯示反射。採用前一影格回饋後,反射中也會出現反射。

去雜訊。粗糙表面的反射需要每畫素多於一條光線所能提供的資訊,而 Three.js 目前還沒有專為 SSR 設計的時空去雜訊器。Frostbite 的做法可作為參考:依照每個畫素自身的 BRDF 加權,重用鄰近畫素的光線,再隨時間累積,並依據反射命中點的移動重新投影歷史資料,而非依據表面的移動,因為反射的移動方式與呈現反射的表面不同。zalo 正在處理這項工作。他的以 SVGF 為基礎的 DenoiseNode已合併,但 SSR 範例目前已改回先前的去雜訊器,以便重新調整為適用於反射。下一次嘗試將透過除錯測試架構評估。其中一項功能已完成原型:解調,也就是在濾波前從訊號中除去表面色彩,並在之後乘回去,讓去雜訊器模糊光照,而不會模糊紋理細節。

A split view of a checkered sphere on a checkered floor: on the left, denoising without demodulation blurs the texture away; on the right, with demodulation, the checker pattern stays sharp

相同的雜訊訊號與濾波器:未解調(左)與已解調(右)。

螢幕空間全域光照#

SSGI 是 SSR 的漫射光對應技術。它會加入烘焙光照無法預先計算的反彈光,幾乎可以重用 SSR 所需的一切,而且啟用時會取代 GTAO。

遊戲的需求。將 SSGI 納入光照流程的引擎,會把它放在烘焙光照之前,作為級聯流程的第一階段,如第一部分所述。這表示 SSGI 必須:

  1. 輸出覆蓋率:在螢幕上找到表面的半球方向所佔比例。其餘方向則由光照貼圖或探針網格補足。
  2. 追蹤前一影格的已照明影像,讓結果能供目前影格的光照使用,也讓反彈光每一影格都能再反彈一次。
  3. 隨時間累積,以半解析度執行,並採用與 SSR 相同、能保留邊緣的升頻方式。

Three.js 現有的功能。SSGINode已經存在,採用SSRT3的可見性位元遮罩方法,將 GTAO 的地平線搜尋延伸為同時收集光照與遮蔽資訊。對每個畫素,它會沿著半球的一個切片向外逐步取樣,標記深度緩衝區遮擋該切片中哪些區段,並收集遮擋物的色彩。依預設值,每次搜尋取樣 24 個深度,可產生 GI 紋理與 AO 紋理;由於每個取樣都涵蓋整段方向弧,因此雜訊遠低於單一隨機光線。這就是此流程只為它配置一份時間歷史資料,而不另外使用空間濾波器的原因。SSGI 範例會追蹤目前影格的美術渲染結果,並將效果合成其上:

const composite = vec4( scenePassColor.rgb.mul( ao ).add( scenePassDiffuse.rgb.mul( gi.rgb ) ), scenePassColor.a );

尚待補足之處。與 SSR 相同,原因也相同。

  • 涵蓋率輸出。 搜尋標記為阻擋的區域,就是搜尋找到表面的方向,因此涵蓋率為 1 − ao,而節點已經會計算這項數值。缺少的是將 GI 和涵蓋率成對交給級聯系統。若沒有這項資訊,SSGI 就只能疊加在烘焙好的反彈光照上,導致重複計算,也無法取代原有光照。
  • 前一影格追蹤。 讀取目前影格的 beauty pass,會迫使 SSGI 在其後執行,作為合成效果處理。這裡新增的 前一影格追蹤 遵循 SSR 的相同規則:在色調對映前使用線性 HDR,並限制取樣範圍。兩者有一項差異:SSR 每個畫素只會讀取一次前一影格,也就是射線落點的位置;SSGI 則會在每個找到表面的取樣點讀取,因此每個畫素都得多次進行重投影。一份草稿在 Apple M3 上進行測量:每個取樣點都依攝影機移動進行重投影,會讓影格率降低 14–22%;若改用每畫素速度進行重投影,也就是連移動中的物件也會跟著處理,影格率則會降低 32–44%。因此,系統改為依速度將前一影格重投影一次,寫入與目前影格對齊的半解析度緩衝區,搜尋時直接讀取該緩衝區。在測試場景中,這種作法的影格率與追蹤目前影格相同,也沒有可見的瑕疵。
  • 漫射光源。 同時取得兩者後,SSGINode 就會成為下文所述漫射光源清單中的第一個專案,材料則不必變更。

反射:區域探針與級聯系統#

遊戲的需求。 Three.js 最初是為渲染漂浮在空間中的單一物件而打造,並以一張環境貼圖照明;在這種用途下,它表現出色。但在室內場景中,使用單一環境貼圖顯然不合適:從紅色房間走進藍色走廊時,地板應該先反射紅色,再反射藍色,而不是天空。

調查中的每款遊戲,以及 Unreal 的反射擷取,都透過區域反射探針解決這個問題:在各個房間內擷取立方體貼圖,每個探針都有一個方框,用來描述其影響範圍。在方框範圍內,探針會採用方框投影:先計算反射射線與房間方框的交點,再朝向該交點取樣立方體貼圖,而不是沿著原始射線取樣。這個步驟能消除立方體貼圖大部分的視差誤差,因此即使你在室內走動,遠處牆面的反射仍會穩定地映在地板上(Lagarde 的說明是經典解釋)。方框重疊時,探針會彼此混合;方框之外的天空則由最外層探針處理:它的方框範圍無限大,且不使用方框投影。

Three.js 現有的功能。 所需的基本功能都已具備。CubeCamera會擷取立方體貼圖,PMREMGenerator會依粗糙度預先篩選貼圖,getParallaxCorrectNormal()則會進行方框投影,如方框投影環境貼圖範例所示。但這些功能只能手動為每種材料設定一個探針。場景中沒有探針組、影響範圍,也無法混合多個探針。

目前的缺口與補足方式。

  • 探針系統。 適用於 WebGPURenderer 的方框投影反射探針新增場景層級的探針,支援影響範圍方框與混合功能,目前已提交 PR 草稿。
  • 快速存取多個探針。 每個探針都繫結一張立方體貼圖,無法擴充至大量探針。立方體陣列紋理可將所有探針放在同一張紋理中;其取樣功能已合併,紋理類別目前正在審查中。
  • 探針正規化。探針是在房間中的某個位置擷取,因此無論在哪裡使用,它看到的都是該房間明亮、開闊的景象。於是,陰暗角落或櫥櫃內部也會映出明亮的房間。《Call of Duty》的解法始於 Black Ops II,並沿用至 Infinite Warfare:以畫素處的漫射光與探針處的漫射光之比,縮放探針反射。光照貼圖和探針網格已提供這兩者,因此幾乎不增加成本。這代表反射探針必須能取得畫素處的漫射結果,而 可插拔設計允許這麼做。這部分仍待實作。
  • 小型探針。PMREMGenerator的最小尺寸為 256²。對模糊的室內反射而言,128² 的探針已很足夠,因為前方的 SSR 會處理清晰反射,而且只需四分之一的記憶體。128² 的預先篩選仍待實作。

Two connected rooms in Three.js lit by three box-projected reflection probes

兩個相連的房間各自映出自己的牆面,使用三個盒狀投影探針。

BRDF 中的間接光照#

遊戲的需求。只有反彈光線經過材質的 BRDF,這些級聯效果才會生效,因此菲涅耳效應、粗糙度與金屬度對反彈光線的影響,必須和對直接光的影響完全相同。在前向渲染器中,這代表外觀渲染階段需要兩種輸入:

  • 間接漫射:有涵蓋範圍時使用 SSGI;接著,靜態網格使用光照貼圖;其他所有物件則使用探針網格,超出網格範圍時依涵蓋範圍退回環境貼圖。
  • 間接鏡面反射:使用 SSR,依涵蓋範圍退回盒狀投影探針,再退回環境貼圖。

需要遮蔽的來源會自行套用遮蔽效果,如上所述。

接著兩者都會和直接光一起,經過一般的分離總和近似法(Karis 2013)。

各引擎處理這些效果的位置不盡相同。Unreal 等延遲渲染引擎會在填入 G 緩衝區時取樣光照貼圖,並在獨立的全螢幕階段合成反射。Three.js 採用前向渲染,因此最自然的做法是在外觀渲染階段之前,先在螢幕空間計算所有效果,包括 SSR、SSGI 和 AO,再讓各材質在著色時讀取這些結果。追蹤前一影格,正是這種處理順序得以實現的關鍵。

Three.js 現有的功能。間接漫射大致已就緒:lightMap、LightProbeGrid和scene.environment都會提供間接漫射,而 AO 也已透過builtinAOContext套用於其中。間接鏡面反射則只來自scene.environment,或材質本身的envMap。

缺口。這是目前最大的缺漏。現今沒有辦法像把 AO 接入漫射項一樣,將螢幕空間結果或一連串光源接入材質的間接鏡面反射項。我們希望把 AO 的模式延伸至這兩個專案,並維持現有環境貼圖作為預設值。提案設計見 Three.js 可插拔間接光照。

TRAA 與 TAAU 完成整體迴圈#

遊戲的需求。時間性反鋸齒是現代引擎的標準功能。此處它還有雙重用途:輸出會成為下一影格 SSR 的輸入,因此在動態場景中必須保持清晰,也不能讓殘影或亮點雜訊迴流至反射中。

Three.js 現有的功能。具備 Halton 抖動、動態向量重投影及歷史影格變異數裁切功能的優良 TRAA 節點。

TRAA 已相當完善,沒有重大缺口需要補足。目前還有兩項細部調整待完成:

  • 更銳利的歷史影格。以雙線性濾波器取樣的歷史影格,會隨著攝影機移動而逐格變得更模糊。Catmull-Rom 歷史影格取樣這項草擬中的 PR 可維持畫面銳利。
  • 靜止時採用較寬的裁切範圍。變異數裁切可以避免殘影:它會捨棄與目前影格不再相符的歷史資料,但也會捨棄有用的歷史資料。TRAA 在快速移動時已會將裁切框縮至 0.5σ,但靜止時的裁切框為 1σ,範圍小到會裁掉已收斂的次畫素細節,因此靜態影像始終無法完全解析,而較長的歷史資料反而會讓評分變差。一項草擬中的變更尚未提交,將靜止時的裁切框擴大至 2σ,並新增 historyLength 控制項。使用 TRAA 測試工具測量後,靜態視角相較於超取樣參考影像的 PSNR 提升 2.15 dB;攝影機靜止、物件移動時則提升 1.3 dB;攝影機快速移動時的變化不超過 0.06 dB。

使用 TAAU 進行升頻#

本系列評測的每款引擎都會以低於輸出解析度的尺寸進行算繪,再透過時間資訊重建差異:Unreal 的 TSR、Godot 的 FSR 2,以及《Cyberpunk 2077》的 DLSS 和 FSR。這是現代影格中影響效能最大的單一因素,因為解析階段之前的每個處理階段都能同時降低成本。

Three.js 提供的功能。TAAUNode 已具備這項功能,而TAAU 範例則展示了以四分之一畫素數運作的效果。它採用 Karis 的時間超取樣與 FSR 2 技術。場景階段會以較低解析度算繪,並透過 setResolutionScale() 設定。這個節點會抖動攝影機,從周圍 3×3 個經抖動的輸入取樣重建每個輸出畫素,再與輸出解析度的歷史影格混合;它採用與 TRAA 相同的深度排除和變異數裁切,並加入保護細小特徵的鎖定機制:

scenePass.setResolutionScale( 0.5 );

const taauNode = taau( scenePassColor, scenePassDepth, scenePassVelocity, camera );

整合方式。TAAU 會取代 TRAA,成為影格的最後階段;影格中的其他部分都維持原有架構:

  • 之前的所有階段都會以算繪解析度執行。G-buffer 預先處理、Hi-Z、SSR、SSGI 和美術算繪階段都會採用相同的解析度比例。這個節點會將抖動套用至整個算繪管線中的攝影機,讓預先處理階段與美術算繪階段保持對齊。
  • 它的輸出會成為下一個影格中 SSR 和 SSGI 讀取的影像。這是輸出解析度的線性 HDR 影像,因此反射雖然以算繪解析度追蹤,讀取的色彩卻比追蹤反射時所用的影格更銳利。SSR 章節提到的兩項規則仍適用:在色調對映前讀取,並進行限制。
  • 泛光、色調對映及其他後製處理都會在它之後執行,並採用輸出解析度。

它也會改變前述的記憶體預算。啟用 SSR 和 SSGI 時,原生解析度 TRAA 的 76 位元組預算中,約有 60 位元組用於場景解析度資源,另外 16 位元組用於歷史資料和解析。TAAU 改用約 24 位元組的畫布尺寸資料,包含鎖定歷史資料,因此其估算模型為每個畫布畫素 60 × 解析度比例² + 24 位元組。比例為 0.5 時,記憶體用量約為 39 位元組,而非 76 位元組:4K 影格的用量從約 626 MB 降至 322 MB,著色的畫素數則降為四分之一。由於 TAAU 需要額外的歷史資料,記憶體用量的降幅會小於畫素數的降幅。第 2 部分提供計算工具連結,其中也納入升頻器暫定的流量預算。

TAAU 和聯合雙邊升頻並非二選一。兩者升頻的物件不同。jointBilateralUpsample()是空間升頻,只在單一影格內運作:它會將半解析度的中間緩衝區(AO、SSR 或 SSGI)升至渲染解析度,再由美術效果階段讀取,並以深度和法線作為引導。這些緩衝區平滑且帶有雜訊,沒有細節可供還原,只需要保留邊緣。TAAU 則是時間升頻:它會將渲染解析度的最終影像升至輸出解析度,並從套用抖動的影格中還原真實的次畫素細節。單一影格可以同時使用兩者。不過,如果兩者的比例都是 0.5,SSR 和 SSGI 在每個軸向上的解析度就只有輸出解析度的四分之一,因此啟用 TAAU 時,或許最好讓它們以完整渲染解析度執行,並略過雙邊升頻步驟。

待補之處。

  • 整合至完整渲染管線。範例只升頻單一場景繪製階段。此處的渲染管線包含前置處理階段、半解析度效果,以及美術效果階段;這些階段都必須對解析度和抖動採取一致設定,而 SSR 的前一影格讀取也必須取得 TAAU 的輸出。目前還沒有將這些部分一起測試。
  • 材質 mip 偏移。以半解析度渲染時,GPU 選用的材質 mip 會比輸出所需的更模糊。所有時間升頻器都會搭配負的 mip 偏移,數值約為解析度縮放比例的 log2。目前 Three.js 尚未套用這項偏移。
  • TRAA 的改進。TAAU 目前以 TRAA 的方式取樣並裁切歷史資料,因此 Catmull-Rom 歷史取樣和靜止時較寬的裁切範圍也適用於 TAAU;TRAA 測試架構也應以相同的超取樣參考影像來評估 TAAU。
  • 更省成本的鎖定值。每個畫素只需要一個鎖定值,但目前將它儲存在第二個半浮點 RGBA 歷史目標中。改用單一 8 位元通道,每個輸出畫素就能節省 7 個位元組。

後續工作#

渲染管線完成後,還有幾個方向值得深入探索。

  • 更省成本的雜訊。Houston Stratified Noise不必下載材質,就能為 SSR 提供優異的取樣品質,但每次取樣約需 400 次運算,而且每個畫素每一影格都要付出這項成本。對如此基礎的功能來說,代價太高。可行的方向是把部分運算移至小型預先計算對照表:大小數百 KB,在啟動時以 50 ms 或更短時間產生,保留 HSN 的特性,同時讓每次取樣只需查表並執行幾次加法。
  • 自動曝光。從暗室走到明亮的庭院時,需要模擬眼睛的適應過程,這是每款遊戲都會有的功能。目前 Three.js 尚未提供。
  • 符合物理特性的太陽與天空。Three.js 的天空效果是為美術調整而設計,並非依據真實光照強度。透過窗戶照亮的房間,需要彼此一致、也與曝光設定相符的太陽和天空:在 GPU 上計算大氣散射,並以真實單位推導太陽的色彩和強度。原型已實作單次散射;多重散射和雲層仍待完成。
  • glTF 中的反射探針。KHR_lightmap 可攜帶光照貼圖,但目前沒有標準格式可用來封裝反射探針。最基本的做法是記錄每個探針的位置和影響範圍,讓載入器在載入時擷取探針;更完整的格式也可以一併攜帶預先濾波的立方體貼圖,完全免去擷取步驟。
  • 方向性光照貼圖。這裡的光照貼圖會為每個紋素儲存單一輻照度值,因此法線貼圖無法對烘焙光照產生反應。方向性光照貼圖只需為每個紋素多用幾個位元組,就能恢復這種反應:加入一個環境光項與一個主要方向,如 The Last of Us 和 Call of Duty 所採用的做法;使用一階球諧函式,如 Frostbite;或使用球面高斯函式,如 The Order: 1886。

還缺什麼#

最大的缺口是每個畫格最後需要的部分:如何將兩個級聯都接入材質的 BRDF。這個階段對 Three.js 的影響比其他任何階段都大,因此會另寫一篇文章介紹。

讀者討論

理性交流 · 即時討論