Three.js 如何逐步補上 AAA 遊戲引擎的光照效果
My Quest to push native Three.js quality match AAA Game Engines
Three.js 已有不少做出遊戲級光照效果的工具,但要把反射、環境光和材質光照接成完整流程,還有缺口。
- 作者逐一檢查這套流程:場景預先計算的光照可照亮靜止物件,探針則補上移動物件的光。
- 螢幕上的反射與間接光再補充即時變化。文章也說明,反射若要進入材質本身,需要追蹤前一幀的畫面,並依表面材質處理光線。目前最大的缺口,是讓這些光照來源能一起接入材質。
- 部分功能仍在審查或草擬中。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
文章逐階段比較 Three.js 與 AAA 遊戲引擎的光照流程,指出反射、全域光照和材質整合仍缺哪些環節,適合掌握這套技術的進度與瓶頸。
這篇文章是進度報告:逐階段以 Three.js 檢視第 2 部分推薦的管線。
本文沿用第 1 部分的照明術語:間接漫反射與鏡面反射、光源、覆蓋率、SSR 和 SSGI,並新增五個術語:
- BRDF:材質的著色函式,說明表面如何將入射光轉換成你所看到的光。
- G-buffer:以每個畫素儲存可見表面資訊的影像(深度、法線、粗糙度),供螢幕空間效果讀取。
- TRAA:時間反鋸齒;每一影格會與重新投影的前幾個影格混合。
- TAAU:搭配升頻的時間反鋸齒;累積方式相同,但場景會以低於輸出解析度的設定進行算繪,歷史影格則維持在輸出解析度。
- PMREM:針對每個粗糙度等級預先模糊處理的環境貼圖,Three.js 便是透過它使用立方體貼圖進行照明。
管線#
管線分成兩部分。設定階段會填入三種快取:靜態網格的光照貼圖、供移動物件使用的光照探針網格,以及每個房間的反射探針。
設定階段:三種快取。光照貼圖最費工,探針網格則只需烘焙一次。實線步驟目前已在 Three.js 中;著色步驟正在審查中。
接著,每個影格會讀取這些快取,再疊加螢幕空間運算:
管線中的一個影格。實線階段目前已在 Three.js 中,著色階段正在審查或部分完成,外框階段則尚待建置。TRAA 的輸出,或升頻時 TAAU 的輸出,會供下一個影格的 SSR 和 SSGI 使用。
目前進度#
以下比較各個階段與遊戲需求的差距。每一列都會在下方各節說明:
| 階段 | 已在 Three.js 中 | 正在審查或已有草稿 | 尚待建置 |
|---|---|---|---|
| G-buffer | MRT 預先通過 | 八面體法線 | |
| 烘焙式 GI | lightMap、UV 展開工具、烘焙器、光線追蹤輻射度、降噪器、HDR JPEG XL | 接縫縫合、KHR_lightmap(草稿) | glTF JPEG XL 與 UltraHDR 擴充功能、執行階段 BC6H |
| 動態 GI | LightProbeGrid、烘焙速度提升 8 倍、多重反彈、分散至多個影格更新 | DDGI 可見度(草稿) | — |
| 遮蔽 | GTAO、builtinAOContext、來自 SSGINode 的 AO | 彎曲法線與 GTSO(草稿)、聯合雙邊升頻取樣(草稿) | 來自 SSGINode 的彎曲法線 |
| SSR | 隨機 GGX SSR、時間累積、多重反彈 | 前一影格追蹤 | Hi-Z 追蹤、覆蓋率輸出、時空 SSR 降噪器 |
| SSGI | SSGINode、透過單次地平線搜尋取得反彈光與 AO,再合成至完成的影像上 | 前一影格追蹤(草稿) | 覆蓋率輸出、供 BRDF 使用的漫反射光源 |
| 反射探針 | 單一方盒投影環境貼圖、PMREM | 探針系統(草稿)、立方體陣列 | 探針正規化、128² 預先篩選 |
| BRDF 整合 | AO 脈絡、環境備援 | — | 可插拔的間接鏡面反射與漫反射、覆蓋率級聯 |
| TRAA 與 TAAU | TRAA 節點、TAAU 節點 | Catmull-Rom 歷史影格(草稿)、靜止時放寬裁切範圍與測試架構(草稿) | 完整管線中的 TAAU、貼圖 mip 偏移,以及移植至 TAAU 的 TRAA 改良專案 |
目前最大的缺口在 SSR、SSGI 和 BRDF 這幾列:SSR 需要 Hi-Z 追蹤與覆蓋率,SSGI 也需要相同的覆蓋率;最重要的是可插拔的間接照明,能將兩種級聯整合進 BRDF。其餘功能都已在 Three.js 中、正在審查或已有草稿。
這項工作能以這麼快的速度推進,要歸功於 Three.js 維護者。Michael Herzog(@Mugen87)審查了大多數這些 PR,也不只一次重新調整其中一項的設計,讓它更符合 Three.js 整體的建構方式,並調整渲染器內部架構以納入這些變更。mrdoob 也表達了對其中許多專案的高度支援。我很幸運能得到他們兩位的協助。
不過,到目前為止,這些部分都是逐一提出、各自審查,每一項都依其本身的價值評估。沒有人被要求承諾接受整套方案。這一系列文章是我試著把它們整合成一個連貫的整體,讓每個 PR 除了能依功能評估,也能看出它在整體中的定位。
逐階段拆解渲染管線#
本文接下來會逐一說明影格中的各個階段。每個階段都會回答三個問題:遊戲需要什麼、Three.js 已具備什麼,以及 還缺少什麼。第三個問題的答案,就是接下來要處理的工作。
G-buffer#
遊戲需要什麼。SSR、GTAO 和降噪器都會在光照前於螢幕空間中運作,因此需要逐畫素描述可見表面的資訊:G-buffer。延遲渲染引擎會儲存光照所需的一切資訊,包括基礎色彩和自發光資訊,因為光照階段只會讀取 G-buffer。像 Three.js 這樣的正向渲染器在這方面有個優勢:美術渲染階段會直接對每個材質進行著色,因此 G-buffer 只需包含螢幕空間處理階段會讀取的資訊。
| 數值 | 最低位元數 | 讀取者 |
|---|---|---|
| 深度 | 24 | 所有處理;也是 Hi-Z 金字塔的來源 |
| 法線 | 2×12(八面體編碼) | SSR 射線方向、GTAO、降噪器 |
| 粗糙度 | 8(感知值) | SSR 光瓣與粗糙度衰減、降噪器核心大小 |
| 金屬度 | 1–8 | 非金屬材質的 SSR 衰減 |
| 材質旗標 | 2–8 | 遮罩天空、水面與透明物件的 SSR |
| 動態向量 | 2×16 | TRAA、SSR 命中點重投影、降噪器歷史資料 |
基礎色彩、自發光資訊和材質 AO 貼圖不在清單中:美術渲染階段會直接從材質讀取這些資訊。
Three.js 已具備什麼。WebGPURenderer 已會使用多重彩色附件渲染 G-buffer 預先通道,SSR 範例目前也已使用這項功能。法線會封裝在 RGB8 中,粗糙度則放在 alpha 通道;基礎色彩與金屬度放在第二個 RGBA8 目標,速度則放在第三個目標:
const scenePass = pass( scene, camera ); scenePass.setMRT( mrt( { output: output, diffuseColor: vec4( diffuseColor.rgb, materialMetalness ), normal: vec4( packNormalToRGB( normalView ).rgb, materialRoughness ), velocity: velocity } ) );
因此,機制已經存在。缺少的是資料配置方式與法線精度。
G-buffer 結構與記憶體用量#
以下配置涵蓋上表內容,使用三個彩色附件加上深度:
| 目標 | 格式 | 每畫素位元組數 | 內容 |
|---|---|---|---|
| 深度 | D32F,反向 Z | 4 | 深度 |
| 法線 | RG16 snorm(後備方案為 RG16F) | 4 | 八面體法線 |
| 材質 | RGBA8 | 4 | 粗糙度、金屬度、旗標、預留 |
| 動態 | RG16F | 4 | 螢幕空間速度 |
| 總計 | 16 |
每畫素 16 位元組,以 AAA 遊戲的標準來看相當精簡。延遲渲染引擎通常會使用 20–28 位元組,因為還會儲存基礎色彩、自發光資訊和烘焙光照。
不過,G-buffer 並不是唯一佔用整個畫面尺寸的記憶體。影格中的其他部分還包括半精度浮點色彩目標(8 B)、TRAA 歷史資料與輸出(16 B)、用於重投影的前一影格深度(4 B)、SSR 的 Hi-Z 金字塔(含各級 mip 約 5 B)、半解析度 SSR 工作集(6 B)、也包含遮蔽資訊的半解析度 SSGI 工作集,以及它讀取的重投影前一影格(合計約 5.5 B),還有場景解析度的升頻 SSR 與 SSGI 結果(合計 15 B)。所有效果都啟用時,規劃預算約為每畫素 76 bytes:1920×1080 約 157 MB,4K 則約 626 MB。第 2 部分附有這些數字所依據的計算器,以及 TAAU 和較低階配置的範例。這些是針對提議中的級聯與簡單濾鏡所做的估算,並非目前外掛實際配置的記憶體資料。這份清單也納入了升頻後的目標。半解析度效果仍需要考量深度與法線的升頻處理,才能避免反射和遮蔽資訊溢位物件邊緣。我已將這個濾鏡草擬為jointBilateralUpsample();下文的遮蔽章節會再詳述。
法線精度#
Three.js 目前唯一儲存精度過低的欄位就是法線。SSR 對法線誤差非常敏感:光線若從稍有偏差的法線反射,經過長距離追蹤後,落點就會明顯錯誤。使用 RGB8 法線時,平滑的曲面會被量化為有限幾種方向,反射因此出現色帶與聚集現象。
AAA 遊戲的 G-buffer 會以八面體編碼解決這個問題:將方向球面摺疊到八面體上,再展開成正方形,並儲存兩個座標。就其所佔空間而言,這是 Cigolle 等人調查的編碼中精度最高的一種。我們已透過 PR #35480,將 packNormalToOctahedral() 和 unpackOctahedralToNormal() 加入 Three.js:
| 編碼(每畫素 4 bytes) | 平均誤差 | 最大誤差 | 可用範圍 |
|---|---|---|---|
| RGB8(目前) | 0.17° | 0.38° | 所有平臺 |
| 八面體 RG16F | 0.011° | 0.040° | 所有支援 WebGPU 的裝置 |
| 八面體 RG16 snorm | 0.0013° | 0.0037° | 93% 的 WebGPU 裝置 |
相同的 4 bytes,使用半精度浮點數時精度提高 15 倍以上,使用 snorm 時則提高 100 倍以上。目標格式是 RG16 snorm,並以 RG16F 作為備援。

以 RGB8 法線(左)追蹤的反射會出現色帶;八面體 RG16F 法線(右)的反射則平滑自然。

儲存法線的角度誤差:RGB8(左)與八面體 RG16F(右),比例尺相同。
全域照明#
遊戲所需的功能。根據這份調查:
- 為所有不會移動的物件預先烘焙至光照貼圖的反彈光。
- 使用探針體積為動態物件提供照明,最好能避免光線穿透牆面。
光照貼圖。執行階段所需的功能已在 Three.js 中提供多年:每種標準材質都會讀取一個 lightMap,資料來自第二組 UV 座標。缺少的是製作光照貼圖所需的一切:展開工具、烘焙器、實用的求解器,以及儲存和傳送結果的方法。如今這些部分已整合成完整的烘焙流程,可直接在瀏覽器中執行。這個主題內容豐富,因此另有一篇文章專門介紹:第 4 部分:為 Three.js 加入穩健的光照烘焙功能。
光照探針。對動態物件而言,LightProbeGrid會在場景中佈置探針網格,每個探針都以 L2 球面調和函式儲存入射光,並根據物件周圍的探針為其提供照明(範例)。效果不錯,限制在於擷取時間太長。

由 LightProbeGrid 照明的 Sponza。
探針擷取速度。 批次擷取探針讓 LightProbeGrid 的速度提升四倍,後續變更又讓速度加倍:現在的烘焙速度約為 9 月初的八倍,並支援多次反彈光線。效能分析顯示,烘焙速度受限於 CPU 提交算繪通道的速度,而非 GPU,因此批次擷取會以單一陣列攝影機,每個通道算繪八個探針:解析度為 12 的網格,處理時間從 5.6 s 降至 1.2 s。精確積分球諧函式,也將誤差從 2.4% 降至 0.08%。第二次加倍則是透過逐一以各自的子攝影機剔除每次繪製。
探針漏光。牆壁一側的探針可能照亮另一側的物件,因此明亮房間的光會讓隔壁的暗房間亮起來。DDGI 的解法是讓每個探針儲存各個方向到最近表面的距離,並忽略看不到受照點的探針。LightProbeGrid 的DDGI 式可見度加權已作為草稿 PR 提出。逐畫素測試周圍全部八個探針的可見度成本很高,因此草稿改用四面體插值,混合四個探針。在 Sponza 場景中,這會讓算繪時間增加約 10%;使用八個探針則會增加 30%。

探針可見度加權:暖色房間與藍色房間不再隔著牆互相照亮。
環境光與鏡面遮蔽#
遊戲的需求。光照貼圖的解析度太低,無法呈現接觸陰影,而且不包含動態物件的資訊。遊戲會額外加入螢幕空間遮蔽,而 Activision 的 GTAO 是業界標準。它也會產生彎曲法線,也就是平均的開放方向,進而提供鏡面遮蔽(GTSO):反射若指向表面的凹折處,就會受到遮蔽;若指向開口處,則不會。
GTAO 會搜尋深度緩衝區,找出每個畫素周圍的地平線,以判斷遮蔽情況。Three.js 採用的地平線式 SSGI 也會進行相同搜尋,並沿途收集找到的光線,因此一次通道就能同時輸出兩者。因此,管線不會同時執行這兩者:啟用 SSGI 時,其通道會提供遮蔽資訊與彎曲法線;只有在關閉 SSGI 時,才會單獨執行 GTAO。
適用於何種光線的遮蔽,與遮蔽的計算方式同樣重要。在這條管線中,遮蔽不是任一級聯中的步驟,而是共用緩衝區,和目前一樣以 builtinAOContext 設定;需要遮蔽資訊的光源會讀取該緩衝區,並調暗各自的結果:
- 光照貼圖、探針網格與環境光會對間接漫射光套用 AO,並與材質的 AO 貼圖合併,如同
min( materialAO, gtao )。 - 反射探針與環境光會對間接鏡面光套用 GTSO。
- SSR 與 SSGI 都不會套用。螢幕空間命中代表光線實際找到的內容,因此遮蔽已正確反映在其中。
- 在 SSGI 後方的漫射光源會略過 AO。SSGI 的涵蓋率代表螢幕上物件遮擋半球的比例,這本身就是遮蔽。級聯已透過
1 − coverage縮放光照貼圖或探針網格的光線,因此再套用 AO 就會使它們被重複調暗。 - 直接光不受影響,因為它已有陰影。
級聯不會看到這些內容;它們只根據覆蓋率混合顏色。來源只需遵守一項規則:遮蔽會讓顏色變暗,絕不會降低覆蓋率。遭遮蔽的探測結果仍會回傳畫素,只是顏色較暗;若降低它的覆蓋率,下一個來源未受遮蔽的光線就會漏進角落。
將 AO 套用到光照貼圖表面時,表面會稍微被重複變暗,因為烘焙結果已包含靜態自我遮蔽。即使如此,我們還是會套用 AO,因為動態物件仍需要遮蔽靜態物件。
Three.js 現有的功能。 GTAO 已經加入其中,而且會將結果傳入光照計算,而非與最終影像相乘。AO 範例會先算出預先處理結果,再執行 GTAO,接著透過光照內容將結果傳給美術渲染階段:
const aoPass = ao( prePassDepth, prePassNormal, camera ); scenePass.contextNode = builtinAOContext( aoPass.getTextureNode().sample( screenUV ).r );
這正是管線其他部分需要採用的模式,後文也會再次談到它的重要性。
尚待補足之處。共有三項。
-
鏡面遮蔽。目前 GTAO 只會輸出單一可見度值,實體光照模型再根據視角和粗糙度,透過啟發式方法將它轉換為鏡面遮蔽。它不知道哪些方向遭到遮蔽,因此金屬表面在凹槽內仍會反射天空。Bent normals 和 GTSO已提交草稿 PR。Bent normal 會從相同的地平線搜尋結果中產生,不需額外取樣深度;代價是 AO 渲染目標會從每畫素 1 位元組增加到 4 位元組。
-
邊緣感知升頻。將半解析度 GTAO 以雙線性濾鏡升頻,會在物件周圍留下深色輪廓,因為來自後方表面的遮蔽會滲過每一道剪影。
jointBilateralUpsample()會以全解析度的深度和法線作為引導進行升頻(Kopf 等人,2007),讓結果在邊緣處停止。這項功能目前仍是草稿,尚未提交;AO 範例會是第一個使用者。半解析度 SSR 也需要相同的濾鏡。 -
從
SSGINode取得 Bent normals。草稿會將 bent normal 加入GTAONode。SSGINode也需要相同的輸出,取自搜尋時找到的未受遮蔽方向,讓啟用 SSGI 時不必再執行第二次處理來計算鏡面遮蔽。

使用 GTSO(左圖)時,凹槽和空腔不再反射天空。使用純量鏡面遮蔽(右圖)時,它們仍會發亮。
反射:螢幕空間反射#
遊戲的需求。參考 DOOM、Frostbite 等遊戲,級聯中的 SSR 必須做到:
- 使用 Hi-Z 深度金字塔,高效率地追蹤任意距離。
- 輸出覆蓋率,讓探測結果能補足遺漏的部分。
- 追蹤前一影格的受光影像,讓其結果能傳入目前影格的光照計算。
- 在空間與時間上進行降噪,讓每畫素只需一條光線就足夠。
Three.js 原有的功能。9 月時,Three.js 的 SSR 是為不同用途打造:在精巧的場景中,將反射效果加到已完成的影像上。它取樣次數少,因此粗糙表面的反射會有雜訊。它會將結果合成到影像上,因此不會經過 BRDF。它的光線也會在固定距離處停止,因此無法反射遠處的物體。
自那之後,許多部分都已改變。SSRNode 現在會以重要性取樣方式追蹤完整的 GGX 波瓣,採用正確的菲涅耳效應、驗證並精煉命中點,並以 Houston Stratified Noise(又稱 HHW,即 Hierarchical Hashed Weyl)雜訊取代藍雜訊紋理。結果會重新投影並隨時間累積,再回饋至場景,讓反射中也能呈現反射。
目前它還無法整合進級聯架構。以下是 SSR 範例如何與場景結合:
const litColor = scenePassColor.rgb.add( denoisedReflections.rgb );
先渲染美術效果影格,再由 SSR 追蹤同一張影像,最後將反射疊加上去。上述每項需求都是在此基礎上尚待補足之處。
Hi-Z 追蹤。SSRNode 目前最多會以 64 個步驟逐步掃描深度緩衝區,最遠可達 maxDistance,並以 thickness 作為判定命中的容許值。長距離光線的成本很高,而且這兩個數值都需要針對每個場景調校。Hi-Z 深度金字塔是一串 mip 層級,每個紋素會儲存下方四個紋素的最小深度。光線會在較粗的層級中跨越大片空白區域,接近表面時才採取細步進,因此成本會隨光線長度的對數增加。如此一來,每條光線都能延伸至螢幕範圍所及之處,不必調校最大距離。在金字塔中同時儲存最小與最大深度,也有助於厚度測試:單一深度層無法判斷光線是從物件後方通過,還是進入了物件;額外的界限能縮小這項歧義。這項技術源自 Uludag 發表於 GPU Pro 5 的論文 Hi-Z Screen-Space Cone-Traced Reflections,並以 McGuire 和 Mara的螢幕空間光線步進技術為基礎。Frostbite(用於平滑表面)、AMD 的 FidelityFX SSSR 和 Killing Floor 2 都採用了這項技術。一個初步原型在 48 個 GPU 測試案例中,結果與線性步進完全一致,但目前整體效能尚未提升:追蹤最多可節省約 7% 的時間,但建立金字塔的成本更高。使用 GTX 1050 時,一個測試場景的影格率從 199 降至 159 fps,另一個則從 126 降至 97。下一步是降低金字塔建置成本,並採用 AMD SPD 中的做法,在單次計算著色器派送中完成,再連同追蹤一起測量。
Hi-Z 光線步進:在空白區域採取大步進,接近表面時採取小步進。
覆蓋率。目前光線未命中時,SSR 會自行取樣環境貼圖:這是一張以 environmentNode 傳入的等距柱狀投影紋理,無法使用經 PMREM 篩選的 scene.environment,更不用說區域探針。在影像上疊加 SSR 也會讓環境反射重複計算兩次:一次在美術效果影格中,另一次則是 SSR 自己的備援結果。在級聯架構中,SSR 應改為輸出反射及其覆蓋率;在螢幕邊緣、掠射角度、薄幾何體後方及表面粗糙度很高時降低覆蓋率,其餘部分則交由探針處理。我們已完成原型,並會與下方的 BRDF 整合一併納入。
追蹤前一影格。SSR 讀取照明輸出時,就無法同時成為照明流程的一部分。DOOM 的作法是追蹤目前的深度緩衝區,但讀取前一影格的色彩:將每個命中點重新投影至前一影格的 TRAA 輸出,再從中取樣。前一影格的影像已包含前一影格的反射,因此面對面的鏡子每一影格都能多反射一次。前一影格追蹤目前正在審查中。
要讓這個回饋迴圈維持穩定,有兩項規則。第一,影像空間反射(SSR)讀取的必須是線性 HDR 輻射亮度,而且要在 TRAA 之後、色調對映、泛光及其他後製處理之前取得;否則反射會帶入經過色調對映的色彩與泛光光暈。第二,回饋的輻射亮度必須限制範圍。每一影格的反射都會成為下一影格的輸入,因此去雜訊器只要產生單一亮點或些微能量增益,效果就會逐幀累積,而不是逐漸消退。

僅顯示反射。採用前一影格回饋後,反射中也會出現反射。
去雜訊。粗糙表面的反射需要每畫素多於一條光線所能提供的資訊,而 Three.js 目前還沒有專為 SSR 設計的時空去雜訊器。Frostbite 的做法可作為參考:依照每個畫素自身的 BRDF 加權,重用鄰近畫素的光線,再隨時間累積,並依據反射命中點的移動重新投影歷史資料,而非依據表面的移動,因為反射的移動方式與呈現反射的表面不同。zalo 正在處理這項工作。他的以 SVGF 為基礎的 DenoiseNode已合併,但 SSR 範例目前已改回先前的去雜訊器,以便重新調整為適用於反射。下一次嘗試將透過除錯測試架構評估。其中一項功能已完成原型:解調,也就是在濾波前從訊號中除去表面色彩,並在之後乘回去,讓去雜訊器模糊光照,而不會模糊紋理細節。

相同的雜訊訊號與濾波器:未解調(左)與已解調(右)。
螢幕空間全域光照#
SSGI 是 SSR 的漫射光對應技術。它會加入烘焙光照無法預先計算的反彈光,幾乎可以重用 SSR 所需的一切,而且啟用時會取代 GTAO。
遊戲的需求。將 SSGI 納入光照流程的引擎,會把它放在烘焙光照之前,作為級聯流程的第一階段,如第一部分所述。這表示 SSGI 必須:
- 輸出覆蓋率:在螢幕上找到表面的半球方向所佔比例。其餘方向則由光照貼圖或探針網格補足。
- 追蹤前一影格的已照明影像,讓結果能供目前影格的光照使用,也讓反彈光每一影格都能再反彈一次。
- 隨時間累積,以半解析度執行,並採用與 SSR 相同、能保留邊緣的升頻方式。
Three.js 現有的功能。SSGINode已經存在,採用SSRT3的可見性位元遮罩方法,將 GTAO 的地平線搜尋延伸為同時收集光照與遮蔽資訊。對每個畫素,它會沿著半球的一個切片向外逐步取樣,標記深度緩衝區遮擋該切片中哪些區段,並收集遮擋物的色彩。依預設值,每次搜尋取樣 24 個深度,可產生 GI 紋理與 AO 紋理;由於每個取樣都涵蓋整段方向弧,因此雜訊遠低於單一隨機光線。這就是此流程只為它配置一份時間歷史資料,而不另外使用空間濾波器的原因。SSGI 範例會追蹤目前影格的美術渲染結果,並將效果合成其上:
const composite = vec4( scenePassColor.rgb.mul( ao ).add( scenePassDiffuse.rgb.mul( gi.rgb ) ), scenePassColor.a );
尚待補足之處。與 SSR 相同,原因也相同。
- 涵蓋率輸出。 搜尋標記為阻擋的區域,就是搜尋找到表面的方向,因此涵蓋率為
1 − ao,而節點已經會計算這項數值。缺少的是將 GI 和涵蓋率成對交給級聯系統。若沒有這項資訊,SSGI 就只能疊加在烘焙好的反彈光照上,導致重複計算,也無法取代原有光照。 - 前一影格追蹤。 讀取目前影格的 beauty pass,會迫使 SSGI 在其後執行,作為合成效果處理。這裡新增的 前一影格追蹤 遵循 SSR 的相同規則:在色調對映前使用線性 HDR,並限制取樣範圍。兩者有一項差異:SSR 每個畫素只會讀取一次前一影格,也就是射線落點的位置;SSGI 則會在每個找到表面的取樣點讀取,因此每個畫素都得多次進行重投影。一份草稿在 Apple M3 上進行測量:每個取樣點都依攝影機移動進行重投影,會讓影格率降低 14–22%;若改用每畫素速度進行重投影,也就是連移動中的物件也會跟著處理,影格率則會降低 32–44%。因此,系統改為依速度將前一影格重投影一次,寫入與目前影格對齊的半解析度緩衝區,搜尋時直接讀取該緩衝區。在測試場景中,這種作法的影格率與追蹤目前影格相同,也沒有可見的瑕疵。
- 漫射光源。 同時取得兩者後,
SSGINode就會成為下文所述漫射光源清單中的第一個專案,材料則不必變更。
反射:區域探針與級聯系統#
遊戲的需求。 Three.js 最初是為渲染漂浮在空間中的單一物件而打造,並以一張環境貼圖照明;在這種用途下,它表現出色。但在室內場景中,使用單一環境貼圖顯然不合適:從紅色房間走進藍色走廊時,地板應該先反射紅色,再反射藍色,而不是天空。
調查中的每款遊戲,以及 Unreal 的反射擷取,都透過區域反射探針解決這個問題:在各個房間內擷取立方體貼圖,每個探針都有一個方框,用來描述其影響範圍。在方框範圍內,探針會採用方框投影:先計算反射射線與房間方框的交點,再朝向該交點取樣立方體貼圖,而不是沿著原始射線取樣。這個步驟能消除立方體貼圖大部分的視差誤差,因此即使你在室內走動,遠處牆面的反射仍會穩定地映在地板上(Lagarde 的說明是經典解釋)。方框重疊時,探針會彼此混合;方框之外的天空則由最外層探針處理:它的方框範圍無限大,且不使用方框投影。
Three.js 現有的功能。 所需的基本功能都已具備。CubeCamera會擷取立方體貼圖,PMREMGenerator會依粗糙度預先篩選貼圖,getParallaxCorrectNormal()則會進行方框投影,如方框投影環境貼圖範例所示。但這些功能只能手動為每種材料設定一個探針。場景中沒有探針組、影響範圍,也無法混合多個探針。
目前的缺口與補足方式。
- 探針系統。 適用於 WebGPURenderer 的方框投影反射探針新增場景層級的探針,支援影響範圍方框與混合功能,目前已提交 PR 草稿。
- 快速存取多個探針。 每個探針都繫結一張立方體貼圖,無法擴充至大量探針。立方體陣列紋理可將所有探針放在同一張紋理中;其取樣功能已合併,紋理類別目前正在審查中。
- 探針正規化。探針是在房間中的某個位置擷取,因此無論在哪裡使用,它看到的都是該房間明亮、開闊的景象。於是,陰暗角落或櫥櫃內部也會映出明亮的房間。《Call of Duty》的解法始於 Black Ops II,並沿用至 Infinite Warfare:以畫素處的漫射光與探針處的漫射光之比,縮放探針反射。光照貼圖和探針網格已提供這兩者,因此幾乎不增加成本。這代表反射探針必須能取得畫素處的漫射結果,而 可插拔設計允許這麼做。這部分仍待實作。
- 小型探針。
PMREMGenerator的最小尺寸為 256²。對模糊的室內反射而言,128² 的探針已很足夠,因為前方的 SSR 會處理清晰反射,而且只需四分之一的記憶體。128² 的預先篩選仍待實作。

兩個相連的房間各自映出自己的牆面,使用三個盒狀投影探針。
BRDF 中的間接光照#
遊戲的需求。只有反彈光線經過材質的 BRDF,這些級聯效果才會生效,因此菲涅耳效應、粗糙度與金屬度對反彈光線的影響,必須和對直接光的影響完全相同。在前向渲染器中,這代表外觀渲染階段需要兩種輸入:
- 間接漫射:有涵蓋範圍時使用 SSGI;接著,靜態網格使用光照貼圖;其他所有物件則使用探針網格,超出網格範圍時依涵蓋範圍退回環境貼圖。
- 間接鏡面反射:使用 SSR,依涵蓋範圍退回盒狀投影探針,再退回環境貼圖。
需要遮蔽的來源會自行套用遮蔽效果,如上所述。
接著兩者都會和直接光一起,經過一般的分離總和近似法(Karis 2013)。
各引擎處理這些效果的位置不盡相同。Unreal 等延遲渲染引擎會在填入 G 緩衝區時取樣光照貼圖,並在獨立的全螢幕階段合成反射。Three.js 採用前向渲染,因此最自然的做法是在外觀渲染階段之前,先在螢幕空間計算所有效果,包括 SSR、SSGI 和 AO,再讓各材質在著色時讀取這些結果。追蹤前一影格,正是這種處理順序得以實現的關鍵。
Three.js 現有的功能。間接漫射大致已就緒:lightMap、LightProbeGrid和scene.environment都會提供間接漫射,而 AO 也已透過builtinAOContext套用於其中。間接鏡面反射則只來自scene.environment,或材質本身的envMap。
缺口。這是目前最大的缺漏。現今沒有辦法像把 AO 接入漫射項一樣,將螢幕空間結果或一連串光源接入材質的間接鏡面反射項。我們希望把 AO 的模式延伸至這兩個專案,並維持現有環境貼圖作為預設值。提案設計見 Three.js 可插拔間接光照。
TRAA 與 TAAU 完成整體迴圈#
遊戲的需求。時間性反鋸齒是現代引擎的標準功能。此處它還有雙重用途:輸出會成為下一影格 SSR 的輸入,因此在動態場景中必須保持清晰,也不能讓殘影或亮點雜訊迴流至反射中。
Three.js 現有的功能。具備 Halton 抖動、動態向量重投影及歷史影格變異數裁切功能的優良 TRAA 節點。
TRAA 已相當完善,沒有重大缺口需要補足。目前還有兩項細部調整待完成:
- 更銳利的歷史影格。以雙線性濾波器取樣的歷史影格,會隨著攝影機移動而逐格變得更模糊。Catmull-Rom 歷史影格取樣這項草擬中的 PR 可維持畫面銳利。
- 靜止時採用較寬的裁切範圍。變異數裁切可以避免殘影:它會捨棄與目前影格不再相符的歷史資料,但也會捨棄有用的歷史資料。TRAA 在快速移動時已會將裁切框縮至 0.5σ,但靜止時的裁切框為 1σ,範圍小到會裁掉已收斂的次畫素細節,因此靜態影像始終無法完全解析,而較長的歷史資料反而會讓評分變差。一項草擬中的變更尚未提交,將靜止時的裁切框擴大至 2σ,並新增
historyLength控制項。使用 TRAA 測試工具測量後,靜態視角相較於超取樣參考影像的 PSNR 提升 2.15 dB;攝影機靜止、物件移動時則提升 1.3 dB;攝影機快速移動時的變化不超過 0.06 dB。
使用 TAAU 進行升頻#
本系列評測的每款引擎都會以低於輸出解析度的尺寸進行算繪,再透過時間資訊重建差異:Unreal 的 TSR、Godot 的 FSR 2,以及《Cyberpunk 2077》的 DLSS 和 FSR。這是現代影格中影響效能最大的單一因素,因為解析階段之前的每個處理階段都能同時降低成本。
Three.js 提供的功能。TAAUNode 已具備這項功能,而TAAU 範例則展示了以四分之一畫素數運作的效果。它採用 Karis 的時間超取樣與 FSR 2 技術。場景階段會以較低解析度算繪,並透過 setResolutionScale() 設定。這個節點會抖動攝影機,從周圍 3×3 個經抖動的輸入取樣重建每個輸出畫素,再與輸出解析度的歷史影格混合;它採用與 TRAA 相同的深度排除和變異數裁切,並加入保護細小特徵的鎖定機制:
scenePass.setResolutionScale( 0.5 ); const taauNode = taau( scenePassColor, scenePassDepth, scenePassVelocity, camera );
整合方式。TAAU 會取代 TRAA,成為影格的最後階段;影格中的其他部分都維持原有架構:
- 之前的所有階段都會以算繪解析度執行。G-buffer 預先處理、Hi-Z、SSR、SSGI 和美術算繪階段都會採用相同的解析度比例。這個節點會將抖動套用至整個算繪管線中的攝影機,讓預先處理階段與美術算繪階段保持對齊。
- 它的輸出會成為下一個影格中 SSR 和 SSGI 讀取的影像。這是輸出解析度的線性 HDR 影像,因此反射雖然以算繪解析度追蹤,讀取的色彩卻比追蹤反射時所用的影格更銳利。SSR 章節提到的兩項規則仍適用:在色調對映前讀取,並進行限制。
- 泛光、色調對映及其他後製處理都會在它之後執行,並採用輸出解析度。
它也會改變前述的記憶體預算。啟用 SSR 和 SSGI 時,原生解析度 TRAA 的 76 位元組預算中,約有 60 位元組用於場景解析度資源,另外 16 位元組用於歷史資料和解析。TAAU 改用約 24 位元組的畫布尺寸資料,包含鎖定歷史資料,因此其估算模型為每個畫布畫素 60 × 解析度比例² + 24 位元組。比例為 0.5 時,記憶體用量約為 39 位元組,而非 76 位元組:4K 影格的用量從約 626 MB 降至 322 MB,著色的畫素數則降為四分之一。由於 TAAU 需要額外的歷史資料,記憶體用量的降幅會小於畫素數的降幅。第 2 部分提供計算工具連結,其中也納入升頻器暫定的流量預算。
TAAU 和聯合雙邊升頻並非二選一。兩者升頻的物件不同。jointBilateralUpsample()是空間升頻,只在單一影格內運作:它會將半解析度的中間緩衝區(AO、SSR 或 SSGI)升至渲染解析度,再由美術效果階段讀取,並以深度和法線作為引導。這些緩衝區平滑且帶有雜訊,沒有細節可供還原,只需要保留邊緣。TAAU 則是時間升頻:它會將渲染解析度的最終影像升至輸出解析度,並從套用抖動的影格中還原真實的次畫素細節。單一影格可以同時使用兩者。不過,如果兩者的比例都是 0.5,SSR 和 SSGI 在每個軸向上的解析度就只有輸出解析度的四分之一,因此啟用 TAAU 時,或許最好讓它們以完整渲染解析度執行,並略過雙邊升頻步驟。
待補之處。
- 整合至完整渲染管線。範例只升頻單一場景繪製階段。此處的渲染管線包含前置處理階段、半解析度效果,以及美術效果階段;這些階段都必須對解析度和抖動採取一致設定,而 SSR 的前一影格讀取也必須取得 TAAU 的輸出。目前還沒有將這些部分一起測試。
- 材質 mip 偏移。以半解析度渲染時,GPU 選用的材質 mip 會比輸出所需的更模糊。所有時間升頻器都會搭配負的 mip 偏移,數值約為解析度縮放比例的 log2。目前 Three.js 尚未套用這項偏移。
- TRAA 的改進。TAAU 目前以 TRAA 的方式取樣並裁切歷史資料,因此 Catmull-Rom 歷史取樣和靜止時較寬的裁切範圍也適用於 TAAU;TRAA 測試架構也應以相同的超取樣參考影像來評估 TAAU。
- 更省成本的鎖定值。每個畫素只需要一個鎖定值,但目前將它儲存在第二個半浮點 RGBA 歷史目標中。改用單一 8 位元通道,每個輸出畫素就能節省 7 個位元組。
後續工作#
渲染管線完成後,還有幾個方向值得深入探索。
- 更省成本的雜訊。Houston Stratified Noise不必下載材質,就能為 SSR 提供優異的取樣品質,但每次取樣約需 400 次運算,而且每個畫素每一影格都要付出這項成本。對如此基礎的功能來說,代價太高。可行的方向是把部分運算移至小型預先計算對照表:大小數百 KB,在啟動時以 50 ms 或更短時間產生,保留 HSN 的特性,同時讓每次取樣只需查表並執行幾次加法。
- 自動曝光。從暗室走到明亮的庭院時,需要模擬眼睛的適應過程,這是每款遊戲都會有的功能。目前 Three.js 尚未提供。
- 符合物理特性的太陽與天空。Three.js 的天空效果是為美術調整而設計,並非依據真實光照強度。透過窗戶照亮的房間,需要彼此一致、也與曝光設定相符的太陽和天空:在 GPU 上計算大氣散射,並以真實單位推導太陽的色彩和強度。原型已實作單次散射;多重散射和雲層仍待完成。
- glTF 中的反射探針。KHR_lightmap 可攜帶光照貼圖,但目前沒有標準格式可用來封裝反射探針。最基本的做法是記錄每個探針的位置和影響範圍,讓載入器在載入時擷取探針;更完整的格式也可以一併攜帶預先濾波的立方體貼圖,完全免去擷取步驟。
- 方向性光照貼圖。這裡的光照貼圖會為每個紋素儲存單一輻照度值,因此法線貼圖無法對烘焙光照產生反應。方向性光照貼圖只需為每個紋素多用幾個位元組,就能恢復這種反應:加入一個環境光項與一個主要方向,如 The Last of Us 和 Call of Duty 所採用的做法;使用一階球諧函式,如 Frostbite;或使用球面高斯函式,如 The Order: 1886。
還缺什麼#
最大的缺口是每個畫格最後需要的部分:如何將兩個級聯都接入材質的 BRDF。這個階段對 Three.js 的影響比其他任何階段都大,因此會另寫一篇文章介紹。