AI 能從影片中學到什麼物理知識?——Black Forest Labs 的 Andreas Blattmann 與 Dustin Podell
AI 能從影片中學到什麼物理知識?——Black Forest Labs 的 Andreas Blattmann 與 Dustin Podell
Black Forest Labs 的 Andreas Blattmann 與 Dustin Podell 回顧擴散模型(diffusion)與流匹配(flow matching)的演進,從潛空間(latent space)的起源一路談到 Flux 影像編輯與 Flux Action 機器人,主張以影片訓練出的視覺智慧,將朝世界動作模型(world-action model)的方向規模化發展。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
Podcast 專家音訊節目
收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情
Black Forest Labs 共同創辦人、潛在擴散模型(latent diffusion)共同發明人 Andreas Blattmann 主張,影像生成只是通往「視覺智慧」路上的一段繞路——真正的目標是讓模型在畫素、影片、音訊與機器人動作上訓練,從 2D 資料中隱式學會物理與 3D 結構,並以 2027 年作為機器人商業化的時間點。整集訪談大部分時間其實花在這項主張背後的技術脈絡:潛在擴散、SDXL refiner、flow matching 與 SD3、Black Forest Labs 的創立,以及從 Flux Context 到 Flux 3 Action 的 Flux 模型家族。標題所稱的「視覺智慧」確有其事,但直到節目後段才登場;本集主體是研究史與架構取捨。
Blattmann 與 Dustin Podell 對「什麼奏效、什麼沒奏效、為什麼」給出異常具體的說明。Podell 在 Stable Diffusion 發布當天辭掉軟體工作、加入 Stability AI 當工程師,一路擠進訓練叢集、主導 SDXL,如今是 Black Forest Labs 的創始研究員。讀者讀完應該能掌握:flow matching 與擴散的技術機制差異、兩人都視為模型進步真正驅動力的資料品質論點、Black Forest Labs 已披露的財務數字(募資 4.5 億美元、截至 2025 年 12 月營收突破 1 億美元),以及公司明確押注:單一多模態模型可以蒸餾成影像、影片、編輯、超解析與機器人動作等產品。
Flow matching 取代擴散,因為它更簡單且嚴格更好
Blattmann 對功勞歸屬很謹慎:flow matching 不是 Black Forest Labs 發明的,他們採用它是因為它能推廣擴散。在擴散中,兩個要互相轉換的分佈之一必須是標準常態分佈;flow matching 拿掉這項限制,並把問題從隨機微分方程重新表述為常微分方程。這個數學上的簡化讓快速取樣更可行——實際回報就是能把數十步蒸餾到只剩幾步。
Podell 的說法更直白:「它基本上就只是在雜訊到資料之間畫一條線。」他認為這是嚴格的改良,而非有損近似——它把「在兩個分佈之間對映」這件複雜的事,收斂成最簡單的一條線。
Blattmann 指出,SD3 論文的核心貢獻不是換演算法,而是運算資源分配的發現:如果沿著資料到雜訊的軌跡均勻取樣訓練步,會把運算浪費在資訊量低的地方。論文找出軌跡中最重要的區段,並在訓練時對這些區段超額取樣。這直接呼應 SDXL 的 refiner——它早已非正式地利用同樣的結構:軌跡前段學結構,後段學高頻紋理。
| 轉變 | 從 | 到 | 所述效益 |
|---|---|---|---|
| 機率模型 | 擴散(SDE,需標準常態分佈) | Flow matching/rectified flow(ODE,任意分佈) | 數學上更簡單、更通用、取樣更快 |
| 架構 | 卷積 U-Net | 擴散 transformer | 世界建模更好、文字渲染更好 |
| 訓練排程 | 均勻步取樣 | 對高資訊量軌跡區段超額取樣 | 單位運算換得更高效能 |
SDXL refiner 是為一個失敗的未發布模型所做的公開補丁
Podell 說 refiner 是他長久以來的遺憾,原因是一段本集首次揭露的內幕:曾經有一個完整的 SDXL 變體,以不同架構訓練到很後期,包含後訓練。它產生的高頻細節更好——皮膚紋理、草、細顆粒——但結構連貫性很差。團隊沒有直接推出,而是把工作拆開:基礎模型負責結構,refiner 本身是一個完整的擴散模型,負責細節。
「我本來希望這一個模型就什麼都擅長,」Podell 說,他至今仍認為雙模型管線是一種妥協,儘管他現在接受多個模型協同運作是常態。Blattmann 的反駁是「最簡方案原則」:能用最簡單的方法就用最簡單的,這是借自統計學的剃刀原則。
Podell 指出 SDXL 的其他創舉:大規模多長寬比訓練,採用桶式解析度分批(bucket-style resolution batching,在 packing 出現之前),以及 Stability 第一個有多階段訓練流程、搭配真正後訓練資料集的專案。最初的 Stable Diffusion 模型只能產生方形影像。Podell 提到 refiner 之所以招致公開批評,部分是因為管線被揭露——他對比 Runway 的 Gen-2,說那其實也是管線,卻沒有對外這樣宣傳。
前沿生成模型的真正瓶頸是資料品質,不是演算法
兩位來賓反覆回到同一個論點:演算法完美但資料很差,模型就只會學到爛資料。Blattmann 認為資料在研究圈被討論得太少,因為學術界是對著基準分數做最佳化、調演算法,而前沿實驗室清楚資料才是主導槓桿。Stable Video Diffusion 的工作很大一部分就是在研究資料過濾——數量與品質的取捨、甜蜜點落在哪裡——而每次大型預訓練之前,都必須透過縮放階梯(scaling ladder)針對各架構重新確立這個取捨。
那篇論文最引人注目的實驗:一個只用純 2D 影片預訓練的影片模型,在大約 1,000 步內就被微調成明確的 3D 模型。Blattmann 把這視為「3D 與物理理解可從 2D 觀察中湧現」的早期證據,而這正是整個視覺智慧論點的基礎。
影像中的文字渲染是最清楚的例證。Podell 不願把功勞歸給擴散 transformer:「真的就只是更好的建模和更好的資料。」如果圖說沒有描述到看得見的文字,模型就永遠學不會。Blattmann 對這個教訓的總結:簡單且可規模化,幾乎總是最有效的。
談到資料供應商,Blattmann 說有很多人來找 Black Forest Labs,而有價值的資料完全取決於訓練階段與目標問題——機器人領域的第一人稱視角(egocentric)資料就是個公開的秘密。他不願點名哪些類別有價值。
Black Forest Labs 的創立,是為了抓住 Stability AI 抓不到的價值
Podell 對動機說得很直接:團隊看到有公司靠他們的模型成功創立並經營,覺得 Stability 無法把模型應有的價值變現。創立 Black Forest Labs 是「我們修正那些低效或錯誤的一次機會」。Blattmann 補充,這家公司從來就不是以影像實驗室為構想——種子輪與 A 輪向投資人講的都是以影片作為通往世界理解的途徑,這個論點兩人在 2023 年還在 Stability 時就已公開講過。影像生成只是商業上很成功的一段繞路。
創立故事小而具體:13 個人,在法國山區一間木屋待了一週,大家一起寫程式。Podell 在那週做出某個東西,讓模型的一致性明顯提升。公司成立三個月後 Flux 1 發布,用 Blattmann 的話說,震驚了所有人——包括他們自己。
| 指標 | 數值 | 來源 |
|---|---|---|
| 總募資金額 | 4.5 億美元 | Blattmann |
| 營收突破 | 1 億美元,截至 2025 年 12 月 | Blattmann(最後公佈數字) |
| 創始團隊人數 | 13 | Blattmann |
| 從成立到 Flux 1 發布 | 3 個月 | Blattmann |
| 擴散研究資歷 | 約 7 年 | Blattmann |
公司名稱來自德國的黑森林地區;Blattmann 與共同創辦人 Robin Rombach 在唸博士時發現兩人出生地相距約 10 英里,刻意選擇 Freiburg,因為沒有投資人要求他們待在舊金山。他們現在在舊金山 410 Townsend Street 設有規模不小的辦公室,並形容公司同時紮根歐洲與美國。
Flux Context 源自一個副專案與四小時的訓練
Podell 在法國一間木屋的公司 offsite 上提出通用影像編輯,把它包裝成「全能模型」的演講。他的假設是:預訓練模型已經編碼了空間關係——帽子在狗頭上、瓶子在桌上——所以只要有對的資料,通用編輯應該用極少的訓練就能湧現。他借調了一位資料工程師,建了一小批高品質圖說,字面上描述影像中的關係,然後訓練大約四到六小時。在一個攝影資料集上,模型開始把 logo 放到衣服上,並能在概念之間做注意力轉換。效果不算好,但通用性已經看得出來。
這個專案接著變成全公司投入兩、三個月,主要是資料工程,並由一位叫 Axel 的同事做蒸餾讓它變快。Blattmann 認為它是第一個能快速做到角色一致編輯的模型,讓迭代式編輯變得可行。Podell 說他的目標是消滅吃角子老虎機式的流程——下提示、重擲、再下提示——改成對話式迭代。
他們也承認不足:Flux Context 只能處理單一輸入影像。使用者得把多張圖拼成一張來繞過限制。Flux 2 把上限擴到大約 10 張參考圖,兩人都認為這已接近實務上限——Blattmann 指出多數電影只有五、六個主要角色,超過 10 張參考圖,人類自己也追不上輸出結果。Podell 另外發布了 ContextBench,這是從內部基準衍生的公開評測集,部分內容是他和同事 Tim Dawhorn 深夜坐在舊金山辦公室後房間、猛打荒謬提示(「把貓變得很胖」)做出來的。有些素材在公開版中被過濾掉。
Flux 3 是一個模型蒸餾成影像、影片、音訊、超解析與機器人動作
架構上的主張是:一個在影像、影片與音訊上預訓練的單一多模態模型,可以特化成每一項出貨產品:Flux Video、Flux Video Edit、Flux Action、Flux Image、Flux Image Edit、4K 影片超解析,以及機器人模型。Blattmann 以此作為通用預訓練會複利累積的證據——每個應用都是衍生而來,不是從頭訓練。
機器人部分機制很具體:模型在影片之外同時預測機器人關節狀態(平移與旋轉,每個關節六個自由度),以一段先前的影片影格與一道指令為條件。它大約以 10 FPS 執行,每次預測約 9 到 21 幀的區塊,每個迴圈都重新以機器人攝影機畫面為條件。目前迴路中沒有高階規劃器——Blattmann 承認這正是語言模型端最終要接進來的位置。出貨模型是 7B 引數,尺寸是為了在製造現場做裝置端即時部署。
微調所需的資料量是最受矚目的數字:Blattmann 說某個工業應用大約需要四小時的資料,就能達到可接受的成功率,比他稱為「pi 0.5」的開源基準(轉錄不確定)少了大約八倍。研究目標是機器人的單次情境學習(one-shot in-context learning)——給機器人看一次動作,它就會做——Blattmann 稱這是真正超人類視覺智慧的門檻,畢竟小孩要學會走路或抓握都需要數週到數月。
flowchart TD
A["Flux 3 多模態預訓練:影像、影片、音訊"] --> B["Flux Image 與 Flux Image Edit"]
A --> C["Flux Video 與 Flux Video Edit"]
A --> D["4K 影片超解析"]
A --> E["Flux Action,7B 機器人策略模型"]
E --> F["以約 4 小時任務資料微調"]
F --> G["製造業部署,目標 2027 年"]
兩位來賓都預測 2027 年是機器人進入商業製造的一年,Blattmann 指出德國的工業資料與合作意願是優勢。Podell 對消費級機器人更保守,認為要到 2027 年底才會有有趣但小眾的家用裝置。Blattmann 也坦承機器人評測很痛苦,縮小模擬到現實(sim-to-real)的落差仍是進行中的工作。
擴散與自迴歸孰優孰劣尚無定論,取捨方向恰好相反
Blattmann 的比較是本集技術上最有用的交流。自迴歸模型在訓練時資料效率更高,因為每個 Token 都能平行產生梯度。擴散模型則能從每個樣本榨出更多東西——單一資料點沿著雜訊軌跡能生成無限多個訓練樣本——但代價在推論端:自迴歸解碼本質上是序列式的,而擴散可以從 50 步蒸餾到 4 步。
他和 Podell 都不認同「對話式、代理式編輯必須靠自迴歸骨幹」這種說法。Podell 懷疑「nano banana」那個爆紅時刻背後的模型,是同時做兩件事的 transfuser 式架構,並說沒有任何本質限制逼你選哪一種。Blattmann 指出語言能力可以訓練進擴散模型,而 Black Forest Labs 長期做過自迴歸模型。談到文字用的擴散,Podell 把離散遮罩擴散模型(DiffusionGemma、Mercury)與較新的連續擴散語言模型分開看,說這場辯論還沒有定論。Blattmann 把自迴歸在語言領域的主導地位,部分歸因於路徑依賴:它先出現、很簡單,並吸收了所有規模化投資。
Podell 也證實擴散模型上可以做強化學習式後訓練:「Flux 3 我們就這麼做了,效果提升非常大。」
為什麼本集最有趣的材料是評測,而不是基準分數
Podell 反對 Midjourney 式公開偏好投票迴圈的理由是:模型變強之後,訊號會衰減。早期提示遵循度還弱時,四選一確實帶有資訊量。現在你要求把床從房間移除,前五名模型看起來都一樣。情境編輯讓訊號重新清晰,因為任務變得具體、可驗證——它到底有沒有做到那件事。
兩人都強調自動評測有盲點,開發過程中必須搭配親手取樣。Blattmann 說持續取樣是模型開發的核心工作,不是負擔。Podell 認為做模型的人必須真心想用這些模型,他自己是靠「玩」來測試——包括做迷因——因為真實使用就是這樣開始的。
談到更大的文化問題,主持人提到生成式媒體名聲不佳,傳統社群行銷只會適得其反。Blattmann 的回應是強調專業工作流程與生產力,而不是「大量垃圾內容的雪崩」。Podell 舉影像修復為例——把退化的家庭老照片上色、修補,同時保留人物相貌——說這是他意想不到、卻真心覺得動人的用途。兩人都同意爆紅時刻無法規劃,只能等它出現後好好利用。
值得觀察的重點
尚未化解的張力,在於公司對外主張與實際出貨產品之間的落差。Black Forest Labs 靠影片與世界模型的說法募到 4.5 億美元,但營收與名聲都建立在影像生成與編輯上,而它的機器人模型是 7B 引數、以 10 FPS 開迴路執行、沒有規劃器。2027 年的機器人時程是兩個利益高度相關的人的預測,不是已披露的產品路線圖;「一次示範」的情境學習目標也沒有公佈時間表。另一條值得追的線是擴散與自迴歸之爭:如果對話式編輯最後證明需要自迴歸或混合骨幹,那麼孕育 Stable Diffusion、SD3 與 Flux 的 flow matching 脈絡並不會過時,但它就不再是故事的全貌。Blattmann 自己的說法——把系統一的視覺直覺與系統二的語言推理結合起來——是對這件事走向最誠實的版本,而他和 Podell 都沒有聲稱已經做出來。