更快的模型真的更快嗎？要看整體任務——MiniMax 的 Morgan Suo

Morgan Suo 是 MiniMax 的工程師，她主張：模型再快，唯有整份成品工作跟著變快才算數——也就是分析師能準時開啟、核對、直接使用的一份報告——而不是隻快在吐出第一個 Token 或原始生成階段。在 17 分鐘的分享裡，她逐一拆解 MiniMax M3.1 Flash 內部的四項最佳化（稀疏注意力、4-bit KV 快取、4-bit MoE 專家、投機解碼），說明真正改變使用者等待時間的服務與推理強度設定，並以一個具體的 PCB 供應鏈研究任務作為衡量每一項取捨的基準。本集是技術演講而非訪談；她在結尾示範的 AI 影片模型（MiniMax A3）只簡短帶過。

Suo 是從模型團隊內部發聲——她說自己加入 MiniMax 已近三年，當時公司即便已有早期的影片生成模型，在美國市場仍幾乎沒沒無聞。讀者讀完應該能掌握：每項最佳化背後的具體數字、她提出用來評估是否該換模型的量測框架，以及清楚知道「更快」在哪裡悄悄犧牲了準確度或尾端延遲。

模型再快，只有成品工作變快才算數

Suo 用來貫穿全場的引子是一個研究問題：隨著 AI 伺服器需求成長，供應印刷電路板（PCB）的公司有沒有把這波成長變成現金？這個案例背後的內部審查涵蓋 14 份公司報告。模型必須找到正確的報告、對齊不同的財報期間、把不同業務分開處理，並解釋這些數字代表什麼。她對「完成」的標準是：分析師能開啟某個重要結論背後的原始出處、重新核對計算，並看出什麼證據足以推翻這個結論。

她畫出的核心區分，是帳面獲利與現金流之間的差別。一家公司可以認列節節上升的獲利，但客戶還沒付款，或採購的原料還堆在倉庫裡。一份值得信任的報告會指向現金流量表與相關揭露。她的開場軼事把成本講得很具體：一個研究任務很快交回報告，卻漏掉一份重要出處，於是得有人把它找出來、把報告修好——這正是 Suo 說她團隊每天都在做的事。

「所以，換上這個更快的模型，工作真的變快了嗎？」

她的答案是一套量測紀律，而不是一個跑分。每一項最佳化都必須對照成品工作來檢驗，檢驗的重點是：分析師能不能信任這份報告、完成這份成品工作花了多少時間與金錢、結果能不能重現。

稀疏注意力省下算力，但註腳仍必須被找出來

M3.1 Flash 標榜一百萬 Token 的上下文視窗。稀疏注意力會先跑一個小型的篩選步驟——為文字區塊打分——主注意力再只針對被選中的區塊計算，同時模型會把鄰近文字留在視野內。篩選結果隨查詢而變，因此不同的問題會撈出不同的段落。

Suo 點出的風險是：一行很短的註腳，可能扭轉整個結論。對現金流問題而言，一行註腳的重要性可能勝過好幾頁產業展望。在另一項把事實放在長輸入不同位置的檢索測試中，模型 39 個請求全數通過，最長的輸入約 830k Token。Suo 只把這視為涵蓋了那些案例，並不代表真實報告也沒問題。她提出的檢驗方式是：把關鍵段落移到輸入中的不同位置，再問同一個問題；另外還要在真實報告上測試：它找不找得到現金流註腳、用不用對財報期間、能不能看出兩份檔案之間的矛盾。

4-bit KV 快取與 4-bit 專家：平均數會掩蓋的準確度位移

模型會把前文中的內部資訊存成 KV 快取。M3.1 Flash 把 key 與 value 從 8 bit 降到 4 bit，query 則維持 8 bit，藉此減少儲存與搬移的資料量。Suo 指出，平均分數幾乎沒變，但其中一項分數掉了約 6.6 個百分點，其他分數則上升——平均數恰好可能掩蓋掉使用者最在意的那個領域裡的錯誤。

同樣的邏輯也適用於混合專家（MoE）架構。被選中的專家使用 4-bit 權重與啟用值；共享專家則不參與這套交換。權重是模型儲存的值；啟用值是模型計算出來的值。降低精度能減少資料搬移、支撐更有效率的運算，但完整的計算有好幾個步驟——先縮放數值、再執行計算、最後還原縮放——而這些步驟的順序，正是算對答案的一部分。她的原則是：「快數學也得算對」；當你核對完整結果時，你量測的其實是完整的實作。

| 最佳化 | 改變了什麼 | 聲稱的好處 | 聲稱的風險／檢驗 |
|---|---|---|---|
| 稀疏注意力 | 先做區塊打分篩選，再對選中區塊與鄰近文字做注意力 | 跨大量檔案時注意力運算更少 | 一行短註腳就可能翻轉結論；須測試事實放在不同位置時是否仍找得到 |
| KV 快取量化 | key 與 value 由 8-bit 降為 4-bit；query 維持 8-bit | 儲存與搬移的資料更少 | 平均數撐住了，但有一項分數掉了約 6.6 點；須重新核對出處、計算與解釋 |
| MoE 專家精度 | 選中專家採 4-bit 權重與啟用值；共享專家不在此列 | 資料搬移更少、運算更有效率 | 縮放與還原的順序必須正確；須量測完整實作 |
| 投機解碼 | 快速草稿先提出 Token，再由目標模型核對與修正 | 每次目標模型核對可產出多個 Token | 草擬、核對、捨棄全都要花時間；須一併計入 |

投機解碼的節省，一旦計入草擬與捨棄就縮水

投機解碼分兩階段進行：較快的草稿流程先提出一小段 Token 序列，再由目標模型核對。系統保留被接受的開頭部分，必要時修正，然後重複。有時好幾個提出的 Token 都留得下來；有時草稿做的是白工。草擬要時間、核對要時間、捨棄 Token 同樣要時間。

Suo 的要求是：把核對草稿所花的時間算進去，然後再把視角拉得更廣——就研究任務而言，要把來源檢索、工具呼叫與重試都算進來。最終的衡量標準，是分析師真正能用的報告要等多久——而不是一個 Token 要等多久。

吞吐量提升，可能伴隨八倍的尾端延遲代價

另一項服務測試採用低推理強度的儲存生成，並把並行請求數從 32 提高到 64。每秒總輸出成長約 1.9 倍，突破每秒 300 個 Token。但第一個 Token 的 P95 等待時間從約 1.5 秒升到 11.6 秒——大約長了八倍。中位數仍可接受，而這正是 Suo 警告不要只看中位數的原因。

她的結論是：使用者感受到的是等待，而第一個 Token 可能還只是在推理。先訂出可用的報告必須在何時送達的準則，再據此選擇負載。

flowchart TD
    A["並行數 32 提高到 64"] --> B["吞吐量提升約 1.9 倍，超過每秒 300 個 Token"]
    A --> C["首 Token 等待 P95 由 1.5 秒升至 11.6 秒"]
    C --> D["中位數看起來沒問題，尾端卻不是"]
    D --> E["先訂報告送達準則，再決定負載"]

推理強度是一筆預算，而預設值就是最大值

Suo 說，這是 MiniMax 第一次採用這種推理控制。在檔案設定中，思考功能維持開啟，而推理強度若留空，預設就是最大。一項比較 high 與 max 推理強度的程式測試顯示了取捨：high 的輸出 Token 比 max 少，但準確率從 80% 掉到 68%。在那些測試題目上，Token 變少是伴隨著準確率下降。

她的建議是：給每個任務它真正需要的思考預算、在同一份報告上比較不同設定，並確認每個設定是否找得到證據、撐得起計算。快速先跑一遍，與交出一份可供審閱的報告，可能需要不同的預算。設定必須被記錄下來，並帶進相關的後續工作。

換模型檢查清單：信任、總成本、可重現性

在用新模型正式上線研究工作流程之前，Suo 會先把問題固定在來源報告上、採用相同的資訊截止點，並在開始比較之前就先講好什麼樣的報告算合格。接著她檢查三件事。

• 信任： 分析師能不能開啟重要結論背後的出處、核對財報期間、重算財務數字，並找出足以改變結論的證據？
• 成品工作成本： 花了多久，包含檢索、工具呼叫與重試？如果還得有人先修過報告才能用，這段工也要算進去，並把所有失敗的嘗試都計入產出合格報告的成本。用你預期的使用者人數去測，確認報告能在承諾的時間內送達。
• 可重現性： 儲存模型與執行環境版本、提示設定與來源；留下失敗案例；先小規模上線，並保留切換回舊版的路。

演講以一段用 MiniMax A3 製作的短片收尾——那是公司的 AI 影片模型，Suo 說正開放給任何想用它來創作的人。她提到示範影片中的文字有一個問題，然後回到開場的那個問題：對她的分析師而言，更快的模型意味著一份報告，裡面的出處打得開、數字核得對，而且在他們需要的時候送達。

「更快的模型確實很重要，但最重要的是我們能用它做什麼。」

尚未化解的張力在於：Suo 描述的每一項最佳化，都是用別的東西換來速度——注意力覆蓋範圍、數值精度、尾端延遲，或推理深度——而她唯一提供的防禦，就是對照成品工作去量測。正在評估換模型的團隊應留意：她引用的準確度數字（分數掉 6.6 點、程式測試從 80% 掉到 68%、檢索 39/39 全過）各自來自不同的內部測試，並非出自 PCB 研究任務本身；她說那個任務仍需要驗證出處與計算。推理強度預設為最大值這點也值得追蹤：如果留空的設定會默默要求最大思考量，那麼依預設組態做出的成本估算，可能會低估 Token 花費。