OpenRouter 實測 fp8 與 fp4 量化對 LLM 品質與價格的影響
OpenRouter 實測 fp8 與 fp4 量化對模型質量和價格的影響
OpenRouter 實測 Qwen3.8 27B 的六個服務商端點,在 240 個計分任務中未測出 fp8、fp4 與 fp16 的準確度差異,並比較不同量化精度的價格與端點選擇方式。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
OpenRouter 以單一模型的端點測試比較量化精度、準確率與價格,並說明如何用 provider.quantizations 篩選端點及保留故障回退選項。
OpenRouter:Announcements·2026-11-11 08:00· 35 分鐘前精選AI 評分73
LLM Quantization: What fp8 and fp4 Do to Quality and Price
AI 導讀
OpenRouter 釋出量化解析文章,講解 LLM 量化原理,並報告 2026 年 10 月 20 日對 1455 個 provider 端點和 Qwen3.8 27B 六個端點的實測。
推薦理由
作者基於自家 280 個任務的實測資料討論量化精度與價格的關係,並給出 provider.quantizations 的可操作用法,結論邊界交代得清楚。
通過 API 呼叫開放權重模型時,可能有多家服務商以不同精度提供同一個模型,比如 16 位 bf16、8 位 fp8 或 4 位 fp4。精度既會影響回答質量,也會影響價格。LLM 量化就是用更少的位數儲存模型權重,從而造出這些不同版本,讓模型佔用更少記憶體和硬體,代價是損失一些準確度。
本文介紹這些格式,並彙報我們於 2026 年 10 月 20 日在 OpenRouter 上的實測結果,覆蓋 1,455 個服務商端點和 6 個提供 Qwen3.8 27B 的端點。在我們的測試中,fp8、fp4 與 fp16 之間沒有檢測到準確度差異,因此單看精度標籤並不能預測準確度。精度越低通常越便宜,但並非每個模型都如此。
要點速覽
-
在 240 個計分任務上,fp8、fp4 與 fp16 之間沒有檢測到準確度差異。六個端點的得分都在 98.3% 到 99.2% 之間。
-
在另外 40 個乘法任務上,一個 fp4 端點得分最低,但差距太小,無法排除偶然因素。
-
在同時提供 8 位和 16 位的 24 個模型中,有 14 個的 8 位比 16 位便宜,7 個更貴。在同時提供 4 位和 8 位的 33 個模型中,有 26 個的 4 位更便宜。
-
provider.quantizations 可以鎖定你得到的精度。把你願意接受的每種精度都列出來,這樣路由器就有不止一個端點可以回退。
什麼是 LLM 量化?
LLM 量化是指用比訓練時更少的位數來儲存大語言模型中的數值。如今大多數 LLM 使用 FP16 或 BF16,都是 16 位格式。fp8 把每個權重佔用的記憶體減半,fp4 或 int4 則降到四分之一,這樣同一塊 GPU 就能裝下更大的模型,或服務更多請求。代價是準確度,因為每個權重都會被舍入到更小格式能儲存的最近值。
| 格式 | 每個權重的位數 | 27B 模型的權重佔用 | 常見出現場景 |
|---|---|---|---|
| bf16 / fp16 | 16 | 54 GB | 大多數模型釋出時採用的精度 |
| fp8 | 8 | 27 GB | OpenRouter 上最常見的標註精度 |
| fp4、nvfp4、mxfp4、int4 | 4 | 13.5 GB | 更便宜的端點、本地執行、部分實驗室釋出的版本 |
以上數字只算權重。模型執行時還需要記憶體存放 KV 快取,也就是上下文中每個 token 對應的注意力狀態。
量化主要有兩類。訓練後量化轉換的是已訓練完成的模型權重,可以是動態的,在執行時計算每個啟用值的範圍;也可以是靜態的,提前用樣本資料跑一遍模型算出這些範圍。量化感知訓練則在訓練過程中模擬舍入,讓權重學會適應這種誤差。Hugging Face Optimum 概念指南對兩者都有講解,Transformers 量化概覽則介紹了你可以自己執行的量化方法。
fp8 與 bf16:有什麼區別?
浮點格式把位數分配給符號、指數和尾數三部分。指數決定數值範圍,尾數決定該範圍內數值的分辨精細程度。

bf16 有 1 個符號位、8 個指數位和 7 個尾數位,因此它的數值範圍與 32 位 fp32 相同,但精度更低。fp16 把 16 位拆成 5 個指數位和 10 個尾數位。OCP 8 位浮點規範定義了兩種 fp8 編碼:E4M3(4 個指數位、3 個尾數位)和 E5M2(5 個指數位、2 個尾數位)。fp8 同時犧牲了範圍和精度,所以量化模型會為每個張量或每組權重存一個縮放因子。MXFP4 每 32 個值共用一個縮放因子,NVFP4 則每 16 個值用一個 fp8 縮放因子。
對 API 使用者來說,fp8 和 bf16 的區別只體現在同一個模型的不同標籤和價格上。在我們的測試中,三個 fp8 端點和 fp16 端點之間沒有測出差異。
fp8 和 fp4 會損失多少質量?
在我們的測試中,fp8 和 fp4 都沒有測出質量損失。六個端點的得分都在 98.3% 到 99.2% 之間,而這樣規模的測試無法排除一兩個百分點的差距。
我們把 280 個有精確答案的任務跑過 qwen/qwen3.8-27b,固定到六個端點。Cerebras 以 fp16 提供該模型,Parasail、CoreWeave 和 AkashML 以 fp8 提供,Darkbloom 和 ModelRun 以 fp4 提供。每個請求都設定 provider.only、quantizations 和 allow_fallbacks: false,因此只能到達我們指定的端點,溫度為 0,關閉推理。任務包括帶演算過程的多步算術、需要追蹤的 Python 程式、對 20 到 30 個數字排序、在 240 或 1,200 個條目中查詢一個鍵(約 4,000 和 20,000 個 token),以及一條穿過約 9,000 個 token 的四步查詢鏈。所有任務都由我們生成,因此每個都有精確答案,不需要評審模型。另外 40 個任務要求直接給出兩個四位數的乘積、不寫演算過程,單獨計分。
| 任務類別 | 任務數 | fp16 Cerebras | fp8 Parasail | fp8 CoreWeave | fp8 AkashML | fp4 Darkbloom | fp4 ModelRun |
|---|---|---|---|---|---|---|---|
| 帶演算過程的算術 | 50 | 48 | 49 | 48 | 49 | 49 | 50 |
| 短程式碼追蹤 | 50 | 50 | 50 | 50 | 50 | 50 | 50 |
| 長程式碼追蹤 | 30 | 30 | 29 | 29 | 29 | 29 | 28 |
| 20 到 30 個數字排序 | 30 | 30 | 29 | 29 | 29 | 29 | 30 |
| 4,000 token 召回 | 20 | 20 | 20 | 20 | 20 | 20 | 20 |
| 20,000 token 召回 | 20 | 20 | 20 | 20 | 20 | 20 | 20 |
| 四跳召回 | 40 | 39 | 40 | 40 | 40 | 39 | 40 |
| 總計 | 240 | 98.8% | 98.8% | 98.3% | 98.8% | 98.3% | 99.2% |
| 乘法,無演算過程 | 40 | 30 | 33 | 31 | 32 | 26 | 30 |
來源:OpenRouter,Qwen3.8 27B,2026 年 10 月 20 日。總計的 95% 置信區間為 95.8% 到 99.8%,六個端點全部重疊。
沒有任何任務類別能區分出不同精度。每個端點在任一類別中最多錯兩個任務,而且都是普通的失誤,比如排序列表裡漏掉一個數字。三個 fp8 端點彼此在 240 個任務中有 2 到 5 個不一致,兩個 fp4 端點有 4 個不一致。Darkbloom 與 fp16、fp8 端點不一致的次數最多,有 7 或 8 個任務,但它的總分與 fp16 相差不到半個百分點。
唯一齣現差距的地方是不寫演算過程的乘法。fp4 的 Darkbloom 在 40 個乘積中答對 26 個,而其他五個端點為 30 到 33 個,其中 fp4 的 ModelRun 是 30 個。針對最佳端點(33 個)做兩比例 z 檢驗——這個比較是我們看到結果之後才選的——結果顯示,在沒有真實差異的情況下出現這麼大差距的機率約為 7.5%,因此我們不能把它稱為精度效應。各精度下答錯的乘積都很接近,誤差中位數不到 0.01%。
我們在 Cerebras 上把全部 280 個任務跑了兩遍,兩遍在每個任務上返回的文本完全一致。不同端點之間的細微差異可能來自精度,也可能來自各家提供商的硬體和推理軟體,或者其他端點的執行間波動;在這個規模上,我們無法把它們區分開。Cerebras 是唯一的 fp16 端點,所以 fp16 沒有第二個端點可供對比。
這項測試只覆蓋一個模型、280 個任務和一天之內的六個端點。它並不能說明 4-bit 對每個模型或每種負載都安全,所以在把流量切到 4-bit 端點之前,請先測試你自己的提示詞。
API 提供商提供的是哪種精度?
fp8 是最常見的標註精度,而大多數端點根本不報告精度。我們從端點 API 拉取了每個模型的端點,共返回 470 個模型下的 1,455 個端點。
| 報告的精度 | 端點數 | 佔全部比例 | 佔已標註比例 |
|---|---|---|---|
| 未知 | 865 | 59.5% | |
| fp8 | 343 | 23.6% | 58.1% |
| fp4 | 123 | 8.5% | 20.8% |
| bf16 | 70 | 4.8% | 11.9% |
| int4 | 20 | 1.4% | 3.4% |
| nvfp4 | 13 | 0.9% | 2.2% |
| mxfp4 | 12 | 0.8% | 2.0% |
| fp16 | 8 | 0.5% | 1.4% |
| fp32 | 1 | 0.1% | 0.2% |
來源:OpenRouter(openrouter.ai/api/v1/models/{author}/{slug}/endpoints),截至 2026 年 10 月 20 日。
865 個未知端點中有 610 個屬於閉源權重模型,這些模型完全沒有標註端點,包括所有 Claude 和 Gemini 模型,以及除 gpt-oss 之外的所有 OpenAI 模型。其餘 255 箇中,有 253 個屬於提供商未標註精度的開源權重模型。163 個有標註端點的模型中,只有 54 個擁有 16-bit 端點,因此對大多數開源權重模型來說,8-bit 或 4-bit 是唯一有標註的選項。
量化端點更便宜嗎?
通常如此,但並非總是。對每個模型,我們按輸入 token 與輸出 token 三比一的混合價格,比較了各精度下最便宜的端點。
| 對比 | 模型數 | 低精度更便宜 | 相差 2% 以內 | 低精度更貴 | 價格比中位數 |
|---|---|---|---|---|---|
| 8-bit 對 16-bit | 24 | 14 | 3 | 7 | 0.94 |
| 4-bit 對 8-bit | 33 | 26 | 3 | 4 | 0.76 |
| 4-bit 對 16-bit | 11 | 9 | 0 | 2 | 0.73 |
來源:OpenRouter 端點 API,含提供商折扣的標價,截至 2026 年 10 月 20 日。
以下是五個模型在各精度下最便宜的端點,單位為每百萬混合 token 的美元價格。有兩個例外:gpt-oss-120b 的 8-bit 比 16-bit 更貴,MiniMax M3 的 4-bit 比 8-bit 更貴。
| 模型 | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| Qwen3.8 27B | $0.581 | $0.342 | $0.140 |
| Kimi K2.6 | $1.400 | $1.079 | $0.825 |
| Gemma 4 31B | $0.205 | $0.200 | $0.160 |
| gpt-oss-120b | $0.067 | $0.100 | $0.060 |
| MiniMax M3 | 無 | $0.388 | $0.412 |
來源:OpenRouter 端點 API,截至 2026 年 10 月 20 日。
提供商對價格的影響比精度更大。當同一個模型在同一精度下有多個端點時,最貴的端點價格中位數是最便宜的 1.72 倍。以 Qwen3.8 27B 為例,十個 fp8 端點的價格從每百萬混合 token 0.342 美元到 1.137 美元不等。要把請求發到通過你精度篩選的最便宜端點,可以在模型 slug 後加上 :floor,具體做法見我們的最低成本推理指南。加上 quantizations: [“fp8”] 後,qwen/qwen3.8-27b:floor 在我們兩次嘗試中都指向了 Chutes,也就是最便宜的 fp8 端點。
在我們的測試中,最便宜的完整 280 任務執行是 fp4,最貴的是 fp16,但中間的順序並不遵循精度。一次執行在 Darkbloom(fp4)上花費 $0.58,在 AkashML(fp8)上 $0.72,在 ModelRun(fp4)上 $0.77,在 Parasail(fp8)上 $0.81,在 CoreWeave(fp8)上 $1.19,在 Cerebras(fp16)上 $1.24。速度也不遵循精度。Cerebras(fp16)和 ModelRun(fp4)的中位響應時間分別為 1.3 秒和 2.4 秒,而其他四個為 8.4 到 15.0 秒。在所有端點中,除 fp32(只有一個端點)外,每個標註精度的中位 24 小時正常執行時間均為 99.8% 或更高。
如何選擇獲得的精度?
檢視模型的端點提供什麼,然後在請求中設定 provider.quantizations。對 https://openrouter.ai/api/v1/models/qwen/qwen3.8-27b/endpoints 發起 GET 請求,會為每個端點返回一條記錄,包含其量化、價格、上下文長度和正常執行時間。我們呼叫時無需 API 金鑰即可響應,模型的 providers 標籤頁 顯示相同的列表。對於 Qwen3.8 27B,它列出了 21 個端點,其中 1 個 bf16、1 個 fp16、10 個 fp8、3 個 fp4 和 6 個未知。在固定精度之前,請檢查你想要精度的數量,因為該數量決定了當一個端點失敗時有多少端點可以接管。
要將請求保持在 8 位或更高,請列出你接受的精度。
import os
import requests
response = requests.post(
"https://openrouter.ai/api/v1/chat/completions",
headers={"Authorization": f"Bearer {os.environ['OPENROUTER_API_KEY']}"},
json={
"model": "qwen/qwen3.8-27b",
"messages": [{"role": "user", "content": "What is the capital of Australia? One word."}],
"reasoning": {"enabled": False},
"provider": {"quantizations": ["fp8", "bf16", "fp16"]},
},
timeout=120,
)
data = response.json()
if "error" in data:
raise RuntimeError(data["error"])
print(data["provider"], data["choices"][0]["message"]["content"], f'${data["usage"]["cost"]:.6f}')我們運行了三次,每次執行都列印了相同的行。
Reka Canberra $0.000007
提供商路由量化文件 列出了所有接受的值,並解釋了量化如何與 only、order 和 sort 結合使用。
quantizations 過濾端點列表。我們丟棄精度不在列表中的每個端點,然後 在其餘端點之間進行負載均衡,權重偏向最低價格,如果提供商失敗則回退到下一個端點。過濾器不保證每次都是同一個提供商,因此如果你跟蹤質量,請記錄響應的 provider 欄位。文件還指出,fp4 包括 mxfp4 和 nvfp4,fp8 包括 mxfp8。

精度過濾器的常見問題及修復方法
過濾器在聯絡任何提供商之前執行,因此空候選列表會快速失敗。向 Qwen3.8 27B 請求 int8(沒有端點提供),在 0.4 秒內返回 404。
{"error":{"message":"No endpoints found for the request with quantization: int8. To learn more about provider routing, visit: https://openrouter.ai/docs/guides/routing/provider-selection","code":404,"metadata":{"routing_funnel":[{"step":"Initial Endpoints","endpoint_count":21}],"failed_routing_step":"Filter by Quantization"}}}routing_funnel 欄位顯示每個步驟後有多少端點存活,failed_routing_step 指出導致沒有端點剩餘的步驟。{“quantizations”: [“fp8”], “only”: [“cerebras”]} 返回相同的 404,並帶有 quantization: fp8,因為 Cerebras 提供 fp16,所以漏斗從 21 個端點變為 1 個,再變為無。
較慢的失敗發生在只有一個端點匹配時。Cerebras 是 Qwen3.8 27B 唯一的 fp16 端點。在我們的測試中,使用 allow_fallbacks: false 固定 Cerebras,前 280 個請求中有 93 個連續三次失敗,並出現此錯誤(節選)。
{"message":"Provider returned error","code":429,"metadata":{"raw":"qwen/qwen3.8-27b is temporarily rate-limited upstream. Please retry shortly, or add your own key to accumulate your rate limits: https://openrouter.ai/settings/integrations","provider_name":"Cerebras","limit_source":"upstream_provider_shared_pool","retry_after_seconds":59}}我們重試它們,直到所有 280 個完成。單獨使用 quantizations: [“fp16”] 會留下相同的單一候選,因此那裡的速率限制無處可去。將列表擴大到 [“fp16”, “bf16”] 為路由器提供了第二個候選,相同的請求發往了 DeepInfra。
提供商失敗也可能以 HTTP 200 狀態 到達,因為我們在提供商接受請求後立即傳送狀態。檢查響應體中的 error,而不僅僅是狀態碼。
使用 Exacto 按質量訊號對端點排序
量化後的質量“取決於所用的方法”,而且每家提供商都執行自己的推理軟體,所以兩個標註相同的端點並不保證表現一致。對於帶工具的請求,Auto Exacto 已經把吞吐量、工具呼叫成功率和基準分數較低的端點排到列表後面。要把這種排序應用到不帶工具的請求上,只需在模型 slug 後加上 :exacto。Exacto 依據工具呼叫訊號給端點排序,而不是依據它們在你任務上的準確率,所以請用你自己的提示詞去測試你正在考慮的端點。如何評估 LLM 提供商的效能介紹瞭如何比較它們的延遲、吞吐量和正常執行時間。
常見問題
量化位數越高越好還是越低越好?
位數越多,保留的原始模型精度就越多,佔用的記憶體也越多。在 2026 年 10 月 20 日對 Qwen3.8 27B 的測試中,我們在 240 個有確切答案的任務上,沒有發現 fp8、fp4 和 fp16 端點之間存在準確率差異。但這隻覆蓋了一個模型、一天的情況,所以在正式採用 4-bit 之前,請先在自己的工作負載上測試。
為什麼量化不會破壞 LLM 的準確率?
並非所有權重都同等重要。AWQ 發現,保護約 1% 最重要的權重就能大幅降低量化誤差;LLM.int8() 則採用混合精度,把離群值保持在 16-bit,而超過 99.9% 的數值以 8-bit 相乘。我們對 Qwen3.8 27B 的測試無法顯示各家提供商用的是哪種方法,但 fp16 端點漏掉了 240 個任務中的 3 個,fp8 和 fp4 端點則漏掉了 2 到 4 個。
什麼時候應該對模型做量化?
當模型在 16-bit 下放不進你的硬體,或者你需要從同樣的 GPU 獲得更高吞吐量時,就該量化。在我們的測試中,沒有發現 fp8 有精度損失,而且 fp8 對每個權重的舍入幅度比 4-bit 更小,所以它是更小的一步。請先在你自己的任務上測試其中任意一種。通過 API 使用時,你不需要自己量化模型,只需在 OpenRouter 上通過 provider.quantizations 選擇一個提供你所需精度的端點。
提供商上的“unknown”量化是什麼意思?
意思是該提供商沒有報告這個端點的精度。在 OpenRouter 上,2026 年 10 月 20 日有 1,455 個端點中的 865 個為 unknown,其中 610 個屬於 Claude、Gemini 等閉源權重模型。unknown 也是 provider.quantizations 中可接受的值,因此你可以選擇包含或排除這些端點。
來源:OpenRouter:Announcements · openrouter.ai