跳到正文
openrouter blog(openrouter.ai)·· 7 天前精選品質評分81

OpenRouter 為 Hugging Face 的聊天模型提供跨服務商路由

OpenRouter Now Powers Inference on Hugging Face

重點導讀

同一個聊天模型可能由多家服務商提供,遇到速度變慢或故障時,請求也可能卡住。

  • 現在 Hugging Face Inference Providers 透過 OpenRouter 為聊天模型挑選服務商,會依即時價格、速度和可靠度分流,服務商出錯時也會在同一次呼叫中改試其他家。
  • 原有的 Hugging Face 權杖和程式碼仍可使用。OpenRouter 的測試中,容量錯誤減少 46%、第一個 token 到達時間快 16.9%、處理量增加 16.3%,每次請求成本則高出 6.0%。開發者也能把請求與回答紀錄存進自己的 Hugging Face Storage Bucket,供日後評估或微調模型。
  • 圖片和其他媒體不會存入。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

這次整合把模型路由和請求紀錄接到同一套工作流程,並提供價格、速度與可靠度的取捨資訊,方便開發者依需求選擇服務提供者。

正文 · 中文翻譯

我們打造 OpenRouter,讓開發者透過單一 API 使用多種模型與服務供應商,為每項工作挑選最適合的模型,並確保模型能正常回應。從今天起,所有在 Hugging Face 上開發的人也能使用這項服務。Hugging Face Inference Providers 上的聊天模型現在透過 OpenRouter 執行,採用 OpenRouter 客戶早已仰賴的跨供應商路由機制。

這項整合也能反向運作。OpenRouter 現在可以將每個請求的追蹤紀錄傳送到你擁有的 Hugging Face Storage Bucket,讓實際流量中的提示與回應和你用來評估或微調的模型及資料集放在一起。設定指南說明瞭操作步驟。

你在 Hugging Face 上可獲得的功能

Hugging Face 上有許多聊天模型由不只一家供應商提供服務。OpenRouter 的供應商路由功能現在也為 Hugging Face Inference Providers 提供路由服務,並依據即時價格、速度與可靠性,為每個請求挑選供應商。你不必進行任何設定,原有的 Hugging Face 權杖和程式碼也都能繼續使用。

你也能使用自動故障切換。如果供應商速度變慢或開始發生故障,請求就會改由其他供應商處理,直到原供應商恢復正常。如果供應商傳回錯誤,系統會在同一次呼叫中改用下一家供應商重試請求。

我們在 10 月重新打造這套路由機制時進行了一項即時實驗,結果顯示,遇到容量錯誤的請求減少了 46%,傳回第一個 Token 的時間快了 16.9%,吞吐量提高了 16.3%,每個請求的成本則增加了 6.0%。現在,所有在 Hugging Face 上開發的人都能使用相同的路由機制。

A diagram from Hugging Face showing a request from your app going to router.huggingface.co, where OpenRouter picks one of four providers based on measured price, speed, and reliability, with options for default, cheapest, and fastest routing (light mode)

A diagram from Hugging Face showing a request from your app going to router.huggingface.co, where OpenRouter picks one of four providers based on measured price, speed, and reliability, with options for default, cheapest, and fastest routing (dark mode)

你可以自行掌控取捨。在模型 ID 後加上 :fastest、:cheapest 或供應商名稱等字尾,就能告訴 OpenRouter 要優先考量哪些條件;請求可透過 OpenAI 的 Chat Completions 和 Responses API,或 Anthropic 的 Messages API 處理。同一段對話也會留在儲存其提示快取的供應商上。

每個模型頁面都新增了 Providers 分頁,列出各家供應商的即時價格、速度與正常運作時間。你可以檢視各家供應商的支出,也可以停用不想使用的供應商。

The Providers tab on a Hugging Face model page, listing each provider's input price, output price, speed, and uptime, with a Powered by OpenRouter label (light mode)

The Providers tab on a Hugging Face model page, listing each provider's input price, output price, speed, and uptime, with a Powered by OpenRouter label (dark mode)

目前有來自 38 間實驗室的 160 個模型可供使用,也就是 OpenRouter 提供、且在 Hub 上有專屬頁面的所有模型。其中包括開發者在 OpenRouter 上最常使用的開放權重模型;目前開放權重模型約佔付費 Token 的 70%:

  • DeepSeek V4.1 Flash
  • MoonshotAI Kimi K3.1 Pro 和 Kimi K3
  • Z.ai GLM 5.3 和 GLM 5.3 Flash
  • Qwen3.8 27B
  • MiniMax M3.1 Flash
  • Xiaomi MiMo-V2.6-Flash
  • NVIDIA Nemotron 3 Ultra
  • OpenAI gpt-oss-120b

讓追蹤紀錄存放在 Hub 上

將 Hugging Face Storage Buckets 加入 Broadcast 目的地(目前為 Beta),OpenRouter 就會將每個請求以 JSON 檔案形式傳送到你擁有的儲存桶。每個檔案都包含輸入訊息、模型輸出、Token 數量及成本,不會包含圖片和其他媒體。

這些資料可用來建立評估資料集,或以開放權重模型進行微調。你可以依日期或 API 金鑰整理檔案。

The new Hugging Face Storage Buckets destination form in OpenRouter's Observability settings, with fields for namespace, bucket name, access key ID, and secret access key.

開始使用

在 Hugging Face 上:

  1. 前往 hf.co/settings/tokens 建立權杖,並授予「呼叫 Inference Providers」許可權。
  2. 在 Hub 上開啟任何支援模型的頁面。你可以直接在頁面上與模型聊天,或點選 View code 檢視設定步驟,將程式碼用於你的專案或程式開發 AI 助理,包括 Claude Code、Codex、OpenCode、Pi 和 Hermes Agent。
  3. 若要選擇哪些供應商可以處理你的請求,請前往 Hugging Face 設定中的 Inference Providers。

若要將追蹤紀錄傳送至 Storage Bucket:

  1. 在 Hugging Face 上建立 Storage Bucket。
  2. 建立具有寫入許可權的存取權杖,並從中產生 S3 憑證。
  3. 在 OpenRouter 中前往 Settings > Observability,開啟 Broadcast,然後開啟 Hugging Face Storage Buckets。
  4. 輸入您的名稱空間、儲存桶名稱、存取金鑰 ID 和秘密存取金鑰。路徑範本(例如 {apiKeyName}/{date})為選填。
  5. 按一下 Test Connection,然後儲存。

完整設定指南說明路徑範本和追蹤檔案格式。

在 Hugging Face Playground 試用模型,或將追蹤資料傳送至 Storage Bucket。

來源: openrouter blog (openrouter.ai)
開啟原文

讀者討論

理性交流 · 即時討論