OpenRouter 推出基於市場智慧的新版 Auto router

市場的美妙在於大量多元的獨立個體群體，集體作出的判斷與決策往往優於任何單一專家。OpenRouter 每天看到數兆個 token，我們正開發一種全新的方式，分享這些數百萬人共同決策模型的集體智慧。

今天我們推出了 Auto router（openrouter/auto）的大幅更新，該更新基於 OpenRouter 每週超過 55T 的 token 消耗。我們發現，根據市場消耗進行模型選擇，能在廣泛的任務與成本層級上超越舊版 Auto router 的選擇。透過參考過去 7 天的 OpenRouter 使用情況，它始終保持與新模型發布同步。

我們在過去幾週與數千人進行 beta 測試，今天已將此功能部署給所有使用 Auto router 的使用者。現在就試試看，將 "model": "openrouter/auto" 傳送至任何推論端點，或閱讀 檔案 以獲得詳細資訊。

為了支援這個路由器，我們將在代表性提示樣本上執行的任務分類轉換為 Pareto 最佳路由曲線。這與我們在 按任務支出排序的模型排名 中顯示的相同基礎資料。您可以透過傳送 cost_tier 引數來指定所需的成本層級，系統在選擇模型時會遵循您帳戶中的任何安全/隱私設定。

我們使用跨領域基準測試來驗證新 Auto router 的表現

我們為了多功能性設計了此路由器，並將其與一系列多樣化的基準進行評估：MMLU Pro（知識）、τ³-bench Banking（代理）、WideSearch（搜尋）、DSQA（研究）以及 SWE-Atlas QnA（編碼）。

為了對新路由器在預設成本層級下的選擇充滿信心，我們需要看到它在降低成本的同時，達到與舊路由器相同的表現。大部分領域我們都觀察到這一點，僅有少數例外，舊版 Auto router 在現代預算模型上表現不佳。在最高成本層級，我們的標準是前沿表現，即使最終成本高於舊路由器。

新路由器的預設為 cost_tier=low，舊路由器為 cost_quality_tradeoff=7。最高成本比較 cost_tier=max 與 cost_quality_tradeoff=0。

這些結果捕捉了當前的時點，隨著社群偏好隨時間變化，數值也會調整。我們透過基準測試來瞭解不同路由策略之間的相對表現，建立對「群眾智慧」確實能帶來更佳結果的信心。我們的假設是，隨著越來越多使用者採用 OpenRouter，模型選擇的效率將隨時間提升。

成本比較

新路由器的預設成本層級將在各種工作負載下保持成本效益，而最高層級則允許更廣泛的高成本模型，適用於效能比支出更重要的情境。

任何在多個模型之間切換的路由策略，在重新建立輸入快取時都會產生額外成本。這些成本往往值得，因為可以切換到更適合新任務的模型，但如果模型切換過於頻繁，則可能浪費。Auto router 實作了「粘性」行為，將多輪對話保持在同一模型上，直到該模型不再是您任務的首選。

新 Auto router 的工作原理

新 Auto router 的決策是根據使用 OpenRouter 的使用者（總體而言）在與您提示相同型別任務上實際使用的模型。可以把它想像成一個始終保持最新、隨著使用者越來越多而越高效的市場指數。

以下的模型混合圖示說明新 Auto router 的路由曲線如何將每種任務型別對映到 cost_tier 設定：low、medium、high、xhigh 與 max。這是即時的檢視：隨著新模型推出及 OpenRouter 社群使用模式變化，路由曲線會調整。

此快照截至 8 月 10 日為最新。請參閱 排行榜頁面 以取得最新資訊。

所使用的排行榜是根據聚合匿名消費統計計算的，保護所有客戶的隱私與資料政策。您的提示在傳輸中即時分類，無需保留。以下為其工作原理：

1. 分類任務。 一個快速、輕量的分類器為每個提示分配約 30 種細緻的任務型別，例如程式除錯、多步驟代理規劃、知識問答、數學、客戶支援或研究報告。

2. 按實際消費份額排序。 對於該任務型別，新的 Auto router 會查詢 OpenRouter 社群在過去 7 天內實際消費的模型，類似於我們 排行榜頁面 的「消費份額」檢視。這是一個即時訊號：當人們將工作負載遷移到新模型時，路由器會在數天內跟隨。

3. 套用您的成本等級。 cost_tier 設定（low、medium、high、xhigh 或 max）決定您願意花費的金額，並選擇相應成本帶的候選模型。低等級時，路由會選擇每個任務中最便宜的可用模型；最高等級時，則挑選最具能力、最昂貴的模型。

4. 帶備援路由。 選定的模型成為主要選擇並列出備援，按其使用份額排序。路由會遵守您請求和帳戶的模型與供應商限制，例如允許的模型、守門規則以及 ZDR 政策。如果分類或排行榜無法使用，路由器會回退到預設模型集，確保請求不會因路由問題失敗。

在多輪對話中，路由器會記住對話所落在的模型，並在後續輪次中偏好該模型。若提供，路由器會根據明確的 session_id 識別對話；否則則使用訊息的指紋。候選模型仍會在每輪重新排序，且僅在該模型仍在前列候選中時才會重複使用，這樣在任務變更時更適合的模型可接管。

立即試用新 Auto router

Auto router 可以在您通常放置模型字串的任何位置使用：

{
  "model": "openrouter/auto",
  "messages": [
    { "role": "user", "content": "Explain quantum entanglement in simple terms" }
  ]
}

或設定您的成本等級並限制候選模型集：

{
  "model": "openrouter/auto",
  "messages": [{ "role": "user", "content": "..." }],
  "plugins": [{
    "id": "auto-router",
    "cost_tier": "max",
    "allowed_models": ["anthropic/*", "openai/*"]
  }]
}

The cost_tier parameter accepts low, medium, high, xhigh, or max, and sets how much you’re willing to spend: low routes to the cheapest capable models, max always picks from the most capable ones. The old Auto router exposes a numeric cost_quality_tradeoff setting where 0 is the high-quality setting and higher values are more cost-sensitive, defaulting to 7. The cost_quality_tradeoff parameter is still accepted for backwards compatibility and keeps its original cost-ceiling behavior, and it takes precedence if you send both.

回覆的 model 欄位告訴你選擇了哪一個模型，且不會產生額外費用；你只需支付所執行模型的標準費率。詳情請參閱 new Auto router docs，其中包含多輪對話的會話黏著性說明。

使用 openrouter/auto-beta 以成為第一批獲得新改進的人

我們將持續改進此路由器，以隨時間最佳化模型選擇和快取效能。任何想先體驗最新路由行為的人都可以使用 openrouter/auto-beta，此時這些變更會先於 openrouter/auto 產生。新路由器已在此執行數週，數千人已在實際工作負載中使用。請在我們的 Discord 或透過你的帳戶代表告訴我們你的觀察。