Vercel AI Gateway 推出 Virtual Models 功能

今天，我們正在推出 Virtual Models 於 AI Gateway 上。

Virtual Models 是對您的應用程式和開發者使用的模型字串與設定的抽象化。只需一個虛擬模型 ID，您即可更改和更新模型、設定回退與優先順序，並集中強制執行 Zero Data Retention。虛擬模型設定會在 ID 被使用的任何地方生效。

將虛擬模型 ID 指派給代理任務，並在呼叫該任務時將其作為模型字串傳遞。之後，您可以在 AI Gateway 中更改該虛擬模型 ID 背後的模型與設定，您的應用程式和代理將自動取得新的設定，無需修改程式碼或重新部署。

新模型使用相同的虛擬模型 ID

在過去 90 天內，來自 10 多個實驗室的 125 個新模型已在 AI Gateway 上可用，平均每週約 10 個。AI Gateway 已經將切換簡化為一行程式碼。您只需透過 ID 呼叫任何一個模型，AI Gateway 就會將每個請求路由至健康的供應商，並在其中一個失效時回退至其他供應商。

那一行程式碼仍然存在於您的程式碼中，因此切換通常需要重新部署。

Virtual Models 將模型選擇與設定移至 AI Gateway。您為任務建立一個 ID，例如 vmc/coding-agent，然後設定該模型及其應使用的設定：

之後，您可以在任務執行的任何地方使用該虛擬模型 ID 作為模型字串：

對於 coding agents（如 Claude Code、Codex 等），將它們連線到 vercel ai-gateway setup，然後在每個 harness 的模型選擇器或設定中選擇您的虛擬模型。

當有不同的模型可用，包括來自其他供應商的模型時，編輯虛擬模型。每個呼叫 vmc/coding-agent 的應用程式和代理在幾分鐘內即可取得更新，無需更改程式碼或部署：

像支援工單分類的代理任務每小時可能執行數百次，成本必須低廉。其他任務，如法律合約審查，可能每天只執行幾次，但需要高度推理。

您現在可以為每個任務提供專用的虛擬模型，並隨時間輕鬆演進該模型與設定：

如回退、Zero Data Retention、標籤等設定在切換模型時仍隨虛擬模型保持不變。供應商選項按供應商適用，因此當您將虛擬模型指向 OpenAI 模型時，Anthropic 專屬設定將不再適用。每次切換供應商時，請檢查您的供應商選項。

在切換服務於正式流量的虛擬模型之前，先指向另一個模型，例如 vmc/coding-agent-candidate，並對其執行評估。如果切換後品質下降，將原始模型重新指向之前的模型。

團隊中的任何人都可以呼叫虛擬模型，團隊角色決定誰能修改它。平臺與安全團隊可集中治理與測試模型與設定，同時仍能輕鬆授權團隊使用新發布的模型。

虛擬模型上的設定會覆蓋請求中的相同設定，因而呼叫者無法覆蓋您選擇的供應商順序、回退或服務等級。例如，您可以集中設定 vmc/storefront-assistant 的回退模型，所有使用該虛擬模型 ID 的應用程式將使用相同的失效配置，即使請求指定不同的回退。

如果虛擬模型需要零資料保留或供應商不使用請求資料進行訓練，則即使請求明確設定 zeroDataRetention 或 disallowPromptTraining 為 false，這些設定仍會被強制執行。

虛擬模型的標籤會取代請求中傳送的任何標籤，因此無論每個應用程式如何標記其呼叫，花費都會歸屬於該任務。虛擬模型頁面顯示每個任務的請求、花費和成功率。

從您的團隊儀錶板或使用 Vercel CLI 建立虛擬模型。

AI Gateway 提供統一的 API 用於呼叫模型、追蹤使用量與成本，並可設定重試、故障轉移及效能最佳化，以達到高於供應商的正常運作時間。它包含內建的自訂報告、零資料保留支援、API 金鑰預算、路由規則等功能。

AI Gateway 以無加價的方式反映供應商定價，並且在推論時不收取平臺費用，即使是 Bring Your Own Key (BYOK) 請求亦是如此。

虛擬模型可與 AI Gateway 上的所有模型型別一起使用，包括影像、影片、語音、嵌入式與即時模型，以及 AI SDK 和 OpenAI 及 Anthropic 相容的 API。請參閱虛擬模型檔案以瞭解所有設定。