AI Gateway 現已支援虛擬模型

虛擬模型 現已在 AI Gateway 上可用。

虛擬模型是一個已儲存的設定，告訴 AI Gateway 要使用哪個模型與設定。您的應用程式和代理使用自訂模型 ID（例如 vmc/coding-agent）呼叫它。您可以在 AI Gateway 中集中變更模型或設定，而無需重新部署應用程式或重新設定代理。

使用虛擬模型的方式：

• 設定程式編寫代理： 即使您的代理未公開這些選項，也可設定推理力度、快速模式、提示快取及其他選項。

• 控制路由與合規性： 選擇供應商、設定備援模型，並強制執行如 零資料保留 等需求。

• 屬性化費用： 將 自訂報告 標籤附加於每一次使用虛擬模型的請求。

要建立虛擬模型，請開啟 虛擬模型頁面 並點選 建立虛擬模型。輸入 slug、選擇基礎模型、設定請求要使用的設定，然後儲存。

或使用 Vercel CLI 建立：

要使用虛擬模型，請將 AI SDK 或相容 API 請求中的供應商模型 ID 替換為 vmc/<slug>，例如 vmc/coding-agent。

對於 程式編寫代理，如有需要可使用 vercel ai-gateway setup 連線 AI Gateway，然後在代理的模型選擇器或設定中選擇您的虛擬模型。

虛擬模型可與 AI Gateway 上的所有模型型別一起使用。閱讀 釋出文章 瞭解範例，或在 虛擬模型檔案 中進一步學習。

閱讀更多