跳到正文
Vercel Blog(vercel.com)· Sam Chitgopekar·· 7 天前精選品質評分72

Vercel AI Gateway 支援連線團隊的私有模型

AI Gateway now supports Private Inference

重點導讀

企業使用自行微調、自架或尚未正式推出的模型時,過去得另外管理金鑰、程式碼和紀錄。

  • Vercel AI Gateway 現在能把這些模型接到團隊自己的端點,並沿用相同的驗證方式、SDK、API 和監控工具。
  • 呼叫時只要更換模型 ID,也能在私有模型和目錄模型間切換。私有模型只供團隊檢視與呼叫,憑證會加密儲存,也可為各家服務商啟用零資料保留。團隊還能檢視用量、設定端點故障時改用目錄模型,或在連線 AI Gateway 的程式開發工具中使用私有模型。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

原文說明私有模型如何沿用 AI Gateway 的介面與監控,方便團隊把自架模型和目錄模型放在同一處管理。

正文 · 中文翻譯

Private Inference 可將您自有的模型端點連線至 AI Gateway。

過去,執行微調模型、自架模型或預先發布模型的企業,得為這些模型分別管理金鑰、使用者端程式碼和記錄。現在,這些模型也能透過與目錄模型相同的驗證機制、SDK 和 API及可觀測性功能執行,讓團隊使用的所有模型都能集中管理。

使用 Private Inference 可以:

  • 在私人模型與目錄模型之間切換:透過 Chat Completions、Responses 或 Messages 呼叫私人模型。AI Gateway 會將每個請求轉換成端點所需的格式,因此切換時只需更改模型 ID。

  • 將模型限定於團隊使用:只有您的 Vercel 團隊能檢視或呼叫私人模型,這些模型也不會列在公開目錄中。憑證會以加密方式儲存,您也可以針對各個供應商啟用零資料保留。

  • 連線程式設計代理:在 Claude Code、Codex、Cursor,以及其他連線至 AI Gateway 的程式設計代理中使用私人模型。

  • 集中監控流量:在記錄、追蹤資料匯出和自訂報表中,一併檢視私人模型與目錄模型的流量。可觀測性圖表會按私人模型細分請求數、Token 數量和首個 Token 的等待時間。

  • 設定備援:如果私人端點失效,可選擇改用目錄模型。

若要開始使用,請開啟Private Inference 頁面,並將端點新增為私人供應商。輸入其基礎 URL、選取 API 格式,再新增憑證。接著新增該端點提供的模型。

您也可以使用 Vercel CLI(版本 65.16.0 或更新版本)註冊供應商與模型:

# Connect your endpoint as a private provider

vercel ai-gateway private-inference providers create acme-vllm \

--base-url https://vllm.example.com/v1

# Expose the endpoint's model as private/support-fine-tune

vercel ai-gateway private-inference models create support-fine-tune \

--provider acme-vllm \

--api-model acme/support-llama-ft

使用模型的 private/<slug> ID 呼叫模型:

私人模型的請求會與目錄模型的請求一同顯示在 AI Gateway 記錄中。

如需支援的模型型別、需求和計費詳細資訊,請參閱Private Inference 說明檔案。

來源: Vercel Blog (vercel.com)
開啟原文

讀者討論

理性交流 · 即時討論