跳到正文
Vercel Blog(vercel.com)· Rohan Taneja·· 2026-10-07品質評分66

AI Gateway 新增信心度決策回退功能

AI Gateway adds confidence-based decision fallbacks

重點導讀

AI Gateway 現在支援基於置信度的決策回退,可根據 Choice、Score 或 Boolean 問題的置信度閾值決定是否切換到備援模型。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

正文 · 中文翻譯

AI Gateway 現已能在主模型答案觸發你設定的信心條件時,將決策請求升級至備援模型。

條件可以組合,這樣升級可以依賴多個訊號。你已在 models 列出的純模型名稱仍會捕捉明顯錯誤,因此現有的備援不受影響。信心條件涵蓋 Choice 與 Score 題目。Boolean 題目則以機率範圍升級。

透過將一個條件物件加入 providerOptions.gateway.models 來設定備援。沒有此設定的請求將保留其原有行為。

{

"gateway": {

"models": [

{

"model": "openai/gpt-6-astra",

"when": {

"question": "intent",

"confidenceBelow": 0.6

}

}

]

}

}

以信心條件將不確定答案升級至備援模型

若省略 question,條件將檢查符合型別的每一題,故 { "confidenceBelow": 0.6 } 會在任何 Choice 或 Score 答案低於 0.6 時升級。

由於觸發的備援會執行第二次決策,因此會計費兩個階段。

決策備援仍處於測試階段。欲瞭解更多資訊,請參閱 決策備援檔案。

來源: Vercel Blog (vercel.com)
開啟原文

讀者討論

理性交流 · 即時討論