AI Gateway 新增信心度決策回退功能
AI Gateway adds confidence-based decision fallbacks
重點導讀
AI Gateway 現在支援基於置信度的決策回退,可根據 Choice、Score 或 Boolean 問題的置信度閾值決定是否切換到備援模型。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
正文 · 中文翻譯
AI Gateway 現已能在主模型答案觸發你設定的信心條件時,將決策請求升級至備援模型。
條件可以組合,這樣升級可以依賴多個訊號。你已在 models 列出的純模型名稱仍會捕捉明顯錯誤,因此現有的備援不受影響。信心條件涵蓋 Choice 與 Score 題目。Boolean 題目則以機率範圍升級。
透過將一個條件物件加入 providerOptions.gateway.models 來設定備援。沒有此設定的請求將保留其原有行為。
{
"gateway": {
"models": [
{
"model": "openai/gpt-6-astra",
"when": {
"question": "intent",
"confidenceBelow": 0.6
}
}
]
}
}
以信心條件將不確定答案升級至備援模型
若省略 question,條件將檢查符合型別的每一題,故 { "confidenceBelow": 0.6 } 會在任何 Choice 或 Score 答案低於 0.6 時升級。
由於觸發的備援會執行第二次決策,因此會計費兩個階段。
決策備援仍處於測試階段。欲瞭解更多資訊,請參閱 決策備援檔案。
來源: Vercel Blog (vercel.com)
開啟原文