AI Gateway 新增信心閾值決策回退功能

AI Gateway 現已能在主模型答案觸發你設定的信心條件時，將決策請求升級至備援模型。

條件可以組合，這樣升級可以依賴多個訊號。你已在 models 列出的純模型名稱仍會捕捉明顯錯誤，因此現有的備援不受影響。信心條件涵蓋 Choice 與 Score 題目。Boolean 題目則以機率範圍升級。

透過將一個條件物件加入 providerOptions.gateway.models 來設定備援。沒有此設定的請求將保留其原有行為。

{
  "gateway": {
    "models": [
      {
        "model": "openai/gpt-6-astra",
        "when": {
          "question": "intent",
          "confidenceBelow": 0.6
        }
      }
    ]
  }
}

以信心條件將不確定答案升級至備援模型

若省略 question，條件將檢查符合型別的每一題，故 { "confidenceBelow": 0.6 } 會在任何 Choice 或 Score 答案低於 0.6 時升級。

由於觸發的備援會執行第二次決策，因此會計費兩個階段。

決策備援仍處於測試階段。欲瞭解更多資訊，請參閱 決策備援檔案。