Ollama v0.35.0 版新增決策模型功能

決策模型

Ollama 現已支援決策模型，透過 /v1/systemone，基於 TypeSafe’s Jev API。

決策模型會回傳選項、機率與分數，而非純文字。可用於票務分流、模型路由及內容分類等任務。

可用模型：

• Nimble 來自 Bespoke Labs
• Tev1 來自 Together AI

ollama pull nimble

傳送上下文及一個或多個問題：

curl http://localhost:11434/v1/systemone \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "nimble",
    "state": "Our checkout has returned 500 errors since 9am.",
    "questions": {
      "label": {
        "type": "choice",
        "instructions": "Which label fits this ticket?",
        "criteria": {
          "billing": "Payments and refunds",
          "bug": "Software errors",
          "account": "Login and account access"
        }
      }
    }
  }'

範例回覆：

{
  "model": "nimble",
  "answers": {
    "label": {
      "type": "choice",
      "choice": "bug",
      "probabilities": {
        "billing": 0.0125,
        "bug": 0.9781,
        "account": 0.0093
      },
      "confidence": 0.8906
    }
  },
  "usage": {
    "input_tokens": 174,
    "output_tokens": 1
  }
}

API 支援三種問題型別：

• choice：選擇一個選項並回傳每個選項的機率。
• noul：回傳條件為真時的機率。
• score：回傳一組有序標準的分數

變更內容

• 設定現在可直接開啟，無須等待模型搜尋。
• 修正 macOS 更新選單與圖示在啟動時未顯示可用更新的問題。
• 修正 MLX 模型下載卡住、無限掛起的問題。
• 包含已棄用 typical_p 引數的請求現在會記錄警告，而非失敗。

完整更新紀錄： v0.34...v0.35.0