跳到正文
Dev.to Top Tech(dev.to)· John·· 8 天前品質評分67

Ollama 沒套用 Modelfile 的 TEMPLATE,作者用提示詞 token 數抓出問題

Ollama Ignored My Modelfile TEMPLATE. A Pre-Registered Token Count Caught It.

重點導讀

改了 Modelfile 的提示詞範本,不代表 Ollama 真的用新範本組出模型收到的提示詞。

  • 作者在一次本機測試中,原本想移除 Qwen3.8 27B GGUF 提示詞裡一段談推理程度的文字,卻發現 10 個任務的提示詞 token 數都和原本一樣,輸出也全部與基準測試相同,因此這次結果不能用來判斷移除文字有沒有影響。接著他用短訊息測試不同設定,發現透過 /v1 請求傳入 reasoning_effort: medium,才會讓那段文字消失。
  • chat_template_kwargs 在這個設定下沒有作用。作者計畫加入實際檢查後再重跑,重跑結果尚未出爐。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處dev.to

Ollama Ignored My Modelfile TEMPLATE. A Pre-Registered Token Count Caught It.

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論