Ollama 沒套用 Modelfile 的 TEMPLATE,作者用提示詞 token 數抓出問題
Ollama Ignored My Modelfile TEMPLATE. A Pre-Registered Token Count Caught It.
重點導讀
改了 Modelfile 的提示詞範本,不代表 Ollama 真的用新範本組出模型收到的提示詞。
- 作者在一次本機測試中,原本想移除 Qwen3.8 27B GGUF 提示詞裡一段談推理程度的文字,卻發現 10 個任務的提示詞 token 數都和原本一樣,輸出也全部與基準測試相同,因此這次結果不能用來判斷移除文字有沒有影響。接著他用短訊息測試不同設定,發現透過 /v1 請求傳入 reasoning_effort: medium,才會讓那段文字消失。
- chat_template_kwargs 在這個設定下沒有作用。作者計畫加入實際檢查後再重跑,重跑結果尚未出爐。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
Ollama Ignored My Modelfile TEMPLATE. A Pre-Registered Token Count Caught It.
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文