Llama 3.1 的 Bengali token 數是英文的 6.3 倍:差別出在分詞器設計
Bengali costs 6.3x the tokens English does — I counted
重點導讀
同一段話交給不同模型的分詞器,切出來的 token 數可能差很多;token 越多,使用 API 時就越花錢,也會佔掉更多上下文空間。
- 作者把一段英文翻成多種語言後測試,發現 Llama 3.1 切 Bengali 時用了 278 個 token,英文只要 44 個,約多 6.3 倍。
- Gemma 3 則是 51 個對 44 個,差距小得多。這表示 token 數的差別和分詞器收錄哪些文字有關,並非語言本身就一定比較「貴」。不過,這只是作者的小規模文字測試,不是耗電量測量。
- 作者也提醒,研究團隊測到的耗電差距還包括模型回答時產生更多 token 等因素。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
Bengali costs 6.3x the tokens English does — I counted
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文