跳到正文
Dev.to Top Tech(dev.to)· frank chu·· 8 天前品質評分49

Llama 3.1 的 Bengali token 數是英文的 6.3 倍:差別出在分詞器設計

Bengali costs 6.3x the tokens English does — I counted

重點導讀

同一段話交給不同模型的分詞器,切出來的 token 數可能差很多;token 越多,使用 API 時就越花錢,也會佔掉更多上下文空間。

  • 作者把一段英文翻成多種語言後測試,發現 Llama 3.1 切 Bengali 時用了 278 個 token,英文只要 44 個,約多 6.3 倍。
  • Gemma 3 則是 51 個對 44 個,差距小得多。這表示 token 數的差別和分詞器收錄哪些文字有關,並非語言本身就一定比較「貴」。不過,這只是作者的小規模文字測試,不是耗電量測量。
  • 作者也提醒,研究團隊測到的耗電差距還包括模型回答時產生更多 token 等因素。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處dev.to

Bengali costs 6.3x the tokens English does — I counted

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論