DAR-MGSM 研究比較 11 個語言模型對六種阿拉伯語寫法的數學表現
Arabic Dialects and LLM Accuracy: What DAR-MGSM Found
重點導讀
模型在正式阿拉伯語考得不錯,不代表看得懂人們平常使用的方言。
- DAR-MGSM 用同一批 250 道小學數學題,改寫成正式阿拉伯語和五種方言,再把姓名、地點、貨幣和數字換成當地寫法,測試 11 個語言模型。模型在正式阿拉伯語的平均答對率是 70.0%,換成沙烏地阿拉伯語後降到 61.9%。
- 摩洛哥方言則是六種寫法中最低,為 55.3%。研究也發現,有些小型模型遇到在地姓名和貨幣時答對率會大幅下降。
- 即使整體平均分數變化不大,個別題目的答案仍可能改變。因此,測試阿拉伯語產品時,除了看總分,也要用使用者的方言和在地資料逐題檢查。這項研究只測小學數學、六種阿拉伯語寫法和 11 個模型。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
Arabic Dialects and LLM Accuracy: What DAR-MGSM Found
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文