熱點事件持續更新
DAR-MGSM 評測阿拉伯方言數學推理
1 篇報導1 個報導來源53 分鐘前更新
先了解這件事
重點綜述
模型在正式阿拉伯語考得不錯,不代表看得懂人們平常使用的方言。
- DAR-MGSM 用同一批 250 道小學數學題,改寫成正式阿拉伯語和五種方言,再把姓名、地點、貨幣和數字換成當地寫法,測試 11 個語言模型。模型在正式阿拉伯語的平均答對率是 70.0%,換成沙烏地阿拉伯語後降到 61.9%。
- 摩洛哥方言則是六種寫法中最低,為 55.3%。研究也發現,有些小型模型遇到在地姓名和貨幣時答對率會大幅下降。
- 即使整體平均分數變化不大,個別題目的答案仍可能改變。因此,測試阿拉伯語產品時,除了看總分,也要用使用者的方言和在地資料逐題檢查。這項研究只測小學數學、六種阿拉伯語寫法和 11 個模型。
根據報導自動生成 · 37 分鐘前更新
最新進展11月23日 04:17
DAR-MGSM 研究比較 11 個語言模型對六種阿拉伯語寫法的數學表現報導時間線
沿著報導,瞭解事件的不同面向。
11月23日
- Dev.to Top TechDAR-MGSM 研究比較 11 個語言模型對六種阿拉伯語寫法的數學表現
模型在正式阿拉伯語考得不錯,不代表看得懂人們平常使用的方言。DAR-MGSM 用同一批 250 道小學數學題,改寫成正式阿拉伯語和五種方言,再把姓名、地點、貨幣和數字換成當地寫法,測試 11 個語言模型。模型在正式阿拉伯語的平均答對率是 70.0%,換成沙烏地阿拉伯語後降到 61.9%;摩洛哥方言則是六種寫法中最低,為 55.3%。研究也發現,有些小型模型遇到在地姓名和貨幣時答對率會大幅下降;即使整體平均分數變化不大,個別題目的答案仍可能改變。因此,測試阿拉伯語產品時,除了看總分,也要用使用者的方言和在地資料逐題檢查。這項研究只測小學數學、六種阿拉伯語寫法和 11 個模型。
本事件熱度趨勢
還沒有足夠的連續觀測資料,暫不繪製趨勢。
讀者討論
針對此事件的各方觀點與即時反饋