跳到正文
熱點事件持續更新

DAR-MGSM 評測阿拉伯方言數學推理

1 篇報導1 個報導來源53 分鐘前更新

先了解這件事

重點綜述

模型在正式阿拉伯語考得不錯,不代表看得懂人們平常使用的方言。

  • DAR-MGSM 用同一批 250 道小學數學題,改寫成正式阿拉伯語和五種方言,再把姓名、地點、貨幣和數字換成當地寫法,測試 11 個語言模型。模型在正式阿拉伯語的平均答對率是 70.0%,換成沙烏地阿拉伯語後降到 61.9%。
  • 摩洛哥方言則是六種寫法中最低,為 55.3%。研究也發現,有些小型模型遇到在地姓名和貨幣時答對率會大幅下降。
  • 即使整體平均分數變化不大,個別題目的答案仍可能改變。因此,測試阿拉伯語產品時,除了看總分,也要用使用者的方言和在地資料逐題檢查。這項研究只測小學數學、六種阿拉伯語寫法和 11 個模型。

根據報導自動生成 · 37 分鐘前更新

報導時間線

沿著報導,瞭解事件的不同面向。

11月23日
  1. Dev.to Top Tech
    DAR-MGSM 研究比較 11 個語言模型對六種阿拉伯語寫法的數學表現

    模型在正式阿拉伯語考得不錯,不代表看得懂人們平常使用的方言。DAR-MGSM 用同一批 250 道小學數學題,改寫成正式阿拉伯語和五種方言,再把姓名、地點、貨幣和數字換成當地寫法,測試 11 個語言模型。模型在正式阿拉伯語的平均答對率是 70.0%,換成沙烏地阿拉伯語後降到 61.9%;摩洛哥方言則是六種寫法中最低,為 55.3%。研究也發現,有些小型模型遇到在地姓名和貨幣時答對率會大幅下降;即使整體平均分數變化不大,個別題目的答案仍可能改變。因此,測試阿拉伯語產品時,除了看總分,也要用使用者的方言和在地資料逐題檢查。這項研究只測小學數學、六種阿拉伯語寫法和 11 個模型。

本事件熱度趨勢

還沒有足夠的連續觀測資料,暫不繪製趨勢。

讀者討論

針對此事件的各方觀點與即時反饋