一般的 AI 測驗不一定看得出模型懂不懂日本的金融規定。
- Sakana AI 推出日文評測題庫「JFinBench」,用日本 6 種金融資格考試的 2026 年版題目做成 321 題,包含稅額計算、申論和讀圖。製作時由 AI 助理協助整理考試 PDF,再由人逐題檢查,約花 12 小時。測試 12 個大型語言模型後發現,有些開放權重模型在一般測驗表現不錯,遇到日本金融題目仍落後。
- 主要難在不熟悉日本製度,而不是計算。讓模型查法令能提高分數,但差距仍在,顯示模型還需要學會運用日本的金融知識。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
最新の金融資格試験を用いた日本語金融ベンチマーク「JFinBench」を公開
ブログ:https://t.co/gwIEfb3uWl
Sakana AIは、日本の金融分野に強いAIの開発に向けて、LLMの能力を評価するベンチマーク「JFinBench」を構築しました。公認會計士試験、稅理士試験、FP技能検定1級など、日本の6つの金融資格 試験の2026年版から作成した全321問で、選択式だけでなく、稅額の計算や論述、図面を読み取る問題も含みます。
稅制や會計基準は頻繁に改正されるため、金融のベンチマークは最新の問題で更新し続けることが重要です。JFinBenchの構築では、試験PDFの変換をコーディングエージェントが擔い、人間が全問を検証する「human-in-the-loop agentic pipeline」を提案しました。目視による検証は約12時間で済み、新しい試験が実施されるたびに少ない労力でベンチマークを更新できます。
最新の12のLLMを評価したところ、主要なベンチマークではプロプライエタリモデルに肩を並べつつあるオープンウェイトモデルも、JFinBenchでは大きな差があり、既存のベンチマークでは見えない差が浮き彫りになりました。失敗の主な原因は計算ではなく、日本の制度に関する知識の不足でした。ターミナルとWebを使える設定では、モデルが法令を調べて知識を補うことでスコアが上がりましたが、差は殘りました。
今回の結果は、日本固有の法令や會計基準の知識をモデルにどう獲得させるか、外部の知識を検索・活用するエージェントをどう設計するかが重要であることを示しています。JFinBenchで得た知見を活かしながら、日本の金融分野へのAI実裝に向けた研究開発を進めていきます。
論文:https://t.co/nPlfXAUA4m
データセット:https://t.co/g0Gfj2Uigk
GitHub:https://t.co/lz5herOwaC 🐟