跳到正文
Dev.to Top Tech(dev.to)· Jake Burwick·· 4 天前品質評分52

Vow 和 TypeScript 完成任務打平,Vow 的壞資料測試抓出更多問題

Submission 19 of 18 runs: the benchmark where Vow and TypeScript tied

重點導讀

Vow 是為 AI 助理設計的程式語言,但它能不能讓 AI 助理更順利完成工作,測試結果沒有顯示它勝過 TypeScript。

  • 作者用 Claude Haiku 4.5 測試 3 個新任務,兩種語言通過隱藏測試的比例分別是 99.5% 和 99.3%。
  • 另用 Claude Sonnet 5.5 和 Opus 5.5 測試時,兩邊都完成所有任務,但 Vow 有一次提交失敗。另一組測試則檢查程式遇到錯誤資料時會不會仍給出正常答案:加入 vow test 探測後,Vow 標出 68% 的壞輸入,Python 是 53%,TypeScript 是 20%。測試規模不大,而且這項壞資料測試只用 Claude Haiku 和 Sonnet,作者也沒有測量 token 用量。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處dev.to

Submission 19 of 18 runs: the benchmark where Vow and TypeScript tied

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論