Vow 和 TypeScript 完成任務打平,Vow 的壞資料測試抓出更多問題
Submission 19 of 18 runs: the benchmark where Vow and TypeScript tied
重點導讀
Vow 是為 AI 助理設計的程式語言,但它能不能讓 AI 助理更順利完成工作,測試結果沒有顯示它勝過 TypeScript。
- 作者用 Claude Haiku 4.5 測試 3 個新任務,兩種語言通過隱藏測試的比例分別是 99.5% 和 99.3%。
- 另用 Claude Sonnet 5.5 和 Opus 5.5 測試時,兩邊都完成所有任務,但 Vow 有一次提交失敗。另一組測試則檢查程式遇到錯誤資料時會不會仍給出正常答案:加入 vow test 探測後,Vow 標出 68% 的壞輸入,Python 是 53%,TypeScript 是 20%。測試規模不大,而且這項壞資料測試只用 Claude Haiku 和 Sonnet,作者也沒有測量 token 用量。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
Submission 19 of 18 runs: the benchmark where Vow and TypeScript tied
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文