跳到正文
Dev.to Top Tech(dev.to)· jian soul·· 2 天前品質評分49

RevHive 安全審查測試發現:原本的 10/10 用的是備用模型

We ran the control a reader asked for. It also turned out we had benchmarked the wrong model.

重點導讀

RevHive 原本測試 AI 助理能不能找出程式修補被撤回後留下的安全問題,10 個案例全都找到了;但讀者提醒,這可能只是因為 AI 助理看到檢查程式碼被刪掉,就把它當成漏洞。

  • 作者拿 10 個一般程式修改來測,AI 助理有 7 次沒出聲,另 3 次雖然正確指出程式出錯,卻把普通問題說成安全漏洞,甚至編出可能的登入漏洞。
  • 檢查紀錄後,作者還發現原本的 10/10 都是備用模型 deepseek-v4-flash-lite 的結果,不是設定要用的 deepseek-v4-flash。
  • 這次測試有助於看出 AI 助理會在哪裡判斷過頭,但資料不多、測試方式也不夠一致,不能當成可靠的實際成績。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處dev.to

We ran the control a reader asked for. It also turned out we had benchmarked the wrong model.

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論