同一套安全審查流程測三種模型:分數波動來自抽樣還是模型選擇?
Same reviewer, three models: is the noise sampling or model choice?
重點導讀
用 AI 助理檢查程式碼中的安全問題時,單次結果可能受模型選擇和執行時的波動影響。
- 作者用同一套流程和提示詞,讓三種模型各檢查十個重新引入已修補漏洞的程式變更。
- 其中兩種各找出 9 個,另一種找出 10 個,而且兩個漏掉的案例不同。作者也加入設定,避免模型遇到流量限制時偷偷換成較小的模型,並在檢查未完成時收起風險判定。這次每種模型只跑一輪,作者提醒,這些命中數還不能當成穩定的檢查率。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
Same reviewer, three models: is the noise sampling or model choice?
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文