為什麼縮短網頁搜尋結果,反而讓小型模型答錯更多?
Trimming Fixed the GitHub Shape. On the Web Shape It Costs You the Answer.
重點導讀
網頁搜尋結果常把不重要的內容放在前面,小型模型可能看到一個像答案的線索,就直接作答,不再開啟網頁確認。作者用 12 個問題比較完整網頁文字和只顯示標題、連結及前 200 個字的搜尋結果:完整文字答對 22 題,縮短版答對 20 題。像是問題問團隊方案的每人價格,縮短版先露出個人方案的 $8,模型就答了 $8;正確答案 $12 藏在網頁更下面。縮短版每題用的 token 較少,但模型更常重新開啟網頁,到了第三輪,提示內容反而比完整文字更長。這次測試只做到三輪,不能直接代表更長的工作流程;不過結果顯示,縮短搜尋結果只有在它保留答案時才有幫助。答案可能藏在下方時,模型得先開啟網頁確認,不能只看前幾個字就作答。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
Trimming Fixed the GitHub Shape. On the Web Shape It Costs You the Answer.
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文