熱點事件持續更新
縮短 AI 助理輸入內容可提升保留率並降低耗能
2 篇報導1 個報導來源13 小時前更新
先了解這件事
重點綜述
作者觀察檔案轉成 Markdown 後在 AI 助理上下文中的保留情形,發現少於約 2,000 個 token 的頁面保留率超過 90%,超過約 8,000 個 token 則不到 40%;標題和表格略有幫助,長度影響最大。
- 作者因此讓使用者更容易設定輸出長度,並依模型可用的上下文調整上限,摘要、找答案和擷取資料的表現隨之改善。後續 InApp 記錄每次檔案轉換的耗能,發現先解析整個網頁、再刪除多餘內容,會讓未被讀取的部分也消耗運算。
- 提前限制輸出長度後,平均每次耗能約降低三分之一,輸出品質沒有改變。研究也指出,小檔案若每次啟動新容器,啟動耗能可能高於實際工作。
- 交由已啟動的工作程式處理則能改變成本。
根據報導自動生成 · 13 小時前更新
最新進展11月22日 16:03
InApp 提前限制檔案輸出長度後,每次轉換平均耗能約降低三分之一,品質未變。事件進展
2 個進展
- 11月22日 16:03 · 1 篇報導作者分享降低檔案轉換能耗的實務Dev.to Top Tech:InApp 分享 AI 助理工具如何減少每次請求的耗能
- 11月20日 16:01 · 1 篇報導短輸出在代理上下文中的保留率更高Dev.to Top Tech:實測發現內容越短越容易被 AI 助理記住:開發者該怎麼設計輸出
報導時間線
沿著報導,瞭解事件的不同面向。
11月22日
- Dev.to Top TechInApp 分享 AI 助理工具如何減少每次請求的耗能
檔案轉換每次要花多少電,光看速度或架構圖很難知道。InApp 為每次轉換記錄耗能後發現,系統先解析整個網頁、最後才刪掉多餘內容,讓沒人讀的部分也耗掉運算;把長度限制提前處理後,平均每次耗能約少了三分之一,輸出品質沒有改變。作者也發現,小檔案若每次都啟動新容器,啟動耗能可能比實際工作還多;把小工作交給已啟動的工作程式,則能改變成本。記錄中分開列出排隊與運算時間,也讓作者看出速度和耗能不是同一回事。
11月20日
- Dev.to Top Tech實測發現內容越短越容易被 AI 助理記住:開發者該怎麼設計輸出
轉換工具把檔案變成 Markdown 後,AI 助理不一定能把內容全看完;內容太長,還可能在下一次操作前被刪掉或縮短。作者花三週觀察這些文字有多少留在 AI 助理的上下文裡:少於約 2,000 個 token 的頁面,保留率超過 90%;超過約 8,000 個 token,保留率就不到 40%。有標題和表格會稍微有幫助,但長度影響最大。作者因此把字數上限選項放在轉換工具的顯眼位置,也依模型實際能用的上下文大小設定上限。結果,摘要、找答案和擷取資料的表現都變好;設計輸出時,該看有多少內容真的留下來,而不只是送出了多少。
本事件熱度趨勢
當前熱度 7·可比範圍峰值 10(11月20日 17:00)·近 24 小時可比範圍變化 +103%
趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指標或點選圖表檢視每小時熱度;鍵盤可用左右方向鍵切換。
讀者討論
針對此事件的各方觀點與即時反饋