跳到正文
MarkTechPost(marktechpost.com)· Asif Razzaq·· 8 天前品質評分74

Stanford 研究團隊開源 Memorilla,讓凍結的 Qwen3-8B 用 16 個記憶 token 讀取整批檔案

Stanford Research Open-Sources Memorilla, a Latent Memory Module for Frozen LLMs

重點導讀

檔案越多,全部塞進大型語言模型的上下文就越慢;只找相似段落,也可能漏掉有用線索。

  • Stanford 研究團隊開源 Memorilla,先把檔案整理成記憶,再讓凍結的 Qwen3-8B 每次讀取 16 個記憶 token。在 FactKG 測試中,它得到 84.33%,高於把全部檔案放進上下文的 80.43%,使用的檔案 token 少了 108 倍。研究團隊公佈的 8 項基準測試平均分是 49.68。
  • 但在 PubMedQA,Memorilla 得分 59.00%,低於 LLMLingua-2 的 69.00%。快速開始需要一張 80 GB GPU。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處marktechpost.com

Stanford Research Open-Sources Memorilla, a Latent Memory Module for Frozen LLMs

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: MarkTechPost (marktechpost.com)
開啟原文

讀者討論

理性交流 · 即時討論