跳到正文
Dev.to Top Tech(dev.to)· Dean Chugall·· 10 天前品質評分49

固定大小的波形記憶體如何不用注意力就找出並複製字串

Copying without attention: Fourier readout of a fixed-size wave memory

重點導讀

模型讀得懂長篇輸入裡的重點,卻不會把其中一串文字原樣抄出來;一般注意力做得到,但會把每個字都記在記憶體裡。

  • 作者替固定大小的波形記憶體加上名為 Echo 的讀取方法:它會搜尋每個可能的位置,找出符合線索的內容,再把那段內容讀回來。測試時,模型要從一長串文字中找出 6 到 12 個隨機字母並照抄。
  • 加入 Echo 後,抄寫表現明顯改善,採用 FFT 排列時,錯誤程度降到 0.0049。這種記憶體仍有容量上限,字串太長就記不下,但在容量範圍內,它有機會讓記憶體有限的裝置也能搜尋和複製文字。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處dev.to

Copying without attention: Fourier readout of a fixed-size wave memory

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論