固定大小的波形記憶體如何不用注意力就找出並複製字串
模型讀得懂長篇輸入裡的重點,卻不會把其中一串文字原樣抄出來;一般注意力做得到,但會把每個字都記在記憶體裡。作者替固定大小的波形記憶體加上名為 Echo 的讀取方法:它會搜尋每個可能的位置,找出符合線索的內容,再把那段內容讀回來。測試時,模型要從一長串文字中找出 6 到 12 個隨機字母並照抄;加入 Echo 後,抄寫表現明顯改善,採用 FFT 排列時,錯誤程度降到 0.0049。這種記憶體仍有容量上限,字串太長就記不下,但在容量範圍內,它有機會讓記憶體有限的裝置也能搜尋和複製文字。