研究提出降低 MoE 長上下文訓練記憶體尖峰的方法
MoE 模型在長上下文或大批次訓練時,只要有一個步驟用掉太多 GPU 記憶體,整個訓練就會停下來。這篇研究分別調整專家分流、詞彙投影、檢查點資料和最佳化器更新時的資料處理方式,讓 GPU 一次需要存放的資料量保持固定,並稱不會改變模型的損失與梯度。組合使用後,研究者讓引數量為 120B 到 667B 的 MoE 模型以 1M 上下文長度訓練;相較調整過的 FSDP2 基準,涵蓋範圍達 8–32 倍,速度最高達 10.4 倍。
MoE 模型在長上下文或大批次訓練時,只要有一個步驟用掉太多 GPU 記憶體,整個訓練就會停下來。這篇研究分別調整專家分流、詞彙投影、檢查點資料和最佳化器更新時的資料處理方式,讓 GPU 一次需要存放的資料量保持固定,並稱不會改變模型的損失與梯度。組合使用後,研究者讓引數量為 120B 到 667B 的 MoE 模型以 1M 上下文長度訓練;相較調整過的 FSDP2 基準,涵蓋範圍達 8–32 倍,速度最高達 10.4 倍。
推薦理由:研究比較模型自己執行任務的表現與事後評分能力,呈現兩者可能不同,並展示逐步評分如何影響訓練結果。
VHDL 標準內建的浮點套件,在一些數字運算中會算錯,部分情況還會讓模擬器停止。作者用精確算術比對多種格式和捨入方式,發現問題不只出在 sqrt(2),也涉及除法、乘法加法、數字格式轉換等運算;GHDL 和 NVC 都重現了相同結果。作者提供套件修補程式和測試方法,修補後文中測試的錯誤與停止都消失。這些結果只涵蓋列出的測試範圍,作者也已向 IEEE VHDL 工作小組和相關專案回報。
推薦理由:作者用精確算術逐項比對 VHDL 浮點套件,呈現不同運算與捨入方式的錯誤,也提供可重現測試與修補程式。
三個天體在重力作用下怎麼繞行,許多可能的週期軌道很難逐一找出。這個搜尋讓志願者的瀏覽器反覆測試三個天體的質量與速度;如果軌跡回到接近起點的位置,就會微調條件,嘗試讓它形成封閉軌道。瀏覽器找到的結果還要由伺服器檢查,部分軌道會再以更高精度計算。搜尋目前找到 43k+ 個週期解,但「新拓樸」只是指和比對過的目錄不同,是否真是新發現仍待審查,而且結果不會自動加入軌道圖譜。
美國稅法條文交叉引用很多,改了法規後可能留下錯誤,報稅工具也可能算錯。Lexifina 把法條轉成 Lean 程式,檢查引用是否有效,再用 IRS 範例和 3 套報稅工具比對 2025 年個人所得稅模型;搜尋也找出幾種申報方式可能少繳稅的情況,以及 IRS 表格和法條計算不一致的地方。作者表示,檢查找出 138 個條文錯誤,和其他工具測試 5,000 個家庭資料時,也發現模型本身與工具的錯誤。不過,這套模型只涵蓋部分個人所得稅規則,檢查結果也尚未由律師或會計師確認。
推薦理由:這項研究把美國稅法轉成可由 Lean 檢查的程式,並用 IRS 範例與其他報稅工具比對,呈現找出條文錯誤和報稅模型差異的方法。
凸多面體能不能穿過另一個同尺寸的自己,取決於它的形狀;這篇研究提出一個有 7 個頂點、無法穿過自身副本的例子,稱為 Septopert。作者公開了這個立體的座標與精確 STL 檔,並用 Lean 核對相關證明。研究也證明,在文中討論的同一家族裡,沒有高度低於 7 的整數座標例子能達到這個結果。這讓多面體的最小頂點數有了具體例子,也提供可重現的證明資料。
研究者想知道中國的開放權重模型是否用過受出口管制的 NVIDIA 晶片,於是比對模型權重的統計分佈與不同晶片訓練時留下的特徵。他們表示,DeepSeek V4、Kimi K3.1、MiniMax-M3 和 Ling-3.1-Flash 的資料與 Blackwell 或 Hopper 晶片相符;分析也排除了 DeepSeek V4 使用 AMD 晶片的可能。不過,這種方法只能辨認晶片家族與推估使用數量,無法確認晶片在哪裡、如何取得,也不能證明有人違反出口管制。
檔案越多,全部塞進大型語言模型的上下文就越慢;只找相似段落,也可能漏掉有用線索。Stanford 研究團隊開源 Memorilla,先把檔案整理成記憶,再讓凍結的 Qwen3-8B 每次讀取 16 個記憶 token。在 FactKG 測試中,它得到 84.33%,高於把全部檔案放進上下文的 80.43%,使用的檔案 token 少了 108 倍。研究團隊公佈的 8 項基準測試平均分是 49.68;但在 PubMedQA,Memorilla 得分 59.00%,低於 LLMLingua-2 的 69.00%。快速開始需要一張 80 GB GPU。
在 TRON 上轉 USDT 時,仿冒地址會先送出小額誘餌,讓人把錢轉到外觀相似的地址。FreezeCheck 統計 2023 年 12 月 20 日到 2026 年 11 月 10 日的資料,至少有 3,894 筆、合計 89.0M USDT 轉錯,涉及 3,833 個錢包;這是下限,因為統計規則只算符合特定條件的轉帳。研究者抽查 500 筆交易,皆與另一資料來源相符。仿冒地址常模模擬地址的開頭和結尾,因此只看幾個字不夠;轉帳前應核對完整地址或先確認收款地址。研究期間,收到款項的 3,817 個仿冒地址都沒有被 Tether 凍結。
AI 程式助理可能因為沒讀到專案規則,或只讀到部分內容,而和其他助理採用不同做法。作者檢查了 3,905 份 GitHub 上的 CLAUDE.md 和 AGENTS.md,發現兩份檔案並存時,約 16% 的 CLAUDE.md 沒有提到 AGENTS.md,因此 Claude Code 不會載入它;另有一些檔案要求助理自行去讀,或是複製後內容已經不同。作者建議在 CLAUDE.md 開頭單獨加上 @AGENTS.md,讓 Claude Code 匯入共用規則。研究也指出,超過 Codex 預設讀取大小的 AGENTS.md,後段內容不會送進模型;檢查只涵蓋公開 GitHub 專案,衡量的是規則有沒有傳到助理,不代表助理一定會遵守。
推薦理由:這份 GitHub 檢查整理了指令檔未載入、內容分歧與長度超限的情況,並說明如何讓 Claude Code 讀取 AGENTS.md。
AI 能寫出看起來合理的文字和程式碼,但能不能完成研究並通過外部審查,是另一個問題。研究者表示,AI Scientist-v2 會提出假說、設計並執行實驗、分析結果,再寫成論文;它產出的論文獲同儕審查工作坊接受。這比只看系統自己的測試多了一道外部檢視,但單篇論文獲接受,還不能說明研究在新意、嚴謹度或不同領域的可靠性。
小型語言模型有時會一直重複內容,答案還沒寫完就碰到長度上限,讓原本會的題目也得不到分數。MIT CSAIL 團隊讓 GPT-6 Astra 在不訓練模型的情況下,修改 Qwen3.5-0.8B 的部分權重;在 50 次模型執行後,MATH-500 答對率從 7.9% 升到 48.1%,答案被截斷的比例則從 93.0% 降到 33.1%。研究者檢查另一批題目後發現,答對率增加主要來自原本被截斷的答案完成了,已完成答案的正確率沒有改變。這項做法修正了輸出問題,沒有教模型新的數學能力;每種修改只測了一次,結果仍需小心解讀。
AI 生成文字時,常要先猜接下來的內容,再由大型模型檢查;一次能接受的猜測有限,還得按順序訓練,因此會拖慢速度。SpecOPD 把訓練拆成多個平行分支,讓它們同時進行。作者表示,這種做法最多能讓模型一次接受的猜測增加 41.45%,生成速度最高提升 3.56 倍;測試中,Qwen3.8‑27B 也達到 3.56 倍加速。不過,評估只使用一種硬體設定,程式也尚未公開,因此換到其他裝置能否得到相同速度,還需要確認。
PyTorch Inductor 原本把分塊軸固定在少數幾種名稱和最多三軸,讓後續擴充多維度分塊前,得先移除這些限制。這次更新改用輸入資料的維度產生軸名稱,並讓分塊選擇依設定的上限處理;同時調整區塊大小限制、描述子和指標位移的配合方式。作者回報,多軸分塊、描述子、區塊指標與自動調校的相關測試通過。這項重構本身為後續支援更多維度的分塊鋪路,區塊大小的既有限制則仍保留。
推薦理由:這項重構整理了 Inductor 對分塊軸數量的假設,並以多軸測試檢查描述子、指標位移和自動調校能否正確配合。
攻擊者若把偵察、找漏洞和後續入侵交給自動化工具,防守人員可能來不及發現並阻止。Cisco Talos 分析 ARTEX 及相關攻擊案例:操作者設定目標後,AI 助理會拆分工作、呼叫資安工具,並記錄發現;研究人員也觀察到攻擊者利用外洩憑證、應用程式弱點和雲端設定問題,進一步取得資料或擴大存取。Talos 建議監看異常登入與許可權變更、保護憑證、修補對外系統,並預先準備撤銷憑證和隔離裝置的應變流程。
推薦理由:Talos 彙整多起 ARTEX 相關活動,呈現自動化工具如何串起弱點利用、憑證濫用與資料外洩,並列出防守方可採取的監測與應變措施。
研究人員在小鼠身上找到一種會推動身體組織老化的酵素。經過基因改造、缺少這種酵素的小鼠,心臟和肝臟功能較好,腎臟受損也較少,肝臟組織變硬、結疤的情況也減輕。研究人員認為,未來若能用藥物降低這種蛋白質,或許可以減輕老化帶來的影響,同時不傷害身體的免疫防禦。
推薦理由:這項基準把 AI 助理完成訓練、推論與叢集管理工作的成果,和同 GPU 上的生產工具比較,可瞭解它們在端到端工程任務上的表現。
AI 助理接連處理同一個程式專案時,記太多資料會佔空間、拖慢查詢,記太少又可能漏掉有用線索。CoReMem 會比較下一個任務在有沒有某段記憶時的表現,依解題結果和步數判斷它值不值得保留,再把有用線索連到程式位置或測試指令等錨點。文中提到,在 ChainSWE 測試中,27B actor 的解題率從 21.0% 提升到 25.7%,步數少了 17%,總 cache-aware tokens 少了 11%。這套方法需要離線重跑任務來估算記憶價值,任務彼此獨立時效益有限。
直接改動模型權重,可能讓模型持續改變回答方式,也可能連帶影響原本正常的回答。這篇論文用 ChatGPT 6.1-Sol 編輯 Qwen2.5-1.5B-Instruct,測試錯誤事實、拒絕正當問題和漏掉指定資訊三種情況。奧運會測試中,修改後的模型在 100 個留出的提示詞裡都回答錯誤城市,但其他測試也發現它有時仍能回答正確,且部分原本答對的控制題在修改後失敗。作者強調,這些受控實驗沒有證明攻擊已發生或造成實際傷害;他們建議管理誰能修改權重、仔細測試修改前後的行為,並保留回復原狀的方法。
調整 CAD 零件尺寸時,最佳化工具常得反覆重建模型,才能估算尺寸變動會怎麼影響重量或模擬結果。這篇研究介紹 vcad 的做法:先固定目前的網格,再計算孔洞、圓角等設計引數變動時,網格各點如何移動,並把結果用在質量計算和剛體模擬。作者以有限差分檢查結果,也展示梯度可用於尋找合適的零件尺寸。不過,算出的梯度只對固定網格精確;網格太粗會有誤差,若改動讓模型拓樸改變,計算就會回報錯誤。
推薦理由:把 CAD 引數的梯度延伸到圓角與剛體接觸,並以有限差分檢查結果;文中也說明網格解析度和拓樸變動會帶來的限制。
一般智慧手錶只能記錄手腕怎麼動,要追蹤全身姿勢,通常得多帶幾種裝置。Cornell 研究團隊做出 EchoMotion,讓手錶喇叭送出聽不見的超音波,再用麥克風接收碰到身體後反彈的聲音,估算頭到腳踝等 12 個關節的位置。使用者第一次操作時,位置誤差平均不到 4 英吋;花 12 分鐘校正後,誤差降到約 2.4 英吋。研究也發現,走廊裡其他人的迴音會讓追蹤稍微變差。團隊正探索把這項技術用於運動記錄與姿勢提醒。
有時候,人問的問題不是解決麻煩的好方法,例如蛋糕還太熱,卻一直想找讓糖霜黏住的方法。Hugging Face 與研究人員推出 XYBench,收錄 8,115 個程式和日常生活問題,用來測試 AI 助理能不能看出使用者真正想達成的目標,並把回答帶向更合適的解法。測試發現,受測模型常會回答使用者原本問的方法,較少把真正的目標放在回答重點;即使模型在選擇題中能挑出較好的建議,也不一定會在自己回答時這麼做。這項基準目前以英文和程式性問題為主。
推薦理由:XYBench 比較模型回答字面問題與真正目標的差異,也呈現模型辨認出好建議後,仍未必能在作答時優先採用。
大型強子對撞機要讓粒子撞得更多,磁鐵就得更強,但舊材料的磁力已接近上限。CERN 團隊改用鈮和錫製作線圈,目標是用在高亮度大型強子對撞機。這種材料變硬後很容易受損,所以團隊先把線圈繞成形,再加熱讓材料形成超導狀態,之後還要小心處理並檢查品質。完成測試的 7.2 公尺長磁鐵達到 11.3 T;舊磁鐵使用的鈮鈦線圈則可達 8.3 T。
胚胎剛開始著床時,胎盤是怎麼形成的,過去一直不容易看清。Caltech 團隊觀察小鼠胚胎後發現,胎盤不只來自原本認為的那一群細胞:胚胎另一側少數幾個細胞也會移動過去,參與形成胎盤的基礎結構。移除大部分這類細胞後,胚胎在實驗室裡無法形成這個早期結構,在子宮裡也很少繼續發育。團隊在人類胚胎中也看到相似細胞,但其作用仍是可能性;這項發現或可幫助研究早期懷孕為何會失敗,也指出現有幹細胞胚胎模型缺少這類細胞,可能因此無法正常著床或形成胎盤。
推薦理由:研究描繪小鼠胚胎著床時胎盤細胞的另一個來源,也指出類似細胞可能存在於人類胚胎,為理解早期懷孕失敗提供線索。
推薦理由:研究用多組 AI 助理接力改進提示詞注入攻擊,並比較不同模型在工具操作任務中的防禦表現。
繩子放開後還會繼續晃,機器人得判斷怎麼讓它停下來。研究人員用 SPiD,讓機器人直接在模擬繩子物理特性的模型中練習,不必依靠人類示範;實際上遇到和練習時不同的狀況,系統也會自行修正控制方式。研究顯示,它能讓沒見過的不同繩子停止晃動,也能用更新不頻繁、容易出錯的便宜相機取得繩子狀態。 這種方法靠的是模擬模型夠準。繩子的物理特性比較容易寫成方程式,但布料、食物或混合貨物的變化複雜,模型未必算得準,仍得靠真實測量來確認。因此,機器人可以在物理規律清楚的工作上少看一些人類示範;碰到規律難以掌握的物品,真實世界的資料還是很重要。
調查事件時,分析工具常把大量遙測資料一次交給 LLM,內容太多可能讓模型產生錯誤回答,也增加人工重查的工作。這篇研究比較 Google 的 Open Knowledge Format(OKF v0.1)和一般 JSON:OKF 讓模型按需要讀取相關資料,不必整包塞進上下文。在幹擾最多的測試中,OKF 的幻覺比 JSON 少 81.1%,token 用量少 33.6%;幹擾增加時,召回率維持在 0.94–0.99。作者認為,改變資料整理方式可能有助於讓回答更貼近資料。
Wi-Fi 路由器傳送資料時,也會收到周圍物品反射回來的訊號。研究人員用 AI 分析這些訊號,測試能不能猜出有人敲了哪些按鍵。即使隔著 15 cm 厚的隔間牆,旁人不用連上網路、也不用碰到路由器,猜對的比例仍有 61.2%;在辦公室裡則達到 85.4%。研究團隊接著用 RF-Guard 修改路由器韌體,讓訊號不容易透露按鍵資訊,並在三個測試環境中把辨識率降到 9.8%。這提醒我們,Wi-Fi 裝置也可能像感測器一樣洩漏周遭活動;保護方式可以從裝置送出的訊號本身下手。
冰蓋、冰川、海冰、積雪和永久凍土都在影響地球氣候、水資源和碳迴圈,但研究人員表示,冰凍圈的基本功能已超出安全執行範圍。研究檢視陸地冰體積、海冰面積、積雪面積和永久凍土溫度等指標,發現冰凍圈正在加速失去完整性,其中部分變化可能難以逆轉。研究也指出,這些狀況已經惡化,或將惡化到超出全新世的範圍;研究人員呼籲減少溫室氣體和黑碳排放,以及冰凍圈地區的區域性人為幹擾。