跳到正文

#推理

RSS
今日 2 則
今天11月23日週一
  1. Dev.to Top Tech58

    研究發現九個 AI 模型的英文寫作較常出現難讀句型

    AI 寫的英文有時讀起來不順,但哪些用字和句型可能讓人讀得比較吃力?一份尚未經同儕審查的研究比較九個 AI 模型與人類寫作,發現模型較常使用少見的詞語組合,也較常讓沒有生命的事物做出像人的動作,例如「報告主張」。這些差異在聊天和寫程式的對話中比在短文裡明顯。研究只分析英文,沒有請讀者實際閱讀測試,因此這些特徵不能直接說明文章品質,也還不能確定背後原因。

  2. Dev.to Top Tech89

    Claude 協助證明黎曼猜想,數學家用 Lean 電腦檢查通過

    黎曼猜想關於質數如何分佈,提出至今已有 167 年,長久以來都沒有解答。Anthropic 數學家 Levent Alpöge 表示,他和 Claude 一起寫出證明,並用 Lean 這套能逐步檢查數學推理的程式語言整理;獨立研究者也分別用電腦檢查,沒有發現問題。不過,數學界還需要弄懂這份證明的內容,Clay Mathematics Institute 也還沒決定是否頒發 $1 million 獎金。文章同時提到,另一份由人類獨立完成的廣義黎曼猜想證明尚未用 Lean 檢查,因此狀態不同。

    推薦理由:文章整理了 Lean 電腦檢查、數學家評語與尚待釐清之處,呈現這項宣稱如何受到驗證及目前仍缺少的白話說明。

11月22日週日
  1. Dev.to Top Tech40

    P²-MOPD 如何加快 MoE 模型在資料變化後恢復表現

    資料情況一變,MoE 模型可能得花不少時間重新學習,才能找回原本的表現。P²-MOPD 把舊模型專家的引數當成參考,同時調整學生模型的引數和各專家的影響比例,讓學生模型能靈活學習。測試中的 1.7 B 引數模型,平均恢復表現達 94.7%,MOPD 則是 80.9%;P²-MOPD 用一半的訓練步數,就超過 MOPD 最後的平均恢復表現。不過,每一步訓練的計算量和 MOPD 相同,因此實際能省多少時間,還要看訓練安排。

  2. hackernews10089

    Andrew Sutherland 公開黎曼猜想 Lean 證明的檢查結果

    數學證明寫進 Lean 後,還得確認程式沒有漏掉條件,也沒有偷偷依賴不該用的公理。Andrew Sutherland 公開黎曼猜想 Lean 證明的檢查檔,列出編譯、獨立重建,以及多種核心和工具逐一檢查的結果;頁面所列的五個主要定理都通過多項檢查,並只使用三個標準公理。內容也涵蓋狄利克雷 L 函式的廣義黎曼猜想,以及由此得到的兩個數論結果。這些結論是依照 Lean 中 Mathlib 對相關數學概念的定義成立;部分檢查當時仍在進行,頁面提醒結果以形式化陳述和所用檢查工具為準。

    推薦理由:多種獨立核心與重建流程都接受這份 Lean 證明,頁面也說明它依賴 Mathlib 的定義,並列出仍在進行的檢查。

  3. Rohan Paul72

    英國隱語填字常用容易誤導人的文字遊戲藏起答案,而且只要填錯一格,就排在所有全對的解答之後。UT Austin 論文介紹的系統 Darmok,在 2026 年 Times Crossword Championship 解完全部 7 道題,沒有出錯,並在決賽中比人類冠軍快 3 分 13 秒。決賽時,主要服務明顯變慢,備援方式補上 30 個答案中的 17 個。這場比賽也顯示,系統遇到服務延遲時,備援路徑能協助完成作答。

    推薦理由:英國隱語填字的規則讓一格錯誤就失去完美解答,這套系統在決賽遇上服務變慢時,也靠備援路徑補上部分答案。

  4. Rohan Paul58

    3SUM 和計算圖中所有點之間的最短距離,長期被認為很難比教科書方法快多少。這篇 Columbia 與 MIT 論文說,Claude 找到一種計算兩個長而窄的矩陣部分乘積的方法,省下傳統做法中的一些計算,再把它用到這兩類問題。論文列出的速度提升幅度不大,但足以推翻相關的 3SUM 與 APSP 假設;研究團隊也用 Lean 4 檢查了證明。作者表示,Claude 在一次工作階段中找到這個方法,使用 16M 輸出 tokens,沒有人工介入。

  5. aihot78

    Columbia 與 MIT 論文展示 Claude 找到更快的 3SUM 與 APSP 演算法

    3SUM 和全對最短路徑都是長期難以加快的問題,研究者過去認為它們的運算時間很難再改善。Columbia 與 MIT 的論文指出,Claude 找到一種更快計算長而窄矩陣中特定元素的方法,再透過已知的轉換,讓 3SUM 的時間降到 O(n^1.9992),全對最短路徑降到 O(n^2.9995)。這些改善幅度不大,卻足以推翻相關的難度猜想;研究也用 Lean 4 形式化驗證證明。

    推薦理由:這項研究展示 Claude 如何從矩陣乘法問題找到更快演算法,再透過已知轉換改善 3SUM 與 APSP 的運算時間。

  6. Rohan Paul69

    LLM 遇到題目換個說法或數字,常會重新推理一次,讓重複工作花上更多成本。這篇 NVIDIA 論文讓 Claude Opus 4.5 把推理過程轉成可替換輸入的 Python 函式,之後由 CPU 執行;只有像擷取數值這類小型文字工作,才交給微調過的 1B 模型處理。這套方法在 8 項數學與科學基準中的 7 項,準確率追平或高於原模型;在 AIME '25 的分數是 93.3%,原模型是 83.3%。研究也指出,遇到改寫或換數字的題目時,這種做法至少能處理 90%,成本可降低 16 到 291 倍。

    推薦理由:這項研究把重複推理改寫成可帶入新數字的 Python 函式,並比較了多項數學與科學基準的準確率和成本。

11月21日週六
  1. The Decoder73

    Claude 宣稱證明黎曼猜想後,史丹佛數學家公佈全人工作品

    黎曼猜想是數學界長年未解的難題,最近卻接連出現兩份聲稱能解決相關問題的證明。一名 Anthropic 數學家表示,他和 Claude 合作證明瞭黎曼猜想及更廣的廣義黎曼猜想,並把超長證明交給 Lean 逐步檢查;不過,起始問題若翻譯成程式碼時出錯,仍可能影響結果。幾小時後,史丹佛數學家公佈 Alessandro Masullo 的全人類撰寫草稿,但 Ravi Vakil 隨後表示,有人已指出其中的問題。兩份證明都還需要數學界檢查,這場接連發生的競賽也讓人看到,AI 可以協助推進數學研究,成果仍得經過嚴格驗證。

  2. aihot90

    Claude 合作提出黎曼猜想證明,斯坦福數學家公佈人類草稿

    黎曼猜想關係到素數如何分佈,但至今仍是數學界的重要難題。Anthropic 數學家 Levent Alpöge 表示,他和 Claude 找到黎曼猜想及廣義黎曼猜想的證明,並用 Lean 逐步檢查推理;證明分成 14 個資料包發布。數小時後,斯坦福公佈 Alessandro Masullo 獨立寫下的廣義黎曼猜想草稿,曾由數學家 Brian Conrad 審閱數月,但公佈後有人指出其中有問題。兩份成果都還需要數學界仔細核查,AI 證明也須確認起始問題是否正確轉成程式。

    推薦理由:兩份廣義黎曼猜想證明各有審查路徑,AI 證明以 Lean 檢查推演,人類草稿則已被指出問題,呈現數學證明如何建立可信度。

  3. Dev.to Top Tech49

    為什麼位元答對率變高,算出的總和還是錯?

    電腦加法時,前一位留下的進位會影響下一位。這個實驗比較同一個神經網路的兩種演算法:一種會把前一步的狀態帶到下一步,另一種每算一位就把狀態清空。算 1 + 15 時,保留狀態的版本答對 16;清空狀態的版本卻算成 14。把數字補上很多前面的零後,清空狀態的版本雖然答對更多位元,整個答案仍是錯的。 在整理的 64,856 個案例中,保留狀態的版本全部答對;清空狀態的版本只答對 6,290 題。這說明位元答對率可能被大量容易答對的零拉高,不能代表整個算式正確。研究結果只適用於這次測試的網路和案例,也提醒我們,實際計算仍應使用精確的整數運算。

  4. The Economic Times · ETtech75

    Anthropic 員工稱 Claude 協助證明黎曼猜想,數學界仍待檢視

    黎曼猜想關係到質數如何分佈,提出一百多年來仍未解決。一名在 Anthropic 任職的數學家 Levent Alpoge 表示,他和 Claude 找到了這道難題的證明,並公開了 1,700 萬行 Lean 程式碼,讓電腦檢查數學推理是否符合規則。數學家 Alex Kontorovich 說,電腦確認程式碼通過,不代表人已經理解整份證明;克雷數學研究所也表示,從這次宣佈到真正理解成果,還有漫長而艱難的過程。宣佈後數小時,該研究所網站仍將黎曼猜想列為未解問題。

  5. OpenAI News55

    OpenAI 推出 MedChemBench,測試 AI 模型能否幫忙挑選藥物候選物

    找藥物時,讓分子更能對付疾病相關蛋白,可能也會讓它更難被身體吸收,或更快分解。OpenAI 推出 MedChemBench,收錄 99 個來自研究論文的題目,測試 AI 模型能不能看懂分子結構、解讀實驗結果、挑選候選物並預測性質。評測中,GPT‑6 Astra 擅長還原分子結構與解釋證據,但挑選化合物和預測數值仍較困難。這項測試只看模型如何運用過去的研究資料,不能證明 AI 已能發現新藥或改善實驗室決策;研究者也無法排除模型先前看過相關資料的可能。

  6. Dev.to Top Tech73

    GPT-5 用斯洛伐克語更耗 token,作者比較 204 種語言找原因

    同一句話用斯洛伐克語送進 GPT-5,可能比用英文花更多 token,讓費用增加,也更快用完上下文視窗。作者用相同的 1,012 句內容測試 204 種語言和 35 種 tokenizer,發現 GPT-5 切分斯洛伐克語所需的 token 是英文的 1.68 倍;作者認為,主要原因是訓練資料中的斯洛伐克語較少。文章也提醒,選模型時要把語言造成的 token 差異算進成本,並用實際 tokenizer 計算 RAG 文字分段;token 較省也不代表模型回答得比較好。

  7. MIT Technology Review · AI69

    METR 更新 AI 能力曲線圖,加入需要判斷力的任務

    AI 模型在寫程式等容易自動檢查答案的工作上進步很快,但這能不能延伸到研究方向選擇等需要判斷力的工作,仍不清楚。METR 更新了用來比較模型與人類任務表現的曲線圖,加入設計 AI 評測和評分哲學論證等較開放的任務。最先進的模型在軟體工程上已勝過幾乎所有人類,卻還沒有設計出 METR 員工認為能用於研究的評測。這些新任務的數量不多、評分也不容易,因此目前還難以據此推算模型未來能否自動進行 AI 研究與開發。

  8. The Verge · AI70

    Anthropic 數學家稱與 Claude 合作證明黎曼猜想

    Anthropic 數學家 Levent Alpöge 聲稱,他和 Claude 合作提出了黎曼猜想的證明。這個猜想關係到質數如何分佈,是著名的千禧年大獎難題之一;他的證明以 Lean 撰寫,目前只公佈在個人網站,還沒有獲得獨立驗證。Anthropic 沒有參與或評論這項宣佈。依克雷數學研究所的規則,解答須公開接受至少兩年檢視,並獲數學界普遍接受,才可能列入獎項考量。這項宣稱能否成立,仍要看後續審查結果。

  9. Rohan Paul62

    模型部署後想變得更好,通常得再花大量運算資源訓練一次。研究團隊讓 Qwen3.5-27B 檢視自己的權重、練習題答案和 Python 執行環境,並阻止它使用梯度;模型比較答對與答題超時時的內部狀態,再調整兩者之間的差異。在事先固定的 490 題測試中,正確率從 57.2% 提高到 63.8%。不過,2B 模型沒有做出修改,4B 和 9B 模型則把自己弄壞了。作者建議先讓模型提出權重修改,再用保留的測試題確認效果。

11月20日週五
  1. elvis52

    模型量化時,適合的設定會隨模型和精度改變,專家往往得手動重做。MIT 和 NVIDIA 的論文提出 QDA,讓 AI 助理一輪輪組合並測試量化方案;它先用幾分鐘比較候選模型和原模型在推理過程中的輸出差異,再對有希望的方案進行較長測試。論文表示,QDA在幾種設定下都勝過最好的公開方案;在 320B MoE GLM-5.3-Flash 的 NVFP4 W4A4 測試中,保留了 FP8 準確度的 98.3%,高於最佳廠商檢查點的 96.9%。

  2. Google Research84

    Google 用量子處理器測試 contextuality,最高跑到 105 個量子位元

    量子電腦的特殊優勢能不能在更多量子位元上維持,過去還不清楚。Google Research 團隊在 Willow 量子處理器上測試一種叫 contextuality 的量子特性:兩組參與者要在不能交談的情況下,對同一格給出一致答案;預先寫好的古典規則最多隻能答對 88.89%,量子處理器答對 98.30%。團隊也測試最多 71 個量子位元的遊戲,以及最多 105 個量子位元的淺層量子電路,結果都超過古典方法的界線。這些任務還能抓出一般隨機電路測試容易漏掉的細微硬體錯誤。

    推薦理由:研究以多種量子任務檢驗 contextuality 是否能在更多量子位元上維持,也指出這些任務能抓出隨機電路測試容易漏掉的細微硬體誤差。

  3. Dev.to Top Tech88

    Google DeepMind 用 AI 驗證 Signal 加密程式碼,四項保障仍有範圍限制

    Signal 的加密程式通過形式化驗證,究竟代表訊息有多安全?Google DeepMind 用 AI 為 libsignal 的編譯程式碼建立數學證明,確認一對一對話符合四項保障,包括舊訊息不會因目前的金鑰外洩而被讀取,以及裝置遭短暫入侵後,後續對話能恢復安全。這份證明不涵蓋群組聊天、金鑰產生或手機作業系統,也沒有證明 SPQR 的後量子修復能力。作者認為,這顯示正式驗證對小型團隊可能逐漸變得可行,但仍需要人先清楚定義要證明什麼;測試找出錯誤,證明則能排除特定型別的錯誤,兩者作用不同。

    推薦理由:這項驗證直接檢查編譯後的程式碼,並列出涵蓋範圍與未證明的部分,可用來理解形式化驗證能提供什麼保障。

11月19日週四
  1. Hao AI Lab53

    文字越長,模型處理時花的時間和資源通常也會增加。RecSA 把 KV cache 排成樹狀結構,讓每次查詢一層一層搜尋;作者表示,查詢成本會隨文字長度以對數方式增加,且只用 32K 長度訓練的模型能延伸到 2M tokens。在 RULER 測試中,RecSA 從 131K 到 2M 都勝過比較方法;處理 1M tokens 時得分為 60.5,最強基準為 40.0。單張 H200 處理 524K tokens 時,輸入階段快 3.2 倍,生成階段快 3.8 倍。

  2. Epoch AI Updates68

    Epoch AI:AI 晶片的 AI 助理推論容量一年成長 4.6 倍

    AI 晶片的峰值算力增加,未必代表它處理 AI 助理工作的能力也以同樣速度增加。Epoch AI 用固定的一組長上下文工作,估算已售出晶片的 AI 助理推論容量;從 Q2 2025 到 Q2 2026,推論容量成長 4.6 倍,峰值 8 位元算力則成長 2.6 倍。差距主要來自 Hopper 換成 Blackwell,Blackwell 和 Blackwell Ultra 貢獻了新增容量的 74%,GB300 每張 GPU 的推論容量約是 H200 的 8 倍。作者預期,隨著累積容量變大,要維持同樣的成長幅度會更難;這些估算也未納入軟體效率差異。

    推薦理由:Epoch AI 用固定工作負載比較晶片的推論能力與峰值算力,呈現 Blackwell 世代轉換如何拉開兩者的成長差距。

  3. Rohan Paul72

    模型明明答對了,遇到使用者或另一個 AI 助理用錯誤理由反駁時,常會改口。這篇 Microsoft 研究提出 Self-Disagreement 訓練:模型先回答,再寫出反對自己的最強理由,接著判斷這些理由並重新作答;標準答案檢查器會替最終答案和判斷結果給分。研究中,Qwen3-8B 原本在反駁錯誤時有 53.3% 的機會守住正確答案,Gemma-2 9B 則是 25.1%;訓練後,兩者都提高到約 89%。只加強答題準確度的訓練,沒有帶來同樣的改善。

    推薦理由:研究比較了模型遭遇錯誤反駁時是否守住正確答案,並指出一般準確度訓練無法改善這項表現,可用來檢視模型面對質疑時的穩定度。

11月18日週三
  1. Dev.to Top Tech46

    1.5B 模型資料分析測試:單次提示詞比 AI 助理流程答對更多

    用小型模型分析 CSV 時,讓它分好幾步規劃、寫程式、執行,再修正錯誤,聽起來比較周全,結果卻可能更差。作者用同一個 1.5B 模型做 DABench 測試,單次提示詞產生程式、執行一次,40 題答對 0.70;AI 助理流程答對 0.55。AI 助理常在呼叫工具或修正程式時出錯,難題尤其容易卡住,花的 token 也約多 5.6 倍。這次測試題數不多,差距還不能算達到統計上的顯著程度;結果也只適用於這個小型本機模型。

  2. OpenBMB44

    混合架構會同時使用迴圈層和 softmax 注意力層來學習,但兩者可能在學同一種能力時互相搶走學習訊號。清華大學的新論文提出 BLD:預訓練一開始先凍結迴圈區塊,約用掉前 10% 的 token 後再解凍,讓兩種層一起訓練。測試六種 KDA 混合架構、規模從 180M 到 1B,BLD 讓長文測試 RULER 和回憶能力都變好;在 1B 模型上,RULER 從 32.75 升到 36.04,回憶分數從 36.50 升到 38.14,LongPPL 從 7.69 降到 6.50。架構、資料和 token 總量都相同,結果顯示誰先學,會影響模型記住長篇內容的能力。

  3. Hacker News (official RSS)68

    Energy-Based Reasoners 用能量分數引導 AI 推理與停止

    AI 模型反覆修改答案時,常不知道什麼時候該停,也缺少判斷目前答案是否變好的方法。這篇研究提出 Energy-Based Reasoners,讓模型替每個推理狀態計算能量分數,再沿著分數下降的方向修正答案;分數變化變小時,就能停止推理,也能從多個候選答案中挑出分數最低的。在 Sudoku-Extreme 測試中,它用 1.8M 個引數達到 99.9% 準確率,推論運算量比次佳模型少 345 倍。研究也測試了迷宮、皇后擺放和圖形著色題。

  4. Hacker News (official RSS)71

    Latent Lattice Language Models 用持續運作的潛在狀態提升語言模型表現

    語言模型想增加運算能力,常會加深網路或加入推理步驟;這項研究則讓模型在每一層保留能隨文字持續運作的額外狀態,並用它們影響注意力、KV cache、運算和解碼。在使用 20B FineWeb-Edu tokens 訓練的比較中,406M 引數的模型把驗證困惑度從 15.41 降到 14.40;搭配其他殘差改良方法時,數字進一步降到 13.61。研究也在多種迴圈式模型架構上測試這種設計,結果顯示它提供了增加語言模型計算能力的另一個方向。

  5. Epoch AI Updates82

    Claude Fable 5.2 和 GPT-6.2 Astra 做真實工作表現如何?

    模型在常見基準測試拿下高分,不代表就能做好日常工作。Epoch AI 用六個模型完成研究、寫作和 AI 資料中心分析等任務,再由人依照工作標準評分;沒有模型在任何一項任務達到 Epoch 員工的標準。Claude Fable 5.2 和 Opus 5.5 的 AI 資料中心分析已達承包商水準,但模型仍常沿用舊點子、很少反覆修改,也不擅長挑出重要發現。評測只有少量任務且每個模型每項只測一次,分數也含有人為判斷,因此作者提醒,結果不能代表所有工作情境。

    推薦理由:這份評測把模型放進真實工作任務中比較,呈現基準測試成績與研究設計、反覆修正及成果判斷能力之間的落差。

  6. Rohan Paul51

    用 AI 助理幫忙挑選下一個模型設定,聽起來能省下試錯時間,但錯誤建議也可能把搜尋帶偏。Amazon 與麻薩諸塞大學的論文比較加入 LLM 評審和不加入時的結果:Llama-3.1-8B 在 8 個資料集中的 7 個表現較差,AUC 最多下降 0.245;理想的評審最多隻提高約 0.005 AUC。作者也發現,使用 250 組設定、進行 20 輪搜尋時,傷害大多會減少。團隊可用相同的搜尋預算做對照,確認評審有幫助再採用。

  7. Dev.to Top Tech39

    四篇 AI 研究改善圖片推理、語音合成與模型運算速度

    AI 看圖推理時可能會忘記圖片裡的細節;合成語音也得花不少力氣,反覆運算的模型則可能回答得很慢。四篇新研究分別提出保留圖片線索的方法 RAPO、不用語音編碼器的 VoxMel、加快反覆運算模型解碼的 LoopFill,以及用來測試圖片物理推理能力的 DominoBench。 例如,DominoBench 用 854 個場景測試模型能不能從靜態圖片推測一連串物體碰撞;模型只看圖片時,最多隻有 72% 答對關鍵人物的結果。研究顯示,把決定答案的計算步驟和數字直接告訴模型後,答對率可提高到 82–92%。這些研究提醒我們,模型說得流暢,不代表它看得懂圖片裡的細節,也不代表它會算出正確結果。

11月17日週二
  1. Dev.to Top Tech64

    Tree-Ising 用約 $0.90 修補 Qwen3.5-0.8B,成本低於 GPT-6 Astra

    Qwen3.5-0.8B 在思考模式下會反覆輸出數學題內容,讓模型很難正常作答。研究團隊提出 Tree-Ising,挑選模型權重中的少量位元做修改,再用 GPU 搜尋合適的改法,不需要呼叫大型語言模型。研究報告稱,修補約花 $0.90、耗時 31 分鐘;GPT-6 Astra 的修補則花 $312、耗時約 15.6 小時。在 MATH-500@4 測試中,Tree-Ising 得分為 54.6%,GPT-6 Astra 為 51.7%。不過,結果都來自數學測試,尚未經其他人獨立重現,也沒有和 LoRA 等微調方法比較。

  2. Rohan Paul53

    一般代數解題工具能算出正確答案,但遇到某些題目可能花太久;改用題目裡藏著的捷徑,解題速度可能更快,卻得先找出捷徑。UCLA 與 AWS 的研究讓 Claude Opus 5 處理藏有捷徑的多項式題目,並把 AI 助理思考的時間也算進成本。它在 108 題中有 103 題能於 600 秒內解完,msolve 則有 60 題;但在兩者都解得出的 60 題裡,AI 助理只有 12 題比較快。研究也發現,先花 11.4 小時建立可重複使用的解題工具,之後跑題速度是已知捷徑基準方法的 5.4 倍。因此,這種做法較適合一般工具解不完的題目,或有足夠多相似題目能分攤前期準備時使用。

  3. elvis61

    強化學習訓練常要研究人員盯著進度、找問題,再手動調整做法。論文提出 AutoRL,讓 AI 助理檢視訓練曲線、測試過程和評估結果,找出問題並提出修改,再由另一個 AI 助理核准套用。文中提到,AutoRL 讓 Qwen3 在 AIME 2024 的成績從 46.67% 提升到 66.67%;用 LongCat-Flash-Lite 做程式任務時,pass@1 從 52.29% 升到 65.13%。作者也指出,每次修改仍需要大量運算資源來驗證。

11月16日週一
  1. OpenBMB47

    大型語言模型能讀很長的內容,但訓練太早停止,長文表現可能還沒練好。OpenBMB 分享一項研究,用模型大小、一般訓練資料量和長文本訓練資料量,估算模型處理長文的表現;這套公式也能推估沒直接測過的訓練規模,R²=0.97。研究還發現,訓練過程中可以用固定方式穩定追蹤進步,而且 32K 訓練帶來的提升能延伸到 128K,也能保留在 SFT 之後,並幫助長上下文與 AI 助理任務。

  2. Dev.to Top Tech35

    2026 年 11 月 14 日 AI/ML 研究整理:物理規律、模型訓練效率與 AI 助理可靠度

    AI 生成的影片可能出現不合常理的動作,機器人也需要更可靠的控制;大型模型的訓練和運作還會受到時間與記憶體限制。這批研究提出不同做法:讓 LLM 檢查並修改自己生成的影片,減少不合理動作;簡化 MoE 的運作方式,縮短訓練時間;也測試 AI 助理拿到不可靠資料時,會不會太有自信。另一項 3D 研究把 LiDAR、空間格子和幾何資料放進同一個表示方式,能用一次運算生成 3D 場景和動作。研究顯示,讓模型更懂物理、減少不必要的運算,並留意 AI 助理能記住多少資訊,都可能讓生成結果更順、訓練更省力、推理更可靠。

11月14日週六
  1. Dev.to Top Tech74

    MIT CSAIL 團隊用 50 次模型執行,修正 Qwen3.5-0.8B 的重複輸出

    小型語言模型有時會一直重複內容,答案還沒寫完就碰到長度上限,讓原本會的題目也得不到分數。MIT CSAIL 團隊讓 GPT-6 Astra 在不訓練模型的情況下,修改 Qwen3.5-0.8B 的部分權重;在 50 次模型執行後,MATH-500 答對率從 7.9% 升到 48.1%,答案被截斷的比例則從 93.0% 降到 33.1%。研究者檢查另一批題目後發現,答對率增加主要來自原本被截斷的答案完成了,已完成答案的正確率沒有改變。這項做法修正了輸出問題,沒有教模型新的數學能力;每種修改只測了一次,結果仍需小心解讀。

  2. Dev.to Top Tech46

    SpecOPD 如何用平行分支加快文字生成

    AI 生成文字時,常要先猜接下來的內容,再由大型模型檢查;一次能接受的猜測有限,還得按順序訓練,因此會拖慢速度。SpecOPD 把訓練拆成多個平行分支,讓它們同時進行。作者表示,這種做法最多能讓模型一次接受的猜測增加 41.45%,生成速度最高提升 3.56 倍;測試中,Qwen3.8‑27B 也達到 3.56 倍加速。不過,評估只使用一種硬體設定,程式也尚未公開,因此換到其他裝置能否得到相同速度,還需要確認。

  3. Hacker News (official RSS)72

    跑了 600 次實驗後,作者找出 JEPA 世界模型的規劃改進方法

    讓機器人把方塊推到遠處目標時,JEPA 世界模型一次規劃太多步,成功率會下降。作者在 Push-T 模擬環境中跑了 600 次實驗,發現把長任務拆成每段 25 步的短任務,並從過去示範中找子目標,可把成功率從 22% 提高到 85%。作者也用旋轉、鏡射等方式補上示範資料的空缺,讓較難目標的成功率從 45% 提高到 56%。另一項測試發現,目標圖片若連推桿位置也一起計分,可能讓機器人把方塊推離目標;只比對方塊位置時,50 個任務中有 39 個成功。這些改動不必重新訓練模型,但模型仍不擅長替沒有示範過的目標安排子目標。

  4. Hugging Face Blog65

    Hugging Face 發布 XYBench,測試 AI 助理能否看出問題問錯了

    有時候,人問的問題不是解決麻煩的好方法,例如蛋糕還太熱,卻一直想找讓糖霜黏住的方法。Hugging Face 與研究人員推出 XYBench,收錄 8,115 個程式和日常生活問題,用來測試 AI 助理能不能看出使用者真正想達成的目標,並把回答帶向更合適的解法。測試發現,受測模型常會回答使用者原本問的方法,較少把真正的目標放在回答重點;即使模型在選擇題中能挑出較好的建議,也不一定會在自己回答時這麼做。這項基準目前以英文和程式性問題為主。

    推薦理由:XYBench 比較模型回答字面問題與真正目標的差異,也呈現模型辨認出好建議後,仍未必能在作答時優先採用。

  5. Rohan Paul57

    MoE 模型常把不同工作交給不同專家,但專家的能力可能分散在專家內的神經元裡。Tencent 的研究用 RAMP 衡量神經元對不同領域的貢獻,再依分數剪掉較不重要的部分;測試涵蓋 6 個模型,留下 75% 的神經元時,表現仍保有原本的 91% 到 98%。留下 50% 時,GPU 記憶體用量減少 36% 到 43%,批次預填速度提高 17% 到 39%。結果顯示,壓縮 MoE 模型時,逐個判斷神經元的貢獻可能比整個移除專家更能保留原有表現。