AI Scientist 自動產生研究點子、撰寫程式並完成論文草稿
做研究需要想題目、寫程式、跑實驗,最後還得整理成論文。AI Scientist 是研究者提出的架構,讓大型語言模型自動完成這些步驟,從產生研究點子、撰寫和執行程式,到整理實驗結果並寫出論文草稿。這套方法想讓 AI 自己進行開放式研究;文章也提醒,研究成果是否新穎、正確且能重現,以及能否通過同儕審查,仍是判斷它是否可靠的關鍵。
做研究需要想題目、寫程式、跑實驗,最後還得整理成論文。AI Scientist 是研究者提出的架構,讓大型語言模型自動完成這些步驟,從產生研究點子、撰寫和執行程式,到整理實驗結果並寫出論文草稿。這套方法想讓 AI 自己進行開放式研究;文章也提醒,研究成果是否新穎、正確且能重現,以及能否通過同儕審查,仍是判斷它是否可靠的關鍵。
資料情況一變,MoE 模型可能得花不少時間重新學習,才能找回原本的表現。P²-MOPD 把舊模型專家的引數當成參考,同時調整學生模型的引數和各專家的影響比例,讓學生模型能靈活學習。測試中的 1.7 B 引數模型,平均恢復表現達 94.7%,MOPD 則是 80.9%;P²-MOPD 用一半的訓練步數,就超過 MOPD 最後的平均恢復表現。不過,每一步訓練的計算量和 MOPD 相同,因此實際能省多少時間,還要看訓練安排。
AI 助理在某種執行環境裡做不好任務時,換一種執行方式有時能幫它找到解法,但這些解法未必能帶回原本的環境。Harness-S 會讓同一個 AI 助理在 AppWorld、SWE-Gym 和 DBBench 裡,嘗試幾種不同的執行方式來完成原本失敗的任務,再把學到的做法帶回原本的 H0 環境。就像練習時換不同方法解題,考試時仍要回到原本的規則。 研究在 Qwen3.5-4B 和 Qwen3.5-9B 上測試,結果顯示,回到 H0 評估時,Harness-S 的表現勝過只訓練 AI 助理本身;但提供的內容沒有列出實際分數。這項做法的重點,是讓 AI 助理學會能帶回原本環境使用的技巧,而不是隻讓某種執行方式變得更好。
訓練 AI 助理的資料如果只留下正確答案,模型就看不到工作中常遇到的錯誤和重試。作者公開 MegaBit Trajectories,收錄 66 段 Python 程式專案的完整工作紀錄,包括工具指令、錯誤訊息、測試失敗和後續修正;每段紀錄最後的測試都通過,也附有檢查工具,讓使用者確認下載的資料是否完整。作者也列出和其他公開資料集比較後的限制:這份資料的專案數較少,最長的錯誤重試過程也較短,目前尚未公佈訓練成果。
壓縮檔通常得靠專門設計的壓縮方法;Tufa Labs 的 tufazip 改用會邊讀邊學的 Transformer,預測文字接下來會出現什麼,再把預測結果和文字一起還原。它把 Wikipedia 的 1GB 文字無損壓到 105.39MB,解壓後不會少資料;這也是大型文字壓縮測試中,只靠神經網路預測的專案裡最小的結果。不過,壓縮和解壓各要用 2 張 Nvidia B200 GPU 跑大約 7 天。這是研究用途的成果,顯示 AI 模型也能拿來壓縮文字,但要省下空間,可能得付出很高的運算時間。
想查食物熱量時,大家最常搜尋香蕉還是雞蛋?作者用 Google Ads Keyword Planner 查了 36 種語言的搜尋紀錄,發現兩者各自在 15 種語言中都是最熱門的熱量搜尋。各地也有不同習慣:韓文和馬來文搜尋裡,米飯最受關注;俄語使用者查蘋果熱量的次數,是查香蕉的 3 倍多。作者也公開了 100 種食物、36 種語言的資料,讓大家可以拿來做圖表或練習處理不同語言的文字。
語言模型通常要再訓練一次,或在回答時多花運算,才能改善表現;這篇研究提出讓模型自己修改權重的方法。研究團隊讓一個開放權重的 27B 模型檢查答錯的題目、修改自己的權重,再用練習題確認修改是否有效,只保留有用的版本。研究指出,修改後的模型在沒看過的題目上準確率提高 6.6 個百分點,連續 8 次修改後表現也都上升;它還能修復一份受損的自身副本,讓副本在沒看過的影像題目上恢復到原本準確率的 80% 以上。這些結果來自研究中的測試,摘要也指出同一模型系列裡較小的模型無法做到這件事。
同一句話用斯洛伐克語送進 GPT-5,可能比用英文花更多 token,讓費用增加,也更快用完上下文視窗。作者用相同的 1,012 句內容測試 204 種語言和 35 種 tokenizer,發現 GPT-5 切分斯洛伐克語所需的 token 是英文的 1.68 倍;作者認為,主要原因是訓練資料中的斯洛伐克語較少。文章也提醒,選模型時要把語言造成的 token 差異算進成本,並用實際 tokenizer 計算 RAG 文字分段;token 較省也不代表模型回答得比較好。
只看最後寫好的程式碼,AI 助理學不到遇到錯誤後怎麼繼續。Sumama-Jameel 整理出 66 段實際執行的程式開發過程:AI 助理在 Docker 沙盒裡處理真實專案任務,使用工具、碰到錯誤再修正,工具輸出和失敗紀錄都保留下來。每段資料都會檢查專案測試,也能在自己的電腦上重新驗證。作者公開與四份大型資料集的比較,並說明這份資料在規模和部分指標上落後;用它訓練的小型模型有一項分數從 43% 升到 80%,其他分數則退步。
AI 助理做一串工作時,常會忘記前面學到的事;如果每次都靠人先寫好記憶方法,也不一定適合每種任務。Meta FAIR 做出 Self-Improving Memory,讓 AI 助理先從工作中找出整理和讀取筆記的方法,再把這些本領教進模型。像處理程式專案時,它會保留快速入門說明、問題索引和各項修正紀錄,之後接手工作時就能查閱。 在 3 種測試任務中,AI 自己找到的記憶方法平均得到 56.0 分,高於人寫的方法 44.6 分;程式專案任務的分數更高出 20.6 分。把部分本領教進模型後,即使改用一般提示詞,平均仍有 43.1 分,高於直接用一般提示詞訓練的 37.6 分。這表示 AI 找到的整理方法能帶來幫助,但不是每次嘗試都有效:44 次修改中有 37 次沒有超過前一次的最佳結果。
Meta 的廣告排序模型種類很多,逐一套用新方法既耗時,也容易在不同模型上出現問題。Meta 用標準模型模板整理出一小組可重複使用的模型設計,先在有代表性的模型上測試新方法,再把通過檢查的改動加入模板,推廣給使用這些模板的模型。Meta 表示,這套做法讓每個模型所需的工程時間減少 92%,兩年來推出超過 5000 種技術與模型組合,離線模型品質平均提升 0.63%,線上成效累計提升 0.86%。模板也讓 AI 助理有較明確的設計範圍,可協助提出想法、進行實驗和找出問題。
推薦理由:Meta 說明標準模型模板如何把逐一調整模型的工作,改成在代表性模型上驗證後推廣,並分享兩年來的工程時間與模型成效變化。
模型在熟悉的資料上分數很高,不代表換到別家醫院也能可靠判讀。作者用 APTOS 2019 訓練視網膜病變分級模型,並做了一個只看影像尺寸、亮度和檔案大小的分類器;它完全沒看視網膜,QWK 仍達 0.652,顯示相機特徵可能讓模型猜中標籤。模型在 IDRiD 表現尚可,到了由三位專家共同判讀的 Messidor-2,五級 QWK 降到 0.493,尤其常把中度病例判得太輕。作者進一步比較標籤後發現,用專家判讀結果微調,比只用模型自己的評分微調有更大提升;但 APTOS 測試集準確率也下降,因此沒有把微調模型用於展示。
模型答得出常見蛋白質,不一定代表它學會了蛋白質序列的規律,因為這些資料也常出現在論文和網路上。研究者改用少人研究的細菌與古菌蛋白質,請模型根據序列前段預測下一個胺基酸,再和打亂順序的序列比較。Claude Fable 5.2 在原始序列上答對 54%,打亂後則是 9%;其他受測的一般模型幾乎沒有這種差距。研究結果顯示,Claude 最新模型可能在訓練時接觸過大量蛋白質序列;不過,這項測試只檢查下一個胺基酸,不能直接說明模型能否預測蛋白質結構或突變影響。
推薦理由:研究用冷門蛋白質序列測試模型是否學到序列規律,並比較 Claude 與專門蛋白質模型的預測表現。
美國大型資料中心要支援雲端服務、大型語言模型訓練和 AI 工具,研究估算它們一年會用掉多少電,以及因此產生多少碳排放。研究人員分析了 403 座資料中心的衛星影像,估計在 2024 年 5 月至 2025 年 4 月間,它們共用電 68–99 TWh,最高接近印第安納州、密西根州和田納西州各自一年的總用電量。這些資料中心約有 54% 的電力來自化石燃料,研究期間排放約 2570 萬公噸二氧化碳。研究人員認為,目前的用電需求和排放可能已高於研究期間的估算。
Qwen3.5-0.8B 在思考模式下會反覆輸出數學題內容,讓模型很難正常作答。研究團隊提出 Tree-Ising,挑選模型權重中的少量位元做修改,再用 GPU 搜尋合適的改法,不需要呼叫大型語言模型。研究報告稱,修補約花 $0.90、耗時 31 分鐘;GPT-6 Astra 的修補則花 $312、耗時約 15.6 小時。在 MATH-500@4 測試中,Tree-Ising 得分為 54.6%,GPT-6 Astra 為 51.7%。不過,結果都來自數學測試,尚未經其他人獨立重現,也沒有和 LoRA 等微調方法比較。
HinglishBench 比較 Beam-1.0-501B-A23B、Gemma-3-27B-it 與 Qwen3-32B 解答 82 道 GSM8K 數學題的英文版與羅馬化 Hinglish 版。
研究人員比較將以自然影像預訓練的基礎模型 DINOv2 調整後用於醫療影像分割,與針對特定任務訓練的模型之表現,並測試模型在新臨床據點的泛化能力。 評估方式:研究改變模型的調整範圍,並在新臨床據點測試,而非只使用與訓練資料分佈相同的資料。 研究重點:評估基礎模型能否泛化至新醫院,以及醫療 AI 是否應重視目標式調整與跨據點穩健性評估。
完整氣候模型很精細,但跑一次可能要花數月,難以快速比較許多未來情境。MIT 研究團隊提出一種訓練方法,先用簡化模型產生合成的排放情境,再反覆挑選能幫助 AI 氣候模型降低預測誤差的資料。這些情境可能不像真實未來,卻能讓模型更有能力預測訓練時沒看過的情況;研究中的傳統模型在測試地方汙染管制、其他排放仍持續上升時,未能做到這點。團隊表示,這種方法也只需用完整氣候模型產生一次資料,可望縮短訓練時間。
研究者在單目深度估計與物件偵測的聯合模型中加入物件感知深度監督,讓物件框內的畫素在深度損失中權重提高 5×,並以不確定性加權平衡兩項任務;論文已獲 ICTCS 2026(Springer LNNS) 接受。
Apple 研究透過理論與實驗指出,SSM 的閘控機制會使模型先學會權重內記憶,並延後甚至阻礙正確的情境學習解法收斂。 研究發現:即使架構或記憶容量沒有根本限制,閘控仍可能影響情境學習;另一方面,它常有助於提升長序列泛化能力。 研究範圍:分析閘控機制如何塑造 SSM 的訓練動態與泛化表現,為理解及改進線性時間模型提供依據。
Meta FAIR 研究人員推出 e-means,這種迷你批次 k-means 演演算法在 1.4 至 2.6 個 epoch 內,達到 Lloyd’s k-means 執行 25 個 epoch 的 loss。
血糖會隨時間變化,研究者想知道能不能用自己的資料預測接下來的血糖。他用自己的資料和公開資料測試 15 種模型,其中自己做的 T1DMAI 是小型 Transformer,會預測未來 2 小時的血糖;再用少量真實資料微調後,在自己的資料測試中,60 分鐘預測的分數接近表現最好的 XGBoost。可是換到公開資料時,結果就不一樣,也有模型很難抓到低血糖。這些測試目前只適合研究和教學,模型沒有經過臨床驗證,不能拿來決定用藥或治療。
要預測天氣和水情,得先把各地衛星與地面儀器的觀測整理成完整、更新快的全球影像。Google DeepMind 開放 SatWeave 和 PARDIG,提供即時資料與歷史資料,讓研究者和開發者用來打造天氣、水文和氣候應用。SatWeave 每小時整合全球衛星影像;PARDIG 則用 AI 推估全球降雨,每 15 分鐘一筆,平均延遲約 5 小時。文中評估顯示,PARDIG 在小到中雨的每小時降雨偵測表現,比 IMERG-Final 高 30% 以上,也能協助研究洪水、土石流和乾旱。
推薦理由:兩組資料分別補上全球衛星雲圖與降雨觀測,可供研究者評估天氣、水文與氣候應用,文中也比較了降雨偵測表現。
用資料製作合成資料時,既要保護個人隱私,也要盡量保留原本資料的樣子。這項研究重新分析 Private Evolution,指出如果生成模型能掌握部分真實資料的分佈,所需樣本數可能只取決於資料本身的維度,而不是整個空間的維度。研究也發現,標準做法在簡單、分群明顯的資料上可能無法收斂,因此提出會考量資料幾何形狀的新版本;實驗中,新方法與常見基準相當,也能提高找回資料的比例。
4-bit Naive Bayes 在二元分類的 SMS 任務上能維持準確率,但對稱量化用於四分類的 AG News 時準確率大幅下滑;改用 zero-point int4 後,準確率回升至接近 int8。
summary_zh: 作者利用自監督式時間對比損失,從火星車的遙測資料中自動辨識「復原相關」時間視窗,證明即使在標籤稀缺的任務關鍵復原視窗,模型亦能捕捉故障到正常運作的時間簽名。
summary_zh: 我為一個 ML Agent 加入 Hindsight Memory,卻發現測試 F1 指標未有顯著提升。 - 實驗設計: - 兩個代理同樣使用 openai/gpt-oss-20b on Groq,分別為 Memory Agent(使用 Hindsight recall)與 Baseline Agent(無持久記憶)。
ALOC Station 稽核 1,093 道 JAMB 數學考題與 WAEC 試點題組,分析逾 20 年的考題分佈與認知難度,指出兩種考試的命題重點和作答能力要求不同。
Qwen3.5-0.8B 的 MLP 神經元被秘密排序,重要度高的神經元集中在低索引位置,這一結構可直接從權重檢視並影響剪枝效能。 - 排序特徵:在 24 層中,63%–96% 的最活躍神經元位於前 512 個索引,隨機排列時僅 14%。
導語 MIT CSAIL 的研究顯示,GPT-6 Astra 能夠直接閱讀、修復並從零寫出神經網路權重,實驗中修復 Qwen3.5-0.8B 的迴圈問題後。