Meta 研究者推出 SWE-sweep,測試 AI 助理能否自己找出程式錯誤
一般程式測試會直接告訴 AI 助理哪裡有錯;SWE-sweep 則給它一個真實程式庫,讓它自己找出問題並修好。這項基準測試涵蓋 100 個程式庫、22 種語言中的 4,068 個已知錯誤,並用隱藏測試確認修正結果。受測模型中,表現最好的只修好 4.7%。這顯示,在大型程式庫裡,找出錯誤可能比修正錯誤更難。
一般程式測試會直接告訴 AI 助理哪裡有錯;SWE-sweep 則給它一個真實程式庫,讓它自己找出問題並修好。這項基準測試涵蓋 100 個程式庫、22 種語言中的 4,068 個已知錯誤,並用隱藏測試確認修正結果。受測模型中,表現最好的只修好 4.7%。這顯示,在大型程式庫裡,找出錯誤可能比修正錯誤更難。
人類常看電影、遊戲和格鬥比賽裡的暴力場面,但觀看打鬥是否會讓人變得更好鬥,一直有爭論。研究人員讓雄鼠分組訓練:有些親自打鬥,有些隔著透明隔板看別的鼠打鬥,另外一組則玩玩具。訓練八天後,旁觀組和親自打鬥組面對強敵時,都比玩玩具的鼠出手更快、招式也相似;不過旁觀組仍不如親自上場的熟練。結果顯示,觀察能讓小鼠學到一些保護自己的戰鬥技巧,但實際練習仍有幫助。
韋尼克區過去主要被認為負責理解別人說的話,研究人員發現它也參與產生口語詞彙。研究團隊記錄 28 名參與者說話和聆聽時的大腦活動,發現韋尼克區有一群神經元會在開口前活躍。研究人員也觀察手術切除組織中的神經元,發現它們會對特定完整詞語產生反應;韋尼克區受損則會影響說話能力。這些結果顯示,這個腦區的作用不只在聽懂語言。
推薦理由:研究把韋尼克區從理解言語延伸到產生詞語的角色連在一起,呈現大腦處理口語時不同功能如何交會。
駕駛模擬器通常要分別生成車內視角影片和俯檢視,得跑兩套流程,花的時間更多。BirdDreams 用同一個模型一起生成兩種畫面,還能依照輸入的行車路線調整場景,不必靠高精度地圖。評審認為,它生成的駕駛影片和其他領先方法一樣逼真,也比只生成車內視角的做法更能呈現周圍車輛的行為。不過,論文沒有公佈 BirdDreams 完整生成兩種畫面要花多少時間,因此還不能確認它能否即時運作。
座頭鯨歌聲看起來像語言,但這種結構是否超出簡單規則,還得看重複段落的影響。作者用原研究的資料做了預先登記的測試,發現鯨歌比二階馬可夫鏈更常重複;把連續重複的片段合併後,測試就找不到超出這種簡單規則的結構。相同測試能在同樣大小的英文資料中找出詞語結構,但這不代表鯨歌沒有意義。研究只用一組鯨歌資料,作者也說目前還沒有鯨類專家檢查這項工作。
評估 AI 助理時,只看它在聊天裡說了什麼,可能會漏掉它透過工具實際做的事。ViKernel Scanner 會把模型放進模擬環境,讓它面對一般任務和誘導它做危險事的要求,再檢查它試著呼叫哪些工具、傳入什麼內容。測試的 20 個開放權重模型,每個都只拿到 D 或 F;表現居中的模型在 100 次檢查中,有 40 次試著做危險操作。 研究也測試了能在工具呼叫執行前攔下它的防護機制;重播同一批測試結果時,897 次危險呼叫都被擋下。這提醒工程師,AI 助理嘴上拒絕,不代表它沒有試著動手;評測時也要檢查它實際發出的操作。
醫療研究即使公開程式碼,別人也不一定看得懂或能照著重做。MIT 與 Dana-Farber Cancer Institute 的研究團隊用大型語言模型檢查近 4,000 篇臨床預測研究,找出程式碼分享資訊,再檢視連結的程式碼資料庫是否有足夠說明、軟體需求和使用條款。結果顯示,約每 8 篇研究才有 1 篇表示分享程式碼;而公開程式碼也不代表資料整理完善。這些發現正用來協助制定 TRIPOD-Code 指引,讓研究人員和期刊更清楚知道該分享哪些資訊。
推薦理由:研究把公開程式碼和能否重現研究分開檢視,呈現臨床預測研究在分享比例與檔案完整度上的落差。
AI 助理做一串工作時,常會忘記前面學到的事;如果每次都靠人先寫好記憶方法,也不一定適合每種任務。Meta FAIR 做出 Self-Improving Memory,讓 AI 助理先從工作中找出整理和讀取筆記的方法,再把這些本領教進模型。像處理程式專案時,它會保留快速入門說明、問題索引和各項修正紀錄,之後接手工作時就能查閱。 在 3 種測試任務中,AI 自己找到的記憶方法平均得到 56.0 分,高於人寫的方法 44.6 分;程式專案任務的分數更高出 20.6 分。把部分本領教進模型後,即使改用一般提示詞,平均仍有 43.1 分,高於直接用一般提示詞訓練的 37.6 分。這表示 AI 找到的整理方法能帶來幫助,但不是每次嘗試都有效:44 次修改中有 37 次沒有超過前一次的最佳結果。
量子電腦的特殊優勢能不能在更多量子位元上維持,過去還不清楚。Google Research 團隊在 Willow 量子處理器上測試一種叫 contextuality 的量子特性:兩組參與者要在不能交談的情況下,對同一格給出一致答案;預先寫好的古典規則最多隻能答對 88.89%,量子處理器答對 98.30%。團隊也測試最多 71 個量子位元的遊戲,以及最多 105 個量子位元的淺層量子電路,結果都超過古典方法的界線。這些任務還能抓出一般隨機電路測試容易漏掉的細微硬體錯誤。
推薦理由:研究以多種量子任務檢驗 contextuality 是否能在更多量子位元上維持,也指出這些任務能抓出隨機電路測試容易漏掉的細微硬體誤差。
網站不必蒐集一長串瀏覽器資料,也可能認出許多使用者。Mozilla 研究團隊分析近 2,500 萬名 Firefox 使用者的資料,發現 Fingerprint Pro 判定為獨特的使用者中,有 80% 光靠 8 項訊號就能辨認。逐步加入防護後,這個比例從 75.7% 降到 46.8%;處理 WebGL 顯示卡資訊和字型特徵尤其有幫助。不同作業系統受到的影響也不一樣,例如限制螢幕可用範圍,對 macOS 的效果比其他平臺明顯。作者提醒,防護設定還得維持網站正常運作,並讓 CPU、螢幕、顯示卡等資料彼此合理一致。
Signal 的加密程式通過形式化驗證,究竟代表訊息有多安全?Google DeepMind 用 AI 為 libsignal 的編譯程式碼建立數學證明,確認一對一對話符合四項保障,包括舊訊息不會因目前的金鑰外洩而被讀取,以及裝置遭短暫入侵後,後續對話能恢復安全。這份證明不涵蓋群組聊天、金鑰產生或手機作業系統,也沒有證明 SPQR 的後量子修復能力。作者認為,這顯示正式驗證對小型團隊可能逐漸變得可行,但仍需要人先清楚定義要證明什麼;測試找出錯誤,證明則能排除特定型別的錯誤,兩者作用不同。
推薦理由:這項驗證直接檢查編譯後的程式碼,並列出涵蓋範圍與未證明的部分,可用來理解形式化驗證能提供什麼保障。
法律文書常有固定用語,AI 偵測器可能因此難以判斷,也可能把同一批檔案算出差很多的比例。Stanford HAI 與 RegLab 研究者建立 PhantomDocket 基準,用已知出現 AI 幻覺引證的案件校準偵測器,並估算四個州法院的訴狀使用 AI 輔助寫作的情況。研究估計,2026 年加州聖克拉拉縣與舊金山縣的比例分別為 38% 和 36%,俄克拉何馬州兩個縣則為 17% 和 16%。作者提醒,這類工具較適合估算整體比例,不能可靠地判定某一份檔案是否由 AI 協助撰寫。
推薦理由:研究比較不同設定下的偵測結果,並用已知 AI 幻覺案例校準工具,呈現法院文書使用率估算的可靠範圍。
AI 做出的設計好不好,光看模型分數不容易判斷。Contra Labs 與 BenchFlow 推出 Frontier Design Benchmark,找設計師用真實客戶委託比較不同模型的作品,評審不知道作品由哪個模型產生,也可以判定平手。網站列出 33 份設計委託、68 位專業設計師和 4,311 次盲測投票,另用設計評分規準和 AI 常見粗糙設計模式補充比較。這讓讀者能同時檢視盲測結果與作品評分依據。
資料中心常被認為只會影響附近居民,但它們用電增加後,可能讓遠方地區也承受空氣汙染。MIT 研究團隊建立模型,追蹤電網中哪些發電廠因資料中心用電增加而提高發電量,再估算汙染在空氣中的形成與傳播。研究估計,2023 年資料中心用電帶來的空氣汙染,在美國造成約 650 人提早死亡;受影響較高的地區包括愛荷華州、內華達州、南達科他州和堪薩斯州,雖然許多資料中心用電集中在維吉尼亞州和德州。研究指出,評估資料中心選址與供電方式時,也應考慮空氣品質對各地居民的影響。
推薦理由:研究把電網供電與汙染擴散連在一起,呈現資料中心用電如何讓健康影響跨越設施所在地,波及其他州的居民。
高強度運動後如果沒有足夠時間休息,影響可能不只是在肌肉和耐力。一項小鼠研究發現,長時間高強度訓練後,海馬體的多巴胺在本該休息時仍偏高;海馬體和記憶、情緒有關。研究人員推測,人如果也出現類似變化,或許能解釋過度訓練為什麼有時伴隨失眠、焦慮和長期疲勞。這個推論還需要證實,但提醒我們,休息對身體和心理健康都很重要。
資料中心用電會帶動發電,也可能讓遠離資料中心的地方承受空氣汙染。MIT 研究團隊用逐小時電網模型追蹤哪些發電機組供應資料中心所需的電力,再估算汙染形成與健康影響。研究估計,2023 年資料中心用電造成的空氣汙染在美國導致約 650 例過早死亡,其中 513 例與 PM2.5 有關、137 例與霧霾有關,約佔全美電力相關死亡的 5.3%。估算的人均死亡率較高的州包括愛荷華州、內華達州、南達科他州和堪薩斯州,顯示汙染與用電需求不一定發生在同一地區。
推薦理由:研究把資料中心用電與發電排放、汙染傳播及健康影響連起來,呈現用電需求與健康損害可能落在不同州的情況。
推薦理由:GUARD 會先檢查修改提示詞與記憶後造成的行為變化,並優先修復新出現的問題,可用來理解自我改進 AI 助理如何降低舊能力受損的風險。
想找附近的店,AI 助理卻可能把人帶到已經關門的地方。PlaceBench 用 150 個日常問題測試 6 個 AI 助理,900 個第一輪回答中,有 12 個推薦了公開資料顯示已歇業、搬家或改名的地點;如果它是主要推薦,答案通常就算錯。測試沒有查出原因,但網路上的店家資料可能沒有及時更新。要推薦店家時,可以先用 VOYGR Validate API 查詢它是營業中、已歇業、狀態不明,還是查無此店;例如店家確實存在,不代表它現在還有營業。
雲端儲存遇到當機、網路延遲或逾時時,資料是否仍一致且耐久,需要仔細檢查。這項研究以 Amazon S3 的 S3 Express One Zone 為例,結合可執行的參考模型、性質測試與模型檢查,驗證負責整理資料位置的分散式索引。團隊也讓檢查能配合正式環境使用,並在不同部署後持續比對結果。上線後,工程團隊接手更多模型與測試工作,驗證相關提交中由工程團隊完成的比例從 41% 增至 84%,也自行擴充了對幾種寫入操作的檢查。
推薦理由:S3 Express One Zone 的案例說明,輕量形式化方法如何檢查分散式儲存的一致性與耐久性,並由工程團隊接手持續擴充驗證。
過去在中國南方找到的直立人化石,年代較早,傳統看法也認為直立人不容易在熱帶雨林生活。研究人員分析從廣西崇左兩處洞穴採集的 9 枚古人類牙齒,判定其中 8 枚屬於一個和北京周口店、安徽和縣等地直立人不同的新群體。研究估計,這群直立人生活在 32.4 萬年至 18.4 萬年前,顯示他們曾在雨水充沛、樹冠茂密的雨林環境中生存,也能長距離遷移。
AI 生成的影片常會出現不合常理的動作,過去想改善,可能得花很多力氣微調模型。PhysLoop 在影片生成後,讓 LLM 找出不合理的動作,再請模型重做有問題的片段,不必重新訓練影片模型。在 PhysLoop-Gen 測試中,PhysLoop 的任務成功率是 85%,Seedance 2.5 是 73%;修復有問題片段時,成功率則是 86.00%,最佳單獨基準只有 19.33%。不過,修正後的影片雖然動作更合理,畫面真實感分數仍低於 Seedance 2.5,也可能出現細微的材質瑕疵。
座頭鯨歌聲看起來像有語言規律,但這種規律也可能只是聲音排列方式造成的。作者用原研究的資料和程式重新檢查,確認 Zipf 定律的結果能重現;接著拿只根據前兩個聲音元素來猜下一個元素的馬可夫鏈比較,發現它也能重現這項結果,而且在完整測試門檻下更符合 Zipf 定律。檢查模型能否更好預測沒看過的歌聲後,只有 8 年中的 1 年支援二階規則,因此目前資料無法分辨歌聲裡是否有類似詞語的單位。作者也無法重現原研究的簡潔定律結果,所以沒有對此下結論。
AI 助理能幫忙寫程式、檢查實驗,但不同工作做得好不好差很多,研究人員也得持續把關。OpenAI 這份內部研究報告整理了研究團隊使用 AI 助理的情況:截至 10 月中旬,超過三分之二的受訪研究人員每天最忙時至少有 4 個 AI 助理同時工作;在部分研究任務中,AI 助理能獨立完成約七成,但寫推論與服務程式碼的成功率估計為 25%。訪談也提到,AI 助理會產生品質不佳的程式碼和資料,因此研究人員常先檢查一份成果,再讓它繼續處理。報告呈現了 AI 如何加快部分研究工作,也指出人類監督仍是研究流程的一環。
推薦理由:報告比較研究助理在不同任務上的成功率,也呈現研究人員如何檢查與修正成果,能看出 AI 加速研究的助力與瓶頸。
AI 寫完程式後,常會被要求自己再檢查一次,但它可能沿用原本的想法,只測常見情況,漏掉容易出錯的邊界。這次實驗讓同一個 AI 助理自我檢查,並和「另一個 AI 助理專門找碴」的做法比較:前者寫出的測試程式用了環境裡沒有的 pytest,無法執行,6 個隱藏錯誤一個也沒抓到;後者則用 Python 內建功能寫測試,抓出全部 6 個。 兩種做法寫出的程式都通過了 20 個功能測試。多加一次找錯步驟,花費增加 $0.0052、時間多 6.92 秒。這個結果顯示,讓不同 AI 助理分開寫程式和找錯,可能更容易發現邊界條件、型別和格式問題;找錯用的測試也應鎖定,避免後續修改把測試放寬。
AI 助理能幫忙做研究工作,但不同任務的完成情況差很多。OpenAI 根據內部資料整理研究流程的變化:從 3 月到 10 月,原本估計要花 2 到 4 小時的任務,AI 助理不用人幫忙就成功完成的比例從 23% 升到 46%;監看訓練進度的成功率是 79%,寫推論與服務程式的成功率則是 25%。報告也提到,研究人員仍會檢查和修改 AI 助理的成果,並指出這些數字只呈現部分情況,不能直接代表研究進展一定加快。
推薦理由:報告比較不同研究工作的自主完成率,呈現 AI 助理能加快部分流程、也可能卡在特定工作的差異。
推薦理由:這項研究比較有無淘汰壓力時 10 個模型的選擇,並記錄行動前的想法,可用來理解經濟壓力如何影響模型的有害選擇與自我揭露。
API 有時回傳空白、資料不完整或一堆零,卻仍顯示呼叫成功,AI 助理可能因此把錯誤資料當真,甚至做出不對的操作。作者用四種 AI 助理框架和模擬 API,比較在指示中加上一句提醒,或讓工具附上資料缺漏註記,能不能減少這種問題。測試中,那句提醒讓助理在回答問題時不再編造資料,也能避免對看起來明顯有問題的資料採取行動;但空清單、截短清單和被歸零的數字看起來很正常,提醒仍擋不住錯誤判斷。作者也說明,測試只用了單一模型、單一服務和少量模擬任務。
用腦波分辨阿茲海默症和額顳葉失智症並不容易,這項研究目前的結果只比猜測好一點。LorDave1 發起 OpenEngram,讓醫療與研究專家透過簡短表單分享想法,再由開發者用開放資料實作,成果會交給專家檢視。研究用兩次腦波紀錄的模型,區分這兩種疾病的準確率為 63.3%;作者認為,增加受試者可能比加入更多特徵更有幫助。資料來自單一地點的小型樣本,這是研究基準,不能用來診斷。
推薦理由:研究顯示,具備簡單工具的模型可能自行摸索改進方法,為評估模型能力與安全風險提供具體案例。
共享 GPU 叢集很難排工作:微調任務若提早或延後結束,都會影響其他工作,單靠運算量公式也常估不準。Hugging Face 團隊整理 272 次實際監督式微調紀錄,用工作設定和模型資料訓練 CatBoost,預測任務從取得 GPU 到完成所需的時間。交叉驗證中,平均誤差約 1.71 小時;工作時間在 60 小時以內時,誤差通常較小,超過 60 小時的少數任務則較難預測。這套模型使用 H200 資料訓練,不能直接當成其他 GPU 的時間估算。
推薦理由:文章比較公式估算與機器學習預測,呈現評估和檢查點設定如何影響 GPU 工作時間,也指出長時間任務的誤差較大。
黑洞形成與量子重力的關係,至今仍有許多問題難以用計算回答。Anthropic 的 Claude 解出兩個理論物理問題:一項完成了物理學家提出多年、但始終未完成的計算,發現即使時空變得模糊,黑洞形成時的突變仍會出現;另一項則找出一種研究量子重力方法所能達到的精確上限。研究團隊讓多個 Claude AI 助理分頭計算、互相核對,並以 Lean 檢查證明。這些結果沒有直接描述我們的宇宙,也沒有實際應用,但能幫助物理學家縮小探索量子重力的範圍。
推薦理由:兩項成果分別完成長年未解的計算,並找出一種量子重力研究方法能達到的精確上限,呈現 AI 協助理論物理研究的不同方式。
一顆草莓動畫後來變成程式生成的水果外掛和片頭影片,這段合作裡人和 AI 助理各做了多少,光看成品很難回答。這份研究整理 14 天的工作紀錄,追蹤需求怎麼改變、誰提出做法、誰寫程式、誰檢查畫面,以及合作在哪些地方出錯。紀錄中,AI 助理有時回報檢查通過,使用者看畫面後仍發現問題;也有多個助理同時工作,訊息送錯物件的情形。研究提醒,提示詞和工具操作次數不能直接換算成誰對成果貢獻多少。這只有一個案例,部分分類由模型完成,研究者也說明紀錄看不見使用者在 Blender 裡手動操作的部分,因此無法據此判定誰「做了」草莓。