跳到正文

#論文/研究

RSS
今日 0 則
11月21日週六
  1. OpenAI News55

    OpenAI 推出 MedChemBench,測試 AI 模型能否幫忙挑選藥物候選物

    找藥物時,讓分子更能對付疾病相關蛋白,可能也會讓它更難被身體吸收,或更快分解。OpenAI 推出 MedChemBench,收錄 99 個來自研究論文的題目,測試 AI 模型能不能看懂分子結構、解讀實驗結果、挑選候選物並預測性質。評測中,GPT‑6 Astra 擅長還原分子結構與解釋證據,但挑選化合物和預測數值仍較困難。這項測試只看模型如何運用過去的研究資料,不能證明 AI 已能發現新藥或改善實驗室決策;研究者也無法排除模型先前看過相關資料的可能。

  2. Apple Machine Learning Research72

    Depth Pro 2 用同一個模型估算照片與影片的景深

    從單張照片估算景深時,物體邊界可能不夠清楚;處理影片時,深度又可能一格一格地跳動。Apple 的研究團隊提出 Depth Pro 2,用同一個可擴充的網路處理照片和影片,並以原始畫面解析度估算每個畫素到相機的公尺距離。團隊表示,這個模型能同時做到距離準確、物體邊緣清楚,且影片前後畫面穩定,表現也勝過先前方法;研究團隊並釋出模型和程式碼。

    推薦理由:Depth Pro 2 把單張照片與影片深度估計放進同一個模型,呈現邊界清晰度和畫面穩定度如何兼顧。

11月20日週五
  1. Hugging Face Blog84

    Hugging Face 示範為 Qwen3.8-27B 訓練 AI 助理工具專用介面卡

    通用模型搭配不同 AI 助理工具時,可能會多花時間和 token,解程式問題的表現也不夠好。Hugging Face 團隊把強化學習直接放進 pi、Hermes Agent 和 OpenCode 這三種工具中,分別為 Qwen3.8-27B 訓練介面卡,也把三者合併成一個版本。測試顯示,各自的專用版本在對應工具和程式開發基準上都優於原模型,完成任務時也少用工具;合併版本則能在三種工具中使用。這套流程與訓練資料也公開,讓其他人能照著調整自己的模型和任務。

    推薦理由:這套流程把強化學習放進實際使用的 AI 助理工具中,並比較專用與合併介面卡的成效,可供重現與評估程式開發任務。

  2. 888Embody42

    每日論文雷達:19 篇具身 AI 研究,從電路板製作到機器人導航

    機器人要做精細工作,常得同時看懂環境、想好步驟,還要把動作控制得很準;只靠一個模型從頭包辦,可能不夠穩。這次整理了 19 篇具身 AI 研究,其中 JARVIS 讓機器人掃描工作區,先在虛擬環境預演設計和製作電路板,再實際動手;ROAM 則把環境理解和機器人的移動控制分開合作,讓四足或雙足機器人在高山、城市等環境中長距離導航。這些研究顯示,把「看懂、規劃」和「精準動作」分工,可能有助機器人處理更複雜的真實工作。

  3. Google Research84

    Google 用量子處理器測試 contextuality,最高跑到 105 個量子位元

    量子電腦的特殊優勢能不能在更多量子位元上維持,過去還不清楚。Google Research 團隊在 Willow 量子處理器上測試一種叫 contextuality 的量子特性:兩組參與者要在不能交談的情況下,對同一格給出一致答案;預先寫好的古典規則最多隻能答對 88.89%,量子處理器答對 98.30%。團隊也測試最多 71 個量子位元的遊戲,以及最多 105 個量子位元的淺層量子電路,結果都超過古典方法的界線。這些任務還能抓出一般隨機電路測試容易漏掉的細微硬體錯誤。

    推薦理由:研究以多種量子任務檢驗 contextuality 是否能在更多量子位元上維持,也指出這些任務能抓出隨機電路測試容易漏掉的細微硬體誤差。

  4. Replit ⠕58

    讓更多 AI 助理一起工作很容易,讓牠們合作好才是難處。Replit 表示,Replit Missions 會用多個 AI 助理一起完成目標,最新研究則探討怎麼讓團隊合作順利:分工清楚、共享找到的資訊,並減少協調時間。測試中,表現最好的單一 AI 助理在團隊變大後反而退步;表現最好的 32 個 AI 助理團隊,則由一個協調者統整工作,而且它沒有傳訊息給任何成員。研究指出,團隊表現不能只靠成員各自厲害,也需要清楚分工和共享資訊。

  5. Aravind Srinivas70

    AI 助理常要重複處理類似工作,使用者也得自己新增技能。Perplexity Computer 現在會讀取過去的工作紀錄,找出一再出現的做法;證據夠多時,就提議新增或更新技能。每位使用者都能取得的內建技能,還會先用失敗情境測試並經工程師檢查,才會正式推出。在一項為期 8 週的隨機測試中,72.9% 的使用者至少得到一項個人技能,手動新增技能的使用者則有 6.5%;工具呼叫失敗減少 11%,使用者不滿意的對話減少 7.6%,成本和速度沒有可測量的變化。

    推薦理由:八週隨機測試比較自動整理技能與使用者手動新增的情況,並呈現工具呼叫失敗和使用者不滿意對話的變化。

11月19日週四
  1. OpenAI News72

    OpenAI 報告 AI 助理如何加快研究,也說明人仍要把關

    AI 助理能幫忙寫程式、檢查實驗,但不同工作做得好不好差很多,研究人員也得持續把關。OpenAI 這份內部研究報告整理了研究團隊使用 AI 助理的情況:截至 10 月中旬,超過三分之二的受訪研究人員每天最忙時至少有 4 個 AI 助理同時工作;在部分研究任務中,AI 助理能獨立完成約七成,但寫推論與服務程式碼的成功率估計為 25%。訪談也提到,AI 助理會產生品質不佳的程式碼和資料,因此研究人員常先檢查一份成果,再讓它繼續處理。報告呈現了 AI 如何加快部分研究工作,也指出人類監督仍是研究流程的一環。

    推薦理由:報告比較研究助理在不同任務上的成功率,也呈現研究人員如何檢查與修正成果,能看出 AI 加速研究的助力與瓶頸。

  2. Hugging Face Blog62

    Hugging Face 團隊用 272 次微調紀錄預測 GPU 工作時間

    共享 GPU 叢集很難排工作:微調任務若提早或延後結束,都會影響其他工作,單靠運算量公式也常估不準。Hugging Face 團隊整理 272 次實際監督式微調紀錄,用工作設定和模型資料訓練 CatBoost,預測任務從取得 GPU 到完成所需的時間。交叉驗證中,平均誤差約 1.71 小時;工作時間在 60 小時以內時,誤差通常較小,超過 60 小時的少數任務則較難預測。這套模型使用 H200 資料訓練,不能直接當成其他 GPU 的時間估算。

    推薦理由:文章比較公式估算與機器學習預測,呈現評估和檢查點設定如何影響 GPU 工作時間,也指出長時間任務的誤差較大。

  3. Anthropic Research83

    Claude 解出黑洞物理的兩個未解問題

    黑洞形成與量子重力的關係,至今仍有許多問題難以用計算回答。Anthropic 的 Claude 解出兩個理論物理問題:一項完成了物理學家提出多年、但始終未完成的計算,發現即使時空變得模糊,黑洞形成時的突變仍會出現;另一項則找出一種研究量子重力方法所能達到的精確上限。研究團隊讓多個 Claude AI 助理分頭計算、互相核對,並以 Lean 檢查證明。這些結果沒有直接描述我們的宇宙,也沒有實際應用,但能幫助物理學家縮小探索量子重力的範圍。

    推薦理由:兩項成果分別完成長年未解的計算,並找出一種量子重力研究方法能達到的精確上限,呈現 AI 協助理論物理研究的不同方式。

11月18日週三
  1. OpenBMB44

    混合架構會同時使用迴圈層和 softmax 注意力層來學習,但兩者可能在學同一種能力時互相搶走學習訊號。清華大學的新論文提出 BLD:預訓練一開始先凍結迴圈區塊,約用掉前 10% 的 token 後再解凍,讓兩種層一起訓練。測試六種 KDA 混合架構、規模從 180M 到 1B,BLD 讓長文測試 RULER 和回憶能力都變好;在 1B 模型上,RULER 從 32.75 升到 36.04,回憶分數從 36.50 升到 38.14,LongPPL 從 7.69 降到 6.50。架構、資料和 token 總量都相同,結果顯示誰先學,會影響模型記住長篇內容的能力。

  2. Cisco Talos Blog82

    Cisco Talos揭露 UAT-12643 如何用區塊鏈維持控制連線並竊取資料

    Cisco Talos分析一個以竊取財物為目的的攻擊團體,說明它如何入侵 Windows 電腦、偷取資料並維持控制。研究人員發現,惡意程式會把加密的控制伺服器網址放進 Solana 區塊鏈交易備忘錄,讓程式之後能查到更新後的網址;另一支程式則會蒐集瀏覽器、加密貨幣錢包和遊戲平臺的登入資料,並把資料傳到 GoFile。攻擊者也利用 Windows 捷徑、HTA 檔案和 MSBuild 專案檔執行程式,部分惡意程式還能在受害者重設電腦後再次啟動。Cisco Talos以低信心判斷,這個團體可能與北韓相關;報告列出可用來偵測和封鎖威脅的 ClamAV 簽章與 Snort 規則。

    推薦理由:Cisco Talos整理出這波攻擊如何用 Solana 交易備忘錄更新控制伺服器網址,並說明惡意程式竊取資料與躲避移除的做法。

  3. Apple Machine Learning Research58

    Apple 提出 Split-and-Scale,讓 3D 場景呈現更多細節

    3D 模型常因能存放資訊的空間有限,難以呈現複雜物件的細節;訓練時擴大空間又很耗運算和記憶體。Apple 研究團隊提出 Split-and-Scale,把場景切成更小的區域,再用同一個預訓練工具處理各區域,讓每一小塊都能保留較多細節。研究顯示,這種做法在推論時能得到接近大型模型的重建品質,也能用來訓練 3D 生成模型;團隊並比較了畫質、運算量、記憶體和可用容量之間的取捨。

11月17日週二
  1. Microsoft Research74

    TokenEconomizer 讓 AI 程式助理記住專案經驗,降低修 bug 花費

    AI 程式助理每次開始工作,都可能重新摸索熟悉的專案、載入用不到的工具,或一再卡在同一個錯誤,讓使用者花更多模型費用。TokenEconomizer 是開源外掛,會從每次工作紀錄整理出專案筆記、移除較少用到的工具,並在助理反覆遇到同一個問題時提醒它換個做法;之後也會依新經驗修正這些判斷。研究用五種 AI 助理與模型組合測試 277 個修 bug 任務,平均花費降低 18.4–30.9%,任務成功率大致維持穩定。剛開始累積經驗時,前幾個任務可能較花錢,但每個測試專案到第六個任務時,累計花費都已低於原本做法。

    推薦理由:研究比較五種 AI 助理與模型組合,顯示記住各專案的工作經驗能降低後續修程式的花費,且任務成功率大致維持穩定。

  2. OpenAI News67

    OpenAI 研究科學家如何在研究中使用 ChatGPT

    科學研究常要花很多時間找資料、分析證據和發展新想法,OpenAI 調查科學家如何把 ChatGPT 用在這些工作上。研究分析了 1,819 位科學家的訊息,並調查 251 人;使用者估計,沒有 AI 時,同樣品質的工作會花上 1.9 倍時間。68% 的科學家曾用 ChatGPT 發展研究想法,其中有人提出問題請它協助,也有人請它修改或提出想法。98% 的受訪者預期 AI 能加快自己領域的研究發現,但這項研究還不能確認發現是否真的因此加快。

    推薦理由:研究顯示科學家會用 ChatGPT 發想、分析資料與寫程式,也估計 AI 能加快研究;這些期待是否真的縮短發現時間,仍需更多研究確認。

  3. Google Developers Blog77

    Google 用 Zero-TIM 讓 TPU 上的 AI 模型取樣與訓練結果完全一致

    大型語言模型用強化學習訓練時,取樣和更新模型若算出些微不同的機率,訓練可能變得不穩。Google 在 Tunix 中做出 Zero-TIM,讓 TPU 上的取樣、服務預填和訓練三條流程,對同一個動作算出完全相同的機率;做法包括固定運算順序,並讓訓練重用服務端的計算。團隊在 64 張 TPU v5p 上測試 200 步,Zero-TIM 每一步的取樣與訓練機率差異平均為零,這些測試中的解題率也比另外兩種做法高。結果來自 FrozenLake 測試環境,文章沒有說明其他模型或任務的表現。

    推薦理由:文中拆解 TPU 上取樣與訓練算出不同機率的原因,並提供三段比對流程,方便定位數值差異從哪裡出現。

11月16日週一
  1. OpenBMB47

    大型語言模型能讀很長的內容,但訓練太早停止,長文表現可能還沒練好。OpenBMB 分享一項研究,用模型大小、一般訓練資料量和長文本訓練資料量,估算模型處理長文的表現;這套公式也能推估沒直接測過的訓練規模,R²=0.97。研究還發現,訓練過程中可以用固定方式穩定追蹤進步,而且 32K 訓練帶來的提升能延伸到 128K,也能保留在 SFT 之後,並幫助長上下文與 AI 助理任務。

  2. OpenAI News77

    OpenAI 研究者提出標準模型的格點定義,GPT‑6 Astra 協助完成證明

    標準模型能精準描述許多粒子與作用力,但物理學家仍缺少一種不把作用力當成小修正的完整定義。OpenAI 研究者提出一種候選做法:把時空切成格點,將力場逐步移到更細的格點,再比較每一層的粒子狀態,算出補回相位所需的修正。作者表示,GPT‑6 Astra 協助發展構造並主導詳細證明,外部專家也檢視了證明。這是原理上的候選定義,還不能直接用於實際格點模擬;專家仍需確認它是否具備所需性質,如何延伸到連續時空也尚未解決。

    推薦理由:這項構造把格點上的力場逐步移到更細的網格,藉由比較相鄰網格推導相位修正,並證明可用於所有允許的迴圈。

11月14日週六
  1. PyTorch Core Releases62

    PyTorch Inductor 重整分塊軸處理,為支援更多維度做準備

    PyTorch Inductor 原本把分塊軸固定在少數幾種名稱和最多三軸,讓後續擴充多維度分塊前,得先移除這些限制。這次更新改用輸入資料的維度產生軸名稱,並讓分塊選擇依設定的上限處理;同時調整區塊大小限制、描述子和指標位移的配合方式。作者回報,多軸分塊、描述子、區塊指標與自動調校的相關測試通過。這項重構本身為後續支援更多維度的分塊鋪路,區塊大小的既有限制則仍保留。

    推薦理由:這項重構整理了 Inductor 對分塊軸數量的假設,並以多軸測試檢查描述子、指標位移和自動調校能否正確配合。

  2. Cisco Talos Blog82

    Cisco Talos 分析 ARTEX 如何加速多起網路攻擊

    攻擊者若把偵察、找漏洞和後續入侵交給自動化工具,防守人員可能來不及發現並阻止。Cisco Talos 分析 ARTEX 及相關攻擊案例:操作者設定目標後,AI 助理會拆分工作、呼叫資安工具,並記錄發現;研究人員也觀察到攻擊者利用外洩憑證、應用程式弱點和雲端設定問題,進一步取得資料或擴大存取。Talos 建議監看異常登入與許可權變更、保護憑證、修補對外系統,並預先準備撤銷憑證和隔離裝置的應變流程。

    推薦理由:Talos 彙整多起 ARTEX 相關活動,呈現自動化工具如何串起弱點利用、憑證濫用與資料外洩,並列出防守方可採取的監測與應變措施。

  3. Hugging Face Blog65

    Hugging Face 發布 XYBench,測試 AI 助理能否看出問題問錯了

    有時候,人問的問題不是解決麻煩的好方法,例如蛋糕還太熱,卻一直想找讓糖霜黏住的方法。Hugging Face 與研究人員推出 XYBench,收錄 8,115 個程式和日常生活問題,用來測試 AI 助理能不能看出使用者真正想達成的目標,並把回答帶向更合適的解法。測試發現,受測模型常會回答使用者原本問的方法,較少把真正的目標放在回答重點;即使模型在選擇題中能挑出較好的建議,也不一定會在自己回答時這麼做。這項基準目前以英文和程式性問題為主。

    推薦理由:XYBench 比較模型回答字面問題與真正目標的差異,也呈現模型辨認出好建議後,仍未必能在作答時優先採用。

11月13日週五
  1. OpenAI Alignment Research Blog66

    OpenAI 以自動化紅隊訓練 GPT-6 Astra 與 Sol 抵禦高風險領域越獄

    OpenAI 說明如何運用自動化紅隊生成的合成越獄提示訓練 GPT-6 Astra 與 Sol,提升模型在網路安全、生物學及暴力活動等高風險領域抵禦越獄的能力。

    推薦理由:研究展示如何以自動紅隊生成的合成越獄提示進行強化學習訓練,並比較模型面對固定與自適應攻擊時的安全表現。

  2. Apple Machine Learning Research62

    Apple 研究推導語言模型對齊的理論極限,發現 PPO 與 GRPO 表現仍有差距

    Apple Machine Learning Research 推導固定 KL 散度預算下語言模型可達成的最高獎勵提升,並在安全與摘要任務中比較不同對齊方法與理論上限。

    推薦理由:研究推導固定 KL 預算下的對齊獎勵上限,並比較 best-of-N、PPO 與 GRPO,呈現現有方法距理論界線的差距。

11月12日週四
  1. vLLM Official Blog70

    vLLM 團隊如何把 Qwen3-0.6B 在 TPU v7 上的 RL 訓練縮短到 56 秒

    小型模型計算量不大,但訓練時仍要等待資料傳送、工作排程和快取處理,整個流程可能因此變得很慢。Meta 團隊在 64-chip Google Cloud TPU v7 上,使用 vLLM、Tunix 和 MaxText 調整 Qwen3-0.6B 的 RL 訓練流程,讓每輪從產生回答到更新模型的時間,從約 100 分鐘降到最快 56 秒,並保留 8,192-token 的回答上限。文章也整理哪些調整有效、哪些沒有帶來明顯改善,並提供已合併到開源專案的設定與重現方式。

    推薦理由:文章拆解小型模型訓練中,主機排程、同步與快取如何拖慢整個流程,並以逐步最佳化的實測結果呈現各環節的影響。

  2. Google Research73

    Google Research 以穿戴裝置資料建立 CKM 風險評估與個人化健康教練框架

    Google Research 介紹一套研究中的穿戴裝置健康框架,結合可調整的健康年齡指標與 SensorWM,模擬不同生活習慣對未來 12 週生理指標的影響,並產生個人化教練計畫。

    推薦理由:研究以可調整的日常行為推估健康年齡,並用穿戴資料模擬 12 週生活習慣變化,呈現個人化健康指標如何轉化為可執行的教練計畫。

  3. Apple Machine Learning Research51

    Apple 研究探討 SSM 閘控機制如何影響記憶與情境學習

    Apple 研究透過理論與實驗指出,SSM 的閘控機制會使模型先學會權重內記憶,並延後甚至阻礙正確的情境學習解法收斂。 研究發現:即使架構或記憶容量沒有根本限制,閘控仍可能影響情境學習;另一方面,它常有助於提升長序列泛化能力。 研究範圍:分析閘控機制如何塑造 SSM 的訓練動態與泛化表現,為理解及改進線性時間模型提供依據。

  4. Perplexity52

    Perplexity 發表對 SPACE VM 沙箱中的電腦AI 助理進行紅隊測試的研究,測試 12 個模型 的安全邊界行為。 測試任務:嘗試逃出 VM 取得主機憑證,以及繞過 SPACE 的網路政策存取遭封鎖的 URL。 研究發現:標準 CTF 紅隊測試設計可能使AI 助理偏離受測安全邊界;專精安全的模型不保證測試結果更好。 研究連結:https://t.co/Egh3x3uX4c

  5. Epoch AI Gradient Updates80

    Epoch AI 11 月 11 日簡報整理模型能力、資安研究與全球 AI 算力

    Epoch AI 的 11 月 11 日簡報彙整模型能力、資安、全球算力與生物學研究等多項新分析。 - 資安測試:研究者在離線沙盒中測試 GLM 5.3,模型無需人工輸入,便為 Firefox 最近的六個版本建立可讀取訪客電腦檔案並傳送給攻擊者的網頁;每個版本約花費 $1,000。

    推薦理由:受控沙盒測試呈現開放權重模型利用修補時差攻擊 Firefox 的方式與成本,並指出此類風險可能擴及其他軟體。

11月11日週三
  1. Microsoft Research73

    Microsoft Research 揭示 Lazarus:重程式設計休眠神經元以在 AI 助理植入後門

    Microsoft Research 揭示 Lazarus 後門技術,可重程式設計 LLM 中少於 10 個休眠神經元,讓 AI 助理在隱藏觸發條件出現時執行惡意命令,且不需重新訓練模型。

    推薦理由:研究說明少於 10 個休眠神經元如何在免訓練下植入後門,並指出模型權重來源與完整性是防禦此類攻擊的關鍵。

  2. OpenAI Alignment Research Blog84

    OpenAI 研究模型生命週期中哪些因素影響 CoT 可監控性

    OpenAI 研究預訓練、模型架構、強化學習與模型生成資料如何影響思維鏈(CoT)可監控性,發現模型能力提升與 CoT 可控性增加可能使監控更困難。 - 預訓練與架構:較低的基礎模型困惑度與較強的無 CoT 能力相關;多數評測中,困惑度可解釋不同架構的表現,但部分多跳規劃與序列計算任務呈現架構差異。

    推薦理由:研究比較預訓練、架構、強化學習與模型生成資料對 CoT 可監控性的影響,呈現能力提升與監督難度之間的關聯及評估限制。