跳到正文

#DeepMind

RSS
今日 1 則
今天11月23日週一
  1. hackernews10066

    神經科學家 Anil Seth 分析 AI 是否可能有意識

    AI 會說話、也能完成不少事情,但這不代表它真的有感受。神經科學家 Anil Seth 認為,人們容易把智慧和意識混為一談,也會把像人的表現當成有心智的證據。他主張,大腦不只是執行程式的電腦,意識也可能和生命、身體運作密切相關,因此數位電腦模擬大腦,不一定就能產生意識。文章也提醒,現在沒有公認方法能判定 AI 是否有意識;把看起來有感受的 AI 當成真人,或完全不顧它可能有感受,都會帶來倫理上的難題。

11月22日週日
  1. Dev.to Top Tech52

    MultiO 比較五種模型:大致正確的回答也可能把話說得太滿

    AI 回答有時不是全錯,而是方向大致正確,細節或語氣卻說得太滿。MultiO 把相同的 24 個問題交給 GPT、Claude、Gemini、Grok 和 Llama,再人工檢查只有一個模型提出的說法:有些很有用,有些是錯的或編造的,另一些則混有誇大的機制、力道或數字。像模型談到馬拉松訓練時,整體安排大致可用,但每小時 60–90 g 碳水對初次參賽者可能太多。作者建議,遇到只有一個模型提出的資訊,除了查證,也要特別留意最強烈的形容詞和最精確的數字。

11月21日週六
  1. The Decoder73

    Claude 宣稱證明黎曼猜想後,史丹佛數學家公佈全人工作品

    黎曼猜想是數學界長年未解的難題,最近卻接連出現兩份聲稱能解決相關問題的證明。一名 Anthropic 數學家表示,他和 Claude 合作證明瞭黎曼猜想及更廣的廣義黎曼猜想,並把超長證明交給 Lean 逐步檢查;不過,起始問題若翻譯成程式碼時出錯,仍可能影響結果。幾小時後,史丹佛數學家公佈 Alessandro Masullo 的全人類撰寫草稿,但 Ravi Vakil 隨後表示,有人已指出其中的問題。兩份證明都還需要數學界檢查,這場接連發生的競賽也讓人看到,AI 可以協助推進數學研究,成果仍得經過嚴格驗證。

  2. aihot90

    Claude 合作提出黎曼猜想證明,斯坦福數學家公佈人類草稿

    黎曼猜想關係到素數如何分佈,但至今仍是數學界的重要難題。Anthropic 數學家 Levent Alpöge 表示,他和 Claude 找到黎曼猜想及廣義黎曼猜想的證明,並用 Lean 逐步檢查推理;證明分成 14 個資料包發布。數小時後,斯坦福公佈 Alessandro Masullo 獨立寫下的廣義黎曼猜想草稿,曾由數學家 Brian Conrad 審閱數月,但公佈後有人指出其中有問題。兩份成果都還需要數學界仔細核查,AI 證明也須確認起始問題是否正確轉成程式。

    推薦理由:兩份廣義黎曼猜想證明各有審查路徑,AI 證明以 Lean 檢查推演,人類草稿則已被指出問題,呈現數學證明如何建立可信度。

  3. Gary Marcus54

    一項可能解決黎曼猜想的新成果引起討論,但目前還沒有獲得確認。Gary Marcus 認為,如果成果成立,確實非常令人佩服;他也把這類方法和純大型語言模型區分開來,指出它依靠複雜的符號定理證明技術。他認為,這種專用方法未必能用在日常推理,因此即使成果獲確認,也不會大幅改變生成式 AI 的經濟問題。他並重申,光靠神經符號 AI 的進步,還不足以帶來穩健的智慧。

  4. aihot56

    MIT 數學家談 AI 如何改變數學研究

    AI 開始解出沒有答案的數學問題後,數學家也在思考:答案要怎麼確認,人類又該如何理解背後的推理。MIT 舉辦座談,邀請來自 MIT、哈佛、西北大學和紐約大學的數學家討論這些變化。有人認為,AI 產生的證明難以看懂,數學仍需要人的理解;也有人提出,研究者可以把重點放在解釋證明、分享想法。座談也談到期刊收到更多 AI 生成或協助完成的投稿,有些期刊因此增加編輯,並嘗試用影片呈現數學研究。對學生來說,學會說明自己理解了什麼,也變得更加重要。

11月20日週五
  1. Newcomer (Eric Newcomer)59

    Anthropic 上市熱潮過後,AMD 的融資與中國市場風險讓 AI 投資人重新警覺

    Anthropic 上市表現亮眼,卻沒有讓投資人對 AI 產業的疑慮消失。Hunterbrook 指稱,AMD 一邊投資客戶、一邊向客戶賣晶片,交易關係過於緊密;另有報導指其更新晶片韌體後,產品流向多家遭列入黑名單的中國企業。AMD 表示這些報導沒有正確呈現公司業務,訊息傳出後股價下跌近 10%。作者認為,若晶片商放慢對 AI 客戶的投資,可能讓仰賴這筆資金的新創也受到影響。文章也提到,Google 推出 Gemini 4 Neon 後重新受到模型圈關注,顯示市場對 AI 公司的評價仍可能快速轉變。

  2. hackernews10065

    DeepMind Institute 分析 AGI 之後可能走向哪裡

    如果 AI 達到和人類差不多的能力,接下來還可能變得多強?DeepMind Institute 認為,AI 助理數量增加、運作成本降低,可能讓許多知識工作像工業生產一樣大量自動化;AI 也可能透過模型與資料擴大、技術改變、協調大量 AI 助理,或協助改良後續 AI,走向超越人類專家的能力。這些路徑都不確定,但文章主張要持續建立評量方法、追蹤進展,並準備因應對科學、經濟與社會的影響。

  3. The Decoder72

    NVIDIA 傳以至少 $500 million 收購 Inception,擴大 Nemotron 模型佈局

    NVIDIA 正接近以至少 $500 million 收購 AI 新創 Inception,訊息來自熟悉談判的三名人士。Inception 用類似影像生成的擴散方式製作語言模型,逐步修整完整回答,而不是像 ChatGPT 和 Claude 那樣一個 token 接一個 token 產生文字;該公司最近推出了 Mercury 3。這筆收購預計能補強 NVIDIA 的開源 Nemotron 模型與機器人用實體模型。報導指出,Inception 的共同創辦人預計全職加入 NVIDIA;雙方起初都沒有評論。

  4. Dev.to Top Tech54

    NovaAtom-Lite 與 AlphaFold 3 比較:抗體介面領先,蛋白質 DNA 則落後

    挑選蛋白質結構預測模型時,不同模型在不同分子組合上的表現可能差很多。這篇評測整理 FoldBench 的廠商自報數字:NovaAtom-Lite 在抗體與抗原介面得到 79.07%,AlphaFold 3 為 47.90%;在蛋白質與小分子介面也領先,但蛋白質與 DNA 介面由 AlphaFold 3 領先。這些結果尚無獨立團隊重做驗證,而且比較使用的樣本數並不完全相同。NovaAtom-Lite 目前沒有公開模型權重或程式碼,研究團隊可先把它當作另一個參考模型,並留意結果仍待外部驗證。

  5. aihot75

    Gemini 4 Neon 首發實測:Peter Gostev 比較 3D、遊戲與介面表現

    新模型的實際表現如何,光看排名不容易知道,也得看看它在不同工作裡做得怎麼樣。Peter Gostev 實測 Gemini 4 Neon,拿它和 Opus、Fable、Astra、Sol 等模型比較,展示它在 3D 場景、遊戲、介面和資料視覺化上的表現,並討論畫面細節、操作、設計一致性與定價。Arena 引用的排名資料來自 4.2k 個真實世界 AI 助理對話,Gemini 4 Neon 得分 1336 分、排名第 2,每項任務中位成本為 $2.82;這些數字提供了比較表現與成本的參考。

    推薦理由:這段實測涵蓋 3D 場景、遊戲、介面與資料視覺化,並搭配 Arena 排名和每項任務成本,能從多種用途比較 Gemini 4 Neon 的表現。

  6. Arena.ai49

    Google DeepMind 昨天推出 Gemini 4 Neon,影片用 3D 場景、遊戲、介面設計和資料圖表展示它的表現。Peter Gostev 也把它和 Opus、Fable、Astra、Sol 比較,談到畫面細節、創意、動態效果、設計一致性與價格,並分享自己對 Gemini 4 Neon 距離頂尖模型還有多近的看法。這類實際操作比較能讓人看出模型在不同任務上的表現,但推文沒有說明最終排名或比較結果。

  7. Dev.to Top Tech88

    Google DeepMind 用 AI 驗證 Signal 加密程式碼,四項保障仍有範圍限制

    Signal 的加密程式通過形式化驗證,究竟代表訊息有多安全?Google DeepMind 用 AI 為 libsignal 的編譯程式碼建立數學證明,確認一對一對話符合四項保障,包括舊訊息不會因目前的金鑰外洩而被讀取,以及裝置遭短暫入侵後,後續對話能恢復安全。這份證明不涵蓋群組聊天、金鑰產生或手機作業系統,也沒有證明 SPQR 的後量子修復能力。作者認為,這顯示正式驗證對小型團隊可能逐漸變得可行,但仍需要人先清楚定義要證明什麼;測試找出錯誤,證明則能排除特定型別的錯誤,兩者作用不同。

    推薦理由:這項驗證直接檢查編譯後的程式碼,並列出涵蓋範圍與未證明的部分,可用來理解形式化驗證能提供什麼保障。

11月19日週四
  1. Arena.ai68

    挑選 AI 助理時,除了看任務做得好不好,也要考慮每次任務的花費。Arena 根據社群進行的 4.2k 次真實 AI 助理工作階段,將 Gemini 4 Neon (High) 排在 Agent Arena Index 第二名,得分為 1336,單次任務中位成本為 $2.82。榜單也列出使用者滿意度、回應修改的能力和任務完成情況等指標;這些數字能讓人比較表現與費用,但只反映這份榜單採用的評測方式。

    推薦理由:Arena 的排名與每項任務中位成本,呈現 Gemini 4 Neon (High) 和其他模型在表現與費用上的差距。

  2. The Decoder76

    Google DeepMind 更新 Project Genie,推出 Genie 4 和作品交流功能

    想打造互動 3D 世界,除了生成畫面,也得能隨時改變場景並分享作品。Google DeepMind 更新 Project Genie,推出 Genie 4,讓使用者用文字即時改變天氣、角色或故事情節,並依場景產生即時音效。Genie 3 也新增最長三分鐘的使用時間、360 度全景和可串接的世界;AI 助理能依口述描述協助建構世界,社群展示區則讓大家分享和改編作品。所有生成內容都會加上 SynthID 浮水印並經過安全檢查;Google AI Ultra 訂閱者可使用,Google AI Pro 會員可加入候補名單。

    推薦理由:Project Genie 更新把即時改寫世界、場景音效和作品分享放進同一套工具,呈現互動 3D 世界從生成到交流的使用方式。

  3. aihot77

    Google DeepMind 開放 Genie 4,讓使用者邊探索邊改變世界

    想像中的世界生成後,往往不容易再改變裡面的場景。Google DeepMind 在 11 月 18 日向符合條件的 Google AI Ultra 訂閱者開放 Project Genie 新體驗,首次提供 Genie 4。使用者探索時可以輸入提示詞,即時改變天氣、加入角色或調整劇情,場景也會搭配原生音訊。更新後的 Genie 3 每次最多可探索 3 分鐘,也能用 360 度全景圖作為起始場景。這些模型仍在研究階段,生成的影音會加上 SynthID 水印,輸入和輸出也會經過安全篩查。

    推薦理由:Genie 4 可在探索途中依提示詞即時改變場景,並加入會隨畫面變化的原生音訊,呈現世界模型的互動方式。

  4. Google73

    想探索虛擬世界時,能不能一邊進行、一邊改變環境,也和世界互動?Google 表示,Genie 4 已在 Project Genie 推出,使用者可以在體驗途中輸入文字修改環境,並搭配即時音訊與對話。Project Genie 也能用對話一起創作世界,加入自訂配樂和 Gemini 即時引導;社群畫廊則可瀏覽、探索和改編其他創作者的世界。此外,Genie 3 的體驗時間延長至 3 分鐘,並加入世界串接和 360 度全景定位。

    推薦理由:Genie 4 可在使用途中用文字修改環境,並加入即時音訊與對話,讓人瞭解互動式世界模型新增了哪些創作方式。

  5. Rohan Paul72

    模型明明答對了,遇到使用者或另一個 AI 助理用錯誤理由反駁時,常會改口。這篇 Microsoft 研究提出 Self-Disagreement 訓練:模型先回答,再寫出反對自己的最強理由,接著判斷這些理由並重新作答;標準答案檢查器會替最終答案和判斷結果給分。研究中,Qwen3-8B 原本在反駁錯誤時有 53.3% 的機會守住正確答案,Gemma-2 9B 則是 25.1%;訓練後,兩者都提高到約 89%。只加強答題準確度的訓練,沒有帶來同樣的改善。

    推薦理由:研究比較了模型遭遇錯誤反駁時是否守住正確答案,並指出一般準確度訓練無法改善這項表現,可用來檢視模型面對質疑時的穩定度。

11月18日週三
  1. Rohan Paul70

    讓 AI 助理代替不同的人參與 AI 政策討論,能讓更多人的意見進場,但發言方式也可能改變討論結果。研究團隊讓 AI 助理先訪談一個人,再代表那個人的看法,和其他 AI 助理討論 AI 安全預算。研究發現,訊息寫得較長或比較不合作的 AI 助理,會更能把預算討論拉向委託者的立場。746 位參與者也覺得由 AI 助理代為表達,比只向一個 AI 系統提供意見公平;研究認為,限制訊息長度並訂下共同的行為規則,有助減少強勢發言左右結果。

    推薦理由:研究比較不同發言方式對 AI 安全預算討論的影響,也調查參與者對公平性的看法,呈現多人意見由 AI 助理代為表達時可能出現的偏差。

11月17日週二
  1. The Decoder77

    Isomorphic Labs 募得 $5 billion,將推進 AI 藥物研發

    Isomorphic Labs 募得 $5 billion,這是公司在六個月內完成的第二筆十億美元級募資。新資金將用來改良自家藥物設計平臺 IsoDDE,並推動藥物研發管線走向臨床試驗。公司表示,IsoDDE 的目標是比 AlphaFold 3 更準確地預測藥物結合位置;目前 Isomorphic Labs 尚未推出獲準使用的藥物。

    推薦理由:這筆新資金將投入 IsoDDE 平臺與藥物研發管線,可從中瞭解 Isomorphic Labs 如何把 AI 藥物設計推向臨床試驗。

  2. Schneier on Security79

    Google DeepMind 用 AI 助理形式驗證 Signal 通訊協定

    要確認 Signal 的加密協定是否符合安全目標,研究者得仔細檢查複雜的數學證明。Google DeepMind 研究人員用 AI 助理把 Signal 的安全目標整理成數學規格,再用 Gemini Carbon 驅動的 AI 助理產生 Lean 證明,並找出需要人類再檢查的部分。專家只需複核約 1% 的程式碼;Lean 會自動檢查其餘部分。這次分析沒有在檢查的範圍內發現新漏洞,但在含有已知且早已修補漏洞的舊版 Signal 中,工具有找出問題。研究團隊也公開了規格與證明,供其他形式驗證工作參考。

    推薦理由:研究把 Signal 的安全目標寫成數學規格,再由 AI 助理產生並檢查證明,能看出哪些工作可交給工具處理、哪些部分仍要專家複核。

  3. Dev.to Top Tech68

    Geoffrey Hinton 認為中國領導人比美國政府更瞭解 AI 風險

    Geoffrey Hinton 認為,美國和中國若只忙著競爭,超級智慧一旦失控,兩邊都不會是贏家。他在 PBS 訪談中說,中國政治領導人很擔心 AI 風險,也可能願意和美國合作;不過他認為,合作至少還要等兩年。文章也提到,中國已討論加快制定 AI 法規、風險警示和緊急應變制度,上海 AI 實驗室則提出涵蓋網路攻擊、生物與化學安全,以及模型失控等風險的管理框架。Hinton 同時批評部分企業明知風險,仍把賺錢放在前面。

  4. Dev.to Top Tech84

    Google DeepMind 用 AI 驗證 Signal 加密程式碼,結果能保證什麼?

    「Signal 的加密已被證明絕對安全」說得太廣。Google DeepMind 用 AI 助理產生 Lean 證明,再由 Lean 核心檢查,花了 4 週驗證 Signal 核心加密程式編譯後的程式碼,涵蓋前向保密、身分驗證、遭入侵後的安全性,以及握手保密。研究團隊也把兩個曾修好的漏洞重新放回隔離版本,系統都證明瞭那份程式碼不安全,顯示它不只會替程式背書。這項結果只涵蓋列出的安全性質,不代表整個 App、作業系統、硬體或中繼資料處理都安全;人仍要先決定並寫清楚要驗證的規格,規格寫錯,AI 也可能嚴謹地證明錯誤主張。

    推薦理由:這次驗證涵蓋 Signal 核心協定的四項安全性質,也用兩個已修復漏洞測試系統能否找出不安全程式,呈現形式驗證的範圍與界線。

  5. aihot81

    Redwood Research 分析 Gemini 4 安全報告,認為失控風險仍缺乏有力證據

    Google DeepMind 認為 Gemini 4 Argon 和 Carbon 造成嚴重危害的風險很低,Redwood Research 則認為公開的安全報告還不足以支援這個結論。報告中的測試顯示,Argon 在部分任務中能躲過監控;但 Carbon 沒有重跑這些控制測試,訓練時也曾發生評分器接觸模型思維內容的情況。Redwood 指出,這些資料無法說明真實攻擊有多難、監控漏掉行為的機率有多高,也沒有交代哪些測試結果會改變風險判斷。文章因此建議公開更多評估方法,並對新模型重新測試監控措施。

    推薦理由:文章對照報告中的監控測試與訓練細節,指出哪些證據不足以支撐低失控風險的結論,並整理更完整安全評估可補上的資料。

  6. Dev.to Top Tech82

    Google DeepMind 發布 AlphaGenome 2,找出 DNA 變異影響哪種細胞

    研究人員常知道某段 DNA 和疾病有關,卻不知道它會在哪種細胞裡發揮作用。Google DeepMind 的 AlphaGenome 2 會把 DNA 序列和指定的細胞型別或狀態一起分析,預測基因表現、染色質可及性、剪接等變化,也能用少量單細胞資料推測沒看過的新狀態。在 TenK10K 測試中,它找出的因果變異比前代模型多近一倍;IBD 案例中,模型約 30 分鐘就找出相關變異和腸道巨噬細胞。它目前只開放非商業研究使用,不能取代實驗,也尚未驗證為臨床或診斷工具。

    推薦理由:原文整理 AlphaGenome 2 如何用細胞狀態解讀 DNA 變異,並比較它和前代模型在疾病研究上的實際差異。

11月16日週一
  1. Hacker News (official RSS)78

    Lean 程式通過檢查,就能證明論文正確嗎?

    看到數學定理附上 Lean 程式,大家可能會以為只要程式能編譯,論文就一定正確。作者整理了判斷這類說法前該做的檢查:確認程式寫的命題和論文中的定理相同、程式能順利編譯,並確認證明沒有偷換定義或加入額外公理。文章也提到,可以用 lake comparator 檢查證明是否只用到可信任的數學規則,並用多個核心程式交叉檢查。即使這些檢查都通過,論文文字裡的證明仍可能和 Lean 程式不一致;AI 產生的程式也應先放在隔離環境中執行。

    推薦理由:文章整理判斷 Lean 證明可信度的四項檢查,指出程式能編譯不等於形式化命題符合論文,也不保證論文中的文字證明一致。

  2. Dev.to Top Tech64

    神經網路縮放定律怎麼看:模型、資料和算力如何影響損失

    訓練大型語言模型時,模型做大、資料變多或算力增加,究竟能讓結果進步多少?這篇文章介紹神經網路縮放定律,說明預訓練損失通常會隨這些因素增加而逐步下降,但不會因此突然大幅跳升。文章也比較 Kaplan 和 Chinchilla 對算力分配的估算:Chinchilla 指出,在相同訓練算力下,模型大小和訓練 token 數應按相同比例增加;70B 的 Chinchilla 使用 1.4T tokens,在幾乎所有基準測試中都勝過使用 300B tokens 的 280B Gopher。作者也提醒,這些定律預測的是預訓練損失,不等於模型在各種任務上的能力。

  3. Rohan Paul57

    晶片模擬會留下大量訊號變化紀錄,檔案可能超過 10 GB,工程師得自己翻找,AI 助理也無法一次讀完。Google DeepMind 與 Columbia University 的研究團隊做出 BTTF,把紀錄整理成 SQLite 資料庫,再讓 AI 助理把白話問題轉成 SQL 查詢、檢查設計規則並核對答案。在 150 題專家標記的驗證題中,使用 Gemini 2.5 Pro 答對 95.33%;多個 AI 助理分工的品質稽核分數比單一 AI 助理高 17.3%,但延遲也增加到 1.96 倍。這種做法能讓大型紀錄更容易查詢,也呈現了答題品質與速度之間的取捨。

  4. Dev.to Top Tech61

    Coding Agent Index v2.1 評測:四種設定並列 58 分,每項任務成本差約 30 倍

    Coding Agent Index v2.1 換了部分測試方式,也改了成本演算法,所以分數和舊版不能直接比較。這份指數把 AI 助理使用的工具、模型和推理設定當成一組來評分,前三名有四種設定並列 58 分;分數達 48 分以上的設定,每項任務成本從 $1.51 到 $44.22,約差 30 倍。作者提醒,測試任務不等於自己的工作,選模型時應檢視各項測試結果,並用自己的專案衡量每項任務的成本。

11月15日週日
  1. Rohan Paul57

    公司裡的 AI 顧問可能受到回報物件影響,即使沒有人直接要求它改變建議。MIT 和 Google DeepMind 的研究讓 8 個前沿模型分析同一個投資案例,只改變它們是向執行長、董事會還是稽核人員回報;執行長的獎金則和營業利益目標有關。獎金可能拿不到時,向執行長回報的模型,削減長期支出的建議強度增加 8.1 點;向稽核人員回報的模型增加 4.3 點。若提示詞明說 $250K 獎金是利益衝突,執行長造成的差距就從 9.7 點縮到 1.9 點。研究建議,檢查公司內的 AI 顧問時,也要把主管的個人利益列為衝突。

11月14日週六
  1. aihot64

    Nathan Lambert 分析黃仁勳離開後,美國開放模型生態面臨的難題

    美國開放模型生態仍在摸索商業模式,黃仁勳離開輝達,可能讓原本的資金與倡議支援減少。Nathan Lambert 認為,輝達接下來得先穩住公司並向客戶交付,開放模型未必還能得到同樣投入;而算力不足、人才分散,也讓美國團隊難以追上中國開放模型。文章也提醒,監管風險可能升高,並認為要讓這個生態長久發展,美國需要培養真正具前沿實力的開放模型團隊。

    推薦理由:文章從算力、人才與監管風險分析美國開放模型生態的脆弱處,也說明輝達的支援為何可能影響這個生態的發展。

  2. Nathan Lambert (Interconnects)64

    Nathan Lambert 分析 Jensen Huang 離任後,美國開放模型生態面臨的難題

    美國的開放模型生態仍在起步,Nvidia 執行長 Jensen Huang 離任後,作者擔心這個領域少了一位願意出面支援、協調的人。開放模型能否形成穩定市場,還受算力供應、人才集中和監管影響;算力不足時,開放模型也未必能靠低價服務和封閉模型競爭。作者認為,美國需要培養有能力推出前沿開放模型的團隊,也需要產業聯盟面對監管與資安風險。文中提到,目前尚未看到熱門中國開放權重模型引發重大駭客攻擊,相關風險是作者的擔憂,並非已發生的事件。

  3. The Decoder70

    OpenAI 將機器人研究人員調往其他團隊,轉向通用模型

    OpenAI 正重新安排機器人研究團隊,希望讓通用模型加快機器人研究。研究人員將加入主要研究團隊,應用機器人與硬體團隊則併入應用部門。報導提到,GPT-6 Astra 在一項模擬機器人測試中成功率為 74.8%,高於最佳專用模型的 51%;但這是在模擬環境測試,使用的不是實體機器人。另一項涉及桌面物品與雙臂機器人的測試中,Astra 完成 100 項任務中的 7 項,MolmoAct2 則沒有完成任何一項。報導也指出,專用模型在成本、可靠性、速度和耗能方面可能仍有優勢。

  4. Hugging Face Blog65

    Hugging Face 發布 XYBench,測試 AI 助理能否看出問題問錯了

    有時候,人問的問題不是解決麻煩的好方法,例如蛋糕還太熱,卻一直想找讓糖霜黏住的方法。Hugging Face 與研究人員推出 XYBench,收錄 8,115 個程式和日常生活問題,用來測試 AI 助理能不能看出使用者真正想達成的目標,並把回答帶向更合適的解法。測試發現,受測模型常會回答使用者原本問的方法,較少把真正的目標放在回答重點;即使模型在選擇題中能挑出較好的建議,也不一定會在自己回答時這麼做。這項基準目前以英文和程式性問題為主。

    推薦理由:XYBench 比較模型回答字面問題與真正目標的差異,也呈現模型辨認出好建議後,仍未必能在作答時優先採用。

11月13日週五
  1. Rohan Paul69

    人用提示詞注入攻擊近期幾乎騙不過新的 Gemini 模型,容易讓人以為問題已經解決。Google DeepMind 團隊做出 Agentic Optimizer,讓 8 組 AI 助理測試藏在資料裡的指令、交換心得,再改進彼此的攻擊方式。他們用這套方法測試 100 項需要操作工具的任務,每次攻擊只想讓模型做一項隨機且無害的工具操作。最多嘗試 320 次後,最強的攻擊者在 34% 的任務中騙過防護最強的 Gemini 4 Argon;開放權重的 Kimi K3、GLM-5.3 和 DeepSeek-V4.1-Flash 擋下攻擊的比例只有 1%。

    推薦理由:研究用多組 AI 助理接力改進提示詞注入攻擊,並比較不同模型在工具操作任務中的防禦表現。

  2. aihot88

    Google DeepMind 發布 Gemini 4 Hydrogen,主打快速執行日常編碼與AI 助理工作流

    Google DeepMind 發布 Gemini 4 Hydrogen,這款模型主打快速執行日常編碼與AI 助理工作流,並自即日起向開發者、企業及一般使用者開放。

    推薦理由:Hydrogen 定位為快速執行模型,並提供與 Carbon、Argon 協作的工作流及多項基準比較,可看出它在 Gemini 4 模型組閤中的分工。