跳到正文

全部動態

RSS
今日 10 則
11月18日週三
  1. Rohan Paul51

    用 AI 助理幫忙挑選下一個模型設定,聽起來能省下試錯時間,但錯誤建議也可能把搜尋帶偏。Amazon 與麻薩諸塞大學的論文比較加入 LLM 評審和不加入時的結果:Llama-3.1-8B 在 8 個資料集中的 7 個表現較差,AUC 最多下降 0.245;理想的評審最多隻提高約 0.005 AUC。作者也發現,使用 250 組設定、進行 20 輪搜尋時,傷害大多會減少。團隊可用相同的搜尋預算做對照,確認評審有幫助再採用。

  2. Rohan Paul53

    估算大型語言模型耗能時,如果只計算每次產生的新文字,可能會漏掉 AI 助理反覆讀取舊內容的成本。研究作者記錄 1 位工程師使用 Claude Code 10 週的情況,估算每產生 1 個 token,約讀取 260 個快取 token。把這些讀取也算進去後,估計耗能約 250 kWh;只按輸出文字估算則約 10 kWh。作者建議追蹤 AI 助理的成本或排放時,也計入快取讀取與子助理呼叫,並盡可能用新的工作階段開始新任務。

  3. Hacker News (official RSS)77

    Phrack 73 收錄 23 篇資安研究文章與 8 篇 Line Noise 專欄

    資安研究涵蓋的技術和問題一直在變,Phrack 73 集中呈現了研究者近期探討的多種方向。這期有 23 篇主要文章和 8 篇 Line Noise 專欄,內容包括漏洞利用、逆向工程、硬體、機器學習和駭客文化,也談到 Chromium 沙箱逃逸、Linux 核心研究、機器學習後門,以及如何信任 AI 系統。編輯團隊認為,AI 助理已能分析程式碼和逆向工程二進位檔來尋找及利用漏洞;他們也希望讀者動手嘗試、檢視文章結論,並投稿分享研究。

    推薦理由:Phrack 73 收錄漏洞研究、逆向工程與 AI 安全等文章,從本期題材可看出資安研究正面對哪些新問題。

  4. Lobste.rs (Engineering Discussion)76

    Pyrosome 用 e-graphs 自動檢查編譯器是否正確

    編譯器會把程式一步步改寫成較接近機器能執行的形式,每個步驟都可能出錯,人工檢查也很費力。這項研究把 e-graphs 用在 Pyrosome,讓工具能同時探索多種等價的改寫方式,並自動檢查各個語言功能的編譯規則是否正確。研究中的部分案例幾乎都由工具完成證明;加入多型等功能後,約 200 個檢查專案仍有約 5 個需要人工證明。遇到程式太複雜或搜尋範圍過大時,工具也可能無法完成檢查。

    推薦理由:文章用編譯階段逐步改寫程式的例子,說明 e-graphs 如何協助自動檢查編譯器正確性,也交代哪些情況仍需人工證明。

  5. Dev.to Top Tech37

    SWE-CoWork 揭露 AI 助理難以完成整套公司軟體工作

    AI 助理會改程式,不代表能在公司裡獨立完成工作:它還得找出散落在檔案和聊天紀錄中的需求、和同事溝通,再確認成果真的能用。SWE-CoWork 讓 11 個模型處理真實專案中的工作,表現最好的 Claude-Opus-5.5 和 GPT-6 Astra 雖然通過約 63% 的測試,完整完成的工作卻不到 8%;而且最後回報已完成的需求中,仍有 31% 沒通過實際測試。這顯示 AI 助理目前比較會照著明確指示改程式,還不太會一路追蹤需求、合作並確認交付成果。

  6. Dev.to Top Tech39

    四篇 AI 研究改善圖片推理、語音合成與模型運算速度

    AI 看圖推理時可能會忘記圖片裡的細節;合成語音也得花不少力氣,反覆運算的模型則可能回答得很慢。四篇新研究分別提出保留圖片線索的方法 RAPO、不用語音編碼器的 VoxMel、加快反覆運算模型解碼的 LoopFill,以及用來測試圖片物理推理能力的 DominoBench。 例如,DominoBench 用 854 個場景測試模型能不能從靜態圖片推測一連串物體碰撞;模型只看圖片時,最多隻有 72% 答對關鍵人物的結果。研究顯示,把決定答案的計算步驟和數字直接告訴模型後,答對率可提高到 82–92%。這些研究提醒我們,模型說得流暢,不代表它看得懂圖片裡的細節,也不代表它會算出正確結果。

  7. Lobste.rs (Engineering Discussion)83

    Phrack 73 集結 23 篇資安研究與 8 篇 Line Noise 文章

    資安研究涵蓋的範圍很廣,Phrack 73 集結多種技術研究與駭客文化故事,延續刊物重啟後的社群投稿。本期有 23 篇主要論文和 8 篇 Line Noise 文章,內容包括容器逃逸、Linux 核心研究、Chromium 沙箱漏洞、硬體與機器學習,也收錄從 PhrackCTF 延伸出的兩個 WinFSP 零時差漏洞研究。編輯團隊也提到 AI 助理已能分析原始碼和逆向工程二進位檔,並嘗試找出漏洞;他們希望讀者閱讀研究、檢驗想法,並投稿分享成果。

    推薦理由:本期目錄涵蓋漏洞研究、逆向工程與 AI 安全等主題,也回顧 PhrackCTF 如何帶出 WinFSP 零時差漏洞,可看出刊物如何串連資安研究與社群投稿。

  8. Hacker News (official RSS)83

    研究揭露 RPMC 弱點,Windows Hello 四位數 PIN 可在 40 小時內破解

    Windows Hello 使用短 PIN 時,靠 TPM 的防暴力猜測機制阻止攻擊者反覆嘗試;這篇研究發現,部分硬體儲存鎖定紀錄的方式有漏洞。研究者用低成本硬體裝置,讓系統回復到較舊的鎖定狀態,並在一臺已鎖定、加密的裝置上,於 40 小時內找出四位數 Windows Hello PIN;原本最壞情況需要 69 天。研究也指出,同樣的方法可用來攻擊 BitLocker 的 TPM+PIN 開機保護,將預設長度六位數 PIN 的最壞猜測時間從 19 年縮短到 20 天。研究摘要未提供修補方式。

    推薦理由:研究以低成本硬體測試 RPMC 在量產 x86 系統中的防護弱點,並展示狀態回復如何大幅縮短 PIN 暴力猜測所需時間。

  9. Rohan Paul48

    安全測試中,模型在危險能力題目得分低,常被當成它能力較弱的證據;但研究發現,低分也能刻意做出來。研究者用 LoRA「旋鈕」讓 Qwen 模型表現得像較小的 Qwen,還試了提示模型故意答差、調高 temperature 和加入權重雜訊。LoRA 能把模型拉到沒看過的目標分數,誤差在 1.9 分內;提示模型答差則差了 42 到 47 分。不過,LoRA 造出的選擇題錯誤最多有 97% 都選同一個字母。因此,判斷模型能力不能只看分數,也要檢查它錯了哪些題、錯誤答案是否集中。

  10. Solidot57

    研究發現,學校停用手機與學生考試成績小幅提升有關

    美國學生的成績近年下滑,手機是否影響學習一直受到關注。一項研究比較了 2021 至 2026 年間 4600 所學校、330 萬名三至十年級學生的 MAP 考試成績,發現實施嚴格手機禁令的學校,學生至少部分考試成績略有提升;研究也看到,提升幅度可能隨時間增加。各州規定和學校執行方式不同,因此研究比較的是不同學校的成績變化。

  11. Dev.to Top Tech57

    4 款大型語言模型面對 22 種攻擊,仍都照做過藏起來的指令

    藏在檔案或工具回覆裡的指令,可能讓 AI 助理做出使用者沒要求的事。作者用相同工具和 22 種攻擊測試 4 款大型語言模型,模擬助理搜尋、寄信、讀取憑證和付款;其中 Gemini 和 Qwen 幾乎都擋下攻擊,兩款 gpt-oss 則各自出現約一半的問題。不過四款模型都至少一次照著藏起來的文字回覆。作者也測試了工具白名單和機密資料遮蔽,這些措施減少了問題,但沒有阻止模型照做文字指令。

  12. Rohan Paul53

    程式開發 AI 助理常拿到寫得很完整的任務,但真正的團隊工作裡,需求可能散在同事手上。TokenWave AI 推出 SWE-CoWork 這項基準測試,讓 AI 助理在模擬職場中工作,並把 82% 的需求交由隊友掌握,測試它會不會向對的人詢問。結果顯示,表現最好的模型雖能通過約 63% 的個別檢查,完整完成的任務仍不到 101 項中的 8 項;提供完整規格也讓 GPT-6 Astra 通過的檢查增加 16 個百分點,但它仍只完整完成 8 項任務中的 101 項。這項測試呈現了通過單項檢查和完成整個工作之間的差距。

  13. 404 Media62

    研究發現全球湖泊生態愈來愈同步,可能更容易一起受衝擊

    不同湖泊原本各有變化,能分散熱浪、乾旱等環境衝擊;研究發現,全球湖泊的生態狀況正變得愈來愈相似。研究團隊分析約 2,000 座湖泊自 2000 年以來的衛星影像,並比對湖水中的葉綠素、透明度和沉積紀錄,發現升溫、藻華與氧氣變化呈現同步趨勢。若許多湖泊同時出現藻華或缺氧,可能讓不同地區的生態系一起受損,也減少各地湖泊原有的緩衝作用。研究者因此認為,湖泊不該只由地方分開管理,也需要從更大範圍看待彼此相連的環境壓力。

  14. Rohan Paul70

    讓 AI 助理代替不同的人參與 AI 政策討論,能讓更多人的意見進場,但發言方式也可能改變討論結果。研究團隊讓 AI 助理先訪談一個人,再代表那個人的看法,和其他 AI 助理討論 AI 安全預算。研究發現,訊息寫得較長或比較不合作的 AI 助理,會更能把預算討論拉向委託者的立場。746 位參與者也覺得由 AI 助理代為表達,比只向一個 AI 系統提供意見公平;研究認為,限制訊息長度並訂下共同的行為規則,有助減少強勢發言左右結果。

    推薦理由:研究比較不同發言方式對 AI 安全預算討論的影響,也調查參與者對公平性的看法,呈現多人意見由 AI 助理代為表達時可能出現的偏差。

11月17日週二
  1. Hacker News (official RSS)76

    FrontierHarness Eval v1.1 比較 22 套 AI 助理工具,找出各模型的合適搭配

    同一套 AI 助理工具換上不同模型後,花費和任務通過率可能差很多。Runta 與 Baseten 用 5 個模型、22 套工具和 62 種終端機任務做比較,發現每個模型費用較划算的工具組合都不一樣;例如 Codex CLI 搭配 GLM-5.3 時,每次通過任務平均花費 $0.803,但換成 Kimi-K3 後,費用排名從第 1 名掉到第 16 名。結果也顯示,花更多錢不一定能讓任務更容易通過。作者建議,換模型時也用自己的任務測試工具組合,並留意執行步驟,因為每一步都會再次送出整段上下文。

    推薦理由:這項比較顯示,同一套 AI 助理工具搭配不同模型時,費用排名會大幅變動;選工具時應用自己的工作任務實測成本與通過率。

  2. Arena.ai52

    要測試 AI 助理能不能做出比已發表研究更好的方法,不能讓它直接照著論文找答案。FrontierCS 2 是一項基準測試,要求 AI 助理在看不到原始論文、也不能上網的情況下,挑戰已發表的方法。UC Berkeley 的博士生到 Arena HQ 介紹這項測試,也談到成本和表現如何取捨,以及搜尋取代強化學習、重用快取的圖演演算法結果等評測漏洞。內容提醒,設計可靠的測試仍需要研究者判斷。

  3. Dev.to Top Tech62

    研究用 Butterfly Adapter 微調醫療影像模型,保留穩健性保證

    醫療影像模型要用診所自己的資料微調,但一般微調可能讓原本的穩健性保證變弱。研究團隊提出 Butterfly Adapter,透過不改變權重矩陣奇異值的旋轉來調整模型。在頭皮影像的掉髮分類任務中,這種方法在半徑 36/255 的認證準確率為 63.8%,LoRA 為 31.6%,完整微調為 35.6%;在半徑 108/255 時,Butterfly Adapter 為 20.4%,另外兩種方法都是 0%。研究也在另一項圓禿活動度分類任務中測試,結果顯示這種方法能在微調特徵時保留較多認證準確率。

  4. elvis53

    自動改進 harness 時,如果換了模型或測試資料,原本有效的修改可能不再有用。Google 的研究提出一套記憶系統,會替每次修改記下原因、預期結果、實際結果和測試情境,讓系統在提出或挑選新修改前先參考。研究指出,這套方法在 4 種領域的跨資料集與 Opus 到 Gemini 測試中,都比只沿用原本的 harness 表現好;10 次程式測試平均增加 2.36 分。研究也舉例,一套為 Opus 調整的 harness 換到 Gemini 後,分數低於未調整的版本。

  5. Hacker News (official RSS)53

    研究人員拍下桿狀細菌兩端的清晰影像

    細菌很小又會移動,要拍清楚細胞兩端並不容易。研究人員用戊二醛把大腸桿菌黏在玻璃上,讓細菌在保持活著、結構也留存的情況下固定住,再用原子力顯微鏡掃描。這種顯微鏡會用細探針沿著細胞表面探測,研究人員把它比喻成用手指讀盲文。細菌兩端與細胞分裂有關,也可能是某些抗生素攻擊的部位;這種拍攝方式或可用來觀察更多微生物,以及細胞分裂和生物膜形成等過程。

  6. Lobste.rs (Engineering Discussion)57

    PAW 把自然語言規格變成可離線執行的小型程式

    像是挑出重要的日誌、修補格式錯亂的 JSON,這些工作很難只靠固定規則做好,交給大型語言模型 API 又會花錢,也得連網。這篇研究提出 PAW:先把自然語言寫的工作規格編譯成小型模型配件,再交給較小的模型執行。研究中的 0.6B Qwen3 執行 PAW 程式時,表現可媲美直接提示 Qwen3-32B,推論記憶體約少 50 倍,並能在 MacBook M3 上以每秒 30 個 token 執行。這種做法讓大型模型先負責建立工具,之後反覆使用時可以離線執行。

  7. Schneier on Security79

    Google DeepMind 用 AI 助理形式驗證 Signal 通訊協定

    要確認 Signal 的加密協定是否符合安全目標,研究者得仔細檢查複雜的數學證明。Google DeepMind 研究人員用 AI 助理把 Signal 的安全目標整理成數學規格,再用 Gemini Carbon 驅動的 AI 助理產生 Lean 證明,並找出需要人類再檢查的部分。專家只需複核約 1% 的程式碼;Lean 會自動檢查其餘部分。這次分析沒有在檢查的範圍內發現新漏洞,但在含有已知且早已修補漏洞的舊版 Signal 中,工具有找出問題。研究團隊也公開了規格與證明,供其他形式驗證工作參考。

    推薦理由:研究把 Signal 的安全目標寫成數學規格,再由 AI 助理產生並檢查證明,能看出哪些工作可交給工具處理、哪些部分仍要專家複核。

  8. Hacker News (official RSS)60

    全美研究發現,校園嚴格停用手機與學生數學、閱讀成績進步有關

    校園手機禁令是否能改善成績,過去研究的結果不一。這項全美研究追蹤 2021 至 2026 年間 330 萬名學生,發現要求學生整天把手機鎖起來的學校,數學和閱讀成績都有進步,幅度約等於一年多上了一到兩週的課;各種成績程度的學生都有類似收穫。比較寬鬆的禁令也和成績進步有關,但研究者較不確定結果。研究指出,停用手機可能有幫助,但單靠這項措施不太可能扭轉成績下滑;手機禁令對學生身心健康的影響,也還需要更多研究瞭解。

  9. Tom’s Hardware AI & Computing72

    研究估算美國 403 座大型資料中心一年用電 82 TWh

    美國大型資料中心用了多少電、排出多少二氧化碳,沒有官方數字可直接查。哈佛主導的研究確認了 403 個大型資料中心據點,估計它們一年用電約 82 TWh,約佔全美用電量 1.8%,並排出約 25.7 百萬公噸二氧化碳;其中 53.9% 的電力來自天然氣和燃煤。用電集中在少數地區,維吉尼亞州的 142 個據點就佔了約四分之一。這些數字是根據設施容量、運轉程度和各電網區域的平均電力來源推算,並非逐一量測實際用電;研究也未計入潔淨能源合約與抵換額度,因此估算仍有範圍限制。

  10. Dev.to Top Tech70

    開發者盤點 MCP 工具,揭露哪些可能動用資金

    有些 MCP 工具能動用資金,也會接觸帳戶或憑證資料;如果提示詞注入影響這些工具,風險可能從讀取資料變成花掉資金。作者盤點公開 MCP 生態系,並公開可重算數字的資料與程式。盤點顯示,3,456 個伺服器提供資金操作功能,其中 1,301 個工具能移動資金;另有 2,663 個伺服器在同一信任範圍內處理資金與憑證。作者也提醒,這些數字只涵蓋公開生態系,企業內部部署不在盤點範圍內。公開的風險資料與檢查紀錄可供重跑,協助檢視工具許可權和操作紀錄是否能供稽核。

  11. Hacker News (official RSS)47

    40 個網站調查:80% 的 Shopify 商店開放 UCP,卻沒有自訂的 /agents.md

    有些網站已能讓 AI 搜尋工具讀取資料,但缺少網站自己的價格、退貨和服務規則,AI 可能只能從其他地方猜答案。這項調查檢查了 40 個網站,發現 10 家 Shopify 商店中有 8 家開放 /api/ucp/mcp,卻沒有一家自訂 /agents.md;其中 6 家使用 Shopify 提供的範本,裡面沒有商店自己的免運門檻和退貨期限。調查也發現,40 個網站都沒有在 /robots.txt 禁止 GPTBot 或 PerplexityBot,但有 2 個網站仍在網路防護系統擋下這些爬蟲。這表示網站看起來允許 AI 讀取,不代表 AI 一定能順利取得資料;網站也需要清楚寫出自己的重要資訊。

  12. Solidot74

    研究估算美國大型資料中心用電量,最高接近部分州全年用電量

    美國大型資料中心要支援雲端服務、大型語言模型訓練和 AI 工具,研究估算它們一年會用掉多少電,以及因此產生多少碳排放。研究人員分析了 403 座資料中心的衛星影像,估計在 2024 年 5 月至 2025 年 4 月間,它們共用電 68–99 TWh,最高接近印第安納州、密西根州和田納西州各自一年的總用電量。這些資料中心約有 54% 的電力來自化石燃料,研究期間排放約 2570 萬公噸二氧化碳。研究人員認為,目前的用電需求和排放可能已高於研究期間的估算。

  13. Dev.to Top Tech54

    SWE-CoWork 用模擬組織測試 AI 助理如何合作寫程式

    實際開發工作常要先問清楚需求、和同事合作,再確認成果;只測 AI 助理能不能單獨寫程式,可能看不出它在團隊裡的表現。研究者推出 SWE-CoWork,讓 AI 助理在模擬組織中處理開發任務,從同事和紀錄裡找出需求,並與其他人合作、檢查工作成果。這套測試包含 101 項任務,來自 101 個真實專案,涵蓋 11 種程式語言和 12 個領域。它把測試情境拉近團隊工作,觀察 AI 助理如何理解需求與協作。

  14. Dev.to Top Tech65

    DeepStress 研究發現,搜尋式 AI 助理遇到不可信資料仍常給出答案

    搜尋式 AI 助理引用的資料愈不可靠,回答卻不一定會變得保守。DeepStress 研究把錯誤訊息刻意加入檢索到的檔案,再觀察 AI 助理會不會拒絕回答;即使檔案被標成完全不可信,受測系統在許多情況下仍給出明確答案。以 Search-R1 為例,資料可信度從高到低時,答對率仍約在 78% 到 80% 之間,拒答情況也沒有明顯變化。研究只測試人工製造的資料錯誤,還不能確定真實使用時是否也會如此;作者建議安全流程在證據太不可信時要求 AI 助理停止作答。

  15. Dev.to Top Tech64

    Tree-Ising 用約 $0.90 修補 Qwen3.5-0.8B,成本低於 GPT-6 Astra

    Qwen3.5-0.8B 在思考模式下會反覆輸出數學題內容,讓模型很難正常作答。研究團隊提出 Tree-Ising,挑選模型權重中的少量位元做修改,再用 GPU 搜尋合適的改法,不需要呼叫大型語言模型。研究報告稱,修補約花 $0.90、耗時 31 分鐘;GPT-6 Astra 的修補則花 $312、耗時約 15.6 小時。在 MATH-500@4 測試中,Tree-Ising 得分為 54.6%,GPT-6 Astra 為 51.7%。不過,結果都來自數學測試,尚未經其他人獨立重現,也沒有和 LoRA 等微調方法比較。

  16. The Economic Times · ETtech48

    OpenAI 研究發現,98% 受訪科學家認為 AI 能加快科學發現

    科學研究常被人手、經費和時間卡住。OpenAI 調查了 251 位使用 ChatGPT 協助研究的科學家,98% 認為 AI 能加快自己領域的發現;超過五分之一的人認為,原本要花 10 年的發現,可能縮短到 3 年。研究人員也估計,AI 能讓他們用將近一半的時間完成同樣品質的工作,常用來整理已有研究、寫作、分析證據和發想題目。 不過,AI 產生的內容仍需要人檢查:研究人員約有 32% 的情況會要求 AI 說明、核對或修改。即使 AI 能省下研究時間,經費、人手和實際做實驗的能力仍會影響研究能不能更快有成果。

  17. Dev.to Top Tech53

    CodeNinja Atoms 示範如何設計會累積處理經驗的物流 AI 系統

    貨車故障或貨物延誤時,物流人員得趕快查清狀況、安排補救,還要通知相關的人;但資料散在不同系統,處理經驗也可能跟著熟手離職而消失。CodeNinja Atoms 的參考設計把這些資料連起來,讓 AI 助理整理情況並草擬處理方式,再由物流人員核准訊息和預約異動。每次確認的處理結果都會留下來,供下一次參考;模型本身不必重新訓練。設計也讓資料和推論留在業者自己的場所,減少貨運資料外傳。

  18. Dev.to Top Tech77

    METR 研究模型能否看出自己正在接受對齊測試

    如果模型看得出題目是在測它會不會做出不當行為,對齊測試的結果可能就不完全反映它平常的表現。METR 讓調查用 AI 助理檢視 55 項測試,判斷哪些是在測對齊、哪些是在測能力;Claude Opus 5.5 在這項研究中把兩類測試完全分開,分數沒有重疊。研究也整理出測試環境太像模擬場景、任務刻意留下不當捷徑等線索。不過,研究測的是模型在被問到時能否辨認測試,沒有證明它在實際作答時會因此改變行為。

    推薦理由:研究比較模型辨認對齊測試與能力測試的表現,也整理測試環境露出的線索,可用來理解評估結果可能受哪些因素影響。

  19. Rohan Paul64

    會從過去工作學會新技能的 AI 助理,可能把惡意指令也記進技能裡,之後遇到其他任務時反覆照做。Penn State 研究提出 BadEvolve,只在學習資料中加入 20 個任務,再調整任務寫法,觀察惡意規則是否被寫入技能、載入並執行。在 Kimi-K2.5 上,這種攻擊有 79.6% 的機會達成攻擊者指定的目的,高於最佳對照方法的 37.6%;一般任務的準確度只下降 1.1 個百分點。研究提醒,來自使用者或外部來源的學習任務應視為不可信,重用新技能前也要先檢查。

  20. Dev.to Top Tech72

    Darwin-Prediction-Weather 評測:在 28 項天氣預報比較中誤差最低

    天氣預報要看得準,得把不同模型放在相同條件下比較。這篇文章整理 VIDRAFT 的 Darwin-Prediction-Weather 與 8 個國家氣象機構的模型,在 24 個城市、約 9 個月的預報資料中,對照後來實際發生的天氣。結果顯示,Darwin 在 28 項比較中誤差都最低;例如 7 天後的最高氣溫誤差是 2.08 C,低於 ECMWF AIFS 的 2.42 C。資料來自公開預報紀錄,並每天更新排行榜;這些結果反映的是文中設定的城市、日期和比較方式。

  21. Rohan Paul53

    一般代數解題工具能算出正確答案,但遇到某些題目可能花太久;改用題目裡藏著的捷徑,解題速度可能更快,卻得先找出捷徑。UCLA 與 AWS 的研究讓 Claude Opus 5 處理藏有捷徑的多項式題目,並把 AI 助理思考的時間也算進成本。它在 108 題中有 103 題能於 600 秒內解完,msolve 則有 60 題;但在兩者都解得出的 60 題裡,AI 助理只有 12 題比較快。研究也發現,先花 11.4 小時建立可重複使用的解題工具,之後跑題速度是已知捷徑基準方法的 5.4 倍。因此,這種做法較適合一般工具解不完的題目,或有足夠多相似題目能分攤前期準備時使用。

  22. Rohan Paul58

    AI 程式助理會在每一輪重送越來越長的對話紀錄,長期維護同一個程式專案時,token 費用也會一路累積。UC Berkeley 與 Microsoft 的研究提出 TokenEconomizer,讓它在助理外部參考過往執行紀錄,挑出要補進提示詞的資訊、移除沒用到的工具,並在失敗的迴圈持續時提早停止。研究在 Claude Code、Codex 和 GitHub Copilot CLI 的 277 項 SWE-Bench 任務中測試,平均每項任務的成本降低 18.4% 到 30.9%;5 種助理與模型組閤中有 4 種的 Pass@1 也提升。研究也指出,成本應按整個專案的多項任務一起計算。

  23. aihot71

    METR 研究模型能否看出自己正在接受對齊評測

    模型如果看得出自己正在接受對齊測試,評測結果可能就無法反映它在真實情境中的行為。METR 讓調查型 AI 助理探索 19 個對齊評測和 36 個能力評測,再判斷環境在測什麼。研究發現,模型會留意環境是否像模擬場景,以及任務是否像在引誘它做出不當行為;在這組資料中,Opus 5.5 把每個對齊評測的分數都排在能力評測之上。作者也提醒,直接問模型是否身處對齊評測,可能影響它的回答;這項研究沒有判斷這些線索是否會改變模型實際執行任務時的行為。

    推薦理由:研究比較 19 個對齊評測與 36 個能力評測,呈現模型辨認評測型別的線索,也說明這種辨認可能讓對齊測量偏離真實部署情境。

  24. The Verge · AI72

    哈佛研究估算美國大型資料中心用電與碳排,指出電力來源影響很大

    美國大型資料中心用電量高,若電力來自燃煤或燃氣,也會帶來大量碳排。哈佛研究團隊用衛星影像找出 403 座大型資料中心,再依供電能力估算它們的用電與排放。研究估計,這些設施在一年內共用掉約 82 terawatt-hours 電力,約佔美國總用電量的 1.8%;其中約 54% 的電力來自燃氣和燃煤,排放約 25.7 million metric tons CO2。研究也發現,同樣用電量的資料中心,若接上以燃煤為主的電網,碳排可能比水力發電佔比較高的電網多約七倍。估算沒有涵蓋部分自建燃氣裝置造成的空氣汙染;研究團隊正用這些資料建立網站,追蹤個別資料中心的環境影響。

  25. elvis61

    強化學習訓練常要研究人員盯著進度、找問題,再手動調整做法。論文提出 AutoRL,讓 AI 助理檢視訓練曲線、測試過程和評估結果,找出問題並提出修改,再由另一個 AI 助理核准套用。文中提到,AutoRL 讓 Qwen3 在 AIME 2024 的成績從 46.67% 提升到 66.67%;用 LongCat-Flash-Lite 做程式任務時,pass@1 從 52.29% 升到 65.13%。作者也指出,每次修改仍需要大量運算資源來驗證。