跳到正文

#arXiv

RSS
今日 0 則
11月21日週六
  1. Dev.to Top Tech46

    LLM 交叉檢查 UVM 測試,抓出評分器漏掉的規格錯誤

    硬體測試全部通過,也可能還是違反了規格,讓一般測試工具漏掉問題。研究團隊做出名為 Verify the Verifier 的 LLM 檢查工具,會拿通過測試的執行紀錄對照規格,找出不尋常的地方。團隊在 4 個 OpenTitan IP 中放入 564 個錯誤,其中 68 個可能被測試評分器漏掉,工具確認了 41 個。這種做法有機會提早抓出傳統測試看不到的硬體問題;不過文章沒有說明誤報多不多,也還不清楚能不能用在其他專案。

  2. Dev.to Top Tech73

    怎麼確認 API 供應商提供的真的是它宣稱的模型?

    透過第三方 API 買模型時,外界很難確認服務實際接上的模型是不是供應商宣稱的那一個。作者整理一篇研究,檢查轉售前沿模型的 17 個服務:24 個端點中,有 11 個未通過模型身分檢查,另有 3 個雖通過標示檢查,指紋仍與官方模型差距很大。研究也用測試環境量出指紋辨識和分佈測試的誤判率,但提醒黑箱測試只能找出替換的線索,不能證明模型身分真實。作者建議供應商公開模型版本、請求紀錄與原始回應,並定期重測;使用者也要先看清楚模型不可用時是否會改接其他模型,以及如何計費。

11月20日週五
  1. ModelScope83

    看影片時,畫面、對話和背景聲音常要分開處理,WeChat Vision 推出的 WeMM-Video 能把它們放在一起理解,也能用中文或英文回答。這個開放權重模型家族有 2B、4B、9B 和 35B-A3B 等尺寸,可接收文字、圖片、音訊和影片,並提供直接回答與深入推理兩種模式。技術報告稱,35B-A3B 在同等規模的開放模型中影音表現突出;Thinking 模式在 17 項一般影音基準中的 16 項,勝過 Seed2.0-Mini-0428 和 Qwen3.5-Omni-Flash。

    推薦理由:WeMM-Video 把影片畫面、對話與環境聲音放在同一條時間線理解,報告也比較了不同規模模型在多項影音基準上的表現。

  2. 888Embody42

    每日論文雷達:19 篇具身 AI 研究,從電路板製作到機器人導航

    機器人要做精細工作,常得同時看懂環境、想好步驟,還要把動作控制得很準;只靠一個模型從頭包辦,可能不夠穩。這次整理了 19 篇具身 AI 研究,其中 JARVIS 讓機器人掃描工作區,先在虛擬環境預演設計和製作電路板,再實際動手;ROAM 則把環境理解和機器人的移動控制分開合作,讓四足或雙足機器人在高山、城市等環境中長距離導航。這些研究顯示,把「看懂、規劃」和「精準動作」分工,可能有助機器人處理更複雜的真實工作。

  3. Dev.to Top Tech76

    多個 AI 助理為何更耗成本?文章拆解路由與交接的浪費

    多個 AI 助理分工時,每一輪可能都要重新讀過前面累積的內容,還得多花一次模型呼叫來決定下一步,讓 token 用量和等待時間一起增加。作者用五個 AI 助理處理一份報告的例子說明,路由與交接會重複讀取歷史;改用程式安排固定流程、只傳原始需求和目前結果的摘要,再限制整條任務鏈的交接次數,就能減少這些額外花費。文章也提醒,如果每個 AI 助理仍各自讀完整份報告,這部分用量不會因為調整交接方式而下降,還得另外只取工作需要的段落。

    推薦理由:文章用具體 token 帳目拆解路由與交接如何重讀相同內容,並比較四種做法對成本、延遲與資訊保留的影響。

11月19日週四
  1. Hao AI Lab53

    文字越長,模型處理時花的時間和資源通常也會增加。RecSA 把 KV cache 排成樹狀結構,讓每次查詢一層一層搜尋;作者表示,查詢成本會隨文字長度以對數方式增加,且只用 32K 長度訓練的模型能延伸到 2M tokens。在 RULER 測試中,RecSA 從 131K 到 2M 都勝過比較方法;處理 1M tokens 時得分為 60.5,最強基準為 40.0。單張 H200 處理 524K tokens 時,輸入階段快 3.2 倍,生成階段快 3.8 倍。

11月18日週三
  1. Hacker News (official RSS)68

    Energy-Based Reasoners 用能量分數引導 AI 推理與停止

    AI 模型反覆修改答案時,常不知道什麼時候該停,也缺少判斷目前答案是否變好的方法。這篇研究提出 Energy-Based Reasoners,讓模型替每個推理狀態計算能量分數,再沿著分數下降的方向修正答案;分數變化變小時,就能停止推理,也能從多個候選答案中挑出分數最低的。在 Sudoku-Extreme 測試中,它用 1.8M 個引數達到 99.9% 準確率,推論運算量比次佳模型少 345 倍。研究也測試了迷宮、皇后擺放和圖形著色題。

  2. Dev.to Top Tech39

    四篇 AI 研究改善圖片推理、語音合成與模型運算速度

    AI 看圖推理時可能會忘記圖片裡的細節;合成語音也得花不少力氣,反覆運算的模型則可能回答得很慢。四篇新研究分別提出保留圖片線索的方法 RAPO、不用語音編碼器的 VoxMel、加快反覆運算模型解碼的 LoopFill,以及用來測試圖片物理推理能力的 DominoBench。 例如,DominoBench 用 854 個場景測試模型能不能從靜態圖片推測一連串物體碰撞;模型只看圖片時,最多隻有 72% 答對關鍵人物的結果。研究顯示,把決定答案的計算步驟和數字直接告訴模型後,答對率可提高到 82–92%。這些研究提醒我們,模型說得流暢,不代表它看得懂圖片裡的細節,也不代表它會算出正確結果。

  3. Hacker News (official RSS)83

    研究揭露 RPMC 弱點,Windows Hello 四位數 PIN 可在 40 小時內破解

    Windows Hello 使用短 PIN 時,靠 TPM 的防暴力猜測機制阻止攻擊者反覆嘗試;這篇研究發現,部分硬體儲存鎖定紀錄的方式有漏洞。研究者用低成本硬體裝置,讓系統回復到較舊的鎖定狀態,並在一臺已鎖定、加密的裝置上,於 40 小時內找出四位數 Windows Hello PIN;原本最壞情況需要 69 天。研究也指出,同樣的方法可用來攻擊 BitLocker 的 TPM+PIN 開機保護,將預設長度六位數 PIN 的最壞猜測時間從 19 年縮短到 20 天。研究摘要未提供修補方式。

    推薦理由:研究以低成本硬體測試 RPMC 在量產 x86 系統中的防護弱點,並展示狀態回復如何大幅縮短 PIN 暴力猜測所需時間。

11月17日週二
  1. Understanding AI (Timothy B. Lee)80

    七位物理學家談 AI 如何改變物理研究與年輕研究者的未來

    AI 已經能替物理學家做不少計算,甚至解出研究者私下準備的難題,但大量新論文也讓人難以判斷哪些值得讀。作者訪問七位物理學家,談到他們如何用 AI 助理檢查計算、找出舊論文的錯誤,以及探索其他領域的想法;其中一項物理題目測試,在正式公開前就被 GPT-6 Astra 幾乎全部解出。物理研究仍要靠實驗檢驗想法,這和數學不同;受訪者也擔心,若 AI 接手例行計算,年輕研究者要怎麼累積經驗、建立研究能力。

    推薦理由:七位物理學家的經驗呈現 AI 加快計算與論文產出的同時,也帶來訓練新一代研究者與判讀大量研究的難題。

  2. Lobste.rs (Engineering Discussion)57

    PAW 把自然語言規格變成可離線執行的小型程式

    像是挑出重要的日誌、修補格式錯亂的 JSON,這些工作很難只靠固定規則做好,交給大型語言模型 API 又會花錢,也得連網。這篇研究提出 PAW:先把自然語言寫的工作規格編譯成小型模型配件,再交給較小的模型執行。研究中的 0.6B Qwen3 執行 PAW 程式時,表現可媲美直接提示 Qwen3-32B,推論記憶體約少 50 倍,並能在 MacBook M3 上以每秒 30 個 token 執行。這種做法讓大型模型先負責建立工具,之後反覆使用時可以離線執行。

  3. Dev.to Top Tech81

    IFM 公開 K2-Horizon 六款模型及訓練資料,最大款有 375B 引數

    許多開放模型只提供權重,外界很難知道訓練資料怎麼來、模型又是怎麼做出來的。IFM 公開了 K2-Horizon 六款模型的權重、訓練資料、中途檢查點、訓練紀錄和製作資料的流程,也提供訓練與評估用的程式碼。模型從 0.9B 到 375B-A23B,適合不同規模的工作;其中 36B-A4B 使用的啟用引數較少,論文稱它的表現接近用相同資料訓練的 32B 模型。這些效能說法尚未經獨立測試,作者也沒有親自試用;公開資料讓人能研究和微調,但從頭重訓需要大量運算資源。

    推薦理由:K2-Horizon 同時公開權重、訓練資料與製作流程,讓人能檢視模型如何建成,也能比較不同規模的模型。

  4. Dev.to Top Tech54

    SWE-CoWork 用模擬組織測試 AI 助理如何合作寫程式

    實際開發工作常要先問清楚需求、和同事合作,再確認成果;只測 AI 助理能不能單獨寫程式,可能看不出它在團隊裡的表現。研究者推出 SWE-CoWork,讓 AI 助理在模擬組織中處理開發任務,從同事和紀錄裡找出需求,並與其他人合作、檢查工作成果。這套測試包含 101 項任務,來自 101 個真實專案,涵蓋 11 種程式語言和 12 個領域。它把測試情境拉近團隊工作,觀察 AI 助理如何理解需求與協作。

  5. Dev.to Top Tech72

    LLM AI 助理測試怎麼選?合成案例適合比較,真實紀錄才能把關

    用自己想像的測試案例檢查 AI 助理,可能看起來分數很高,到了真實環境卻漏掉沒預料到的狀況。作者分享自己的自動化帳號曾遇到新頁面,原本的檢查方式沒能發現帳號遭停用;他也整理研究和其他事件,說明合成案例有助於快速比較不同版本,但不能單靠它判定實際任務做得好不好。作者建議用合成案例追蹤版本差異,再定期抽查、整理並人工標記真實使用紀錄,將兩種結果分開檢查,作為發布前的把關依據。

  6. Rohan Paul64

    會從過去工作學會新技能的 AI 助理,可能把惡意指令也記進技能裡,之後遇到其他任務時反覆照做。Penn State 研究提出 BadEvolve,只在學習資料中加入 20 個任務,再調整任務寫法,觀察惡意規則是否被寫入技能、載入並執行。在 Kimi-K2.5 上,這種攻擊有 79.6% 的機會達成攻擊者指定的目的,高於最佳對照方法的 37.6%;一般任務的準確度只下降 1.1 個百分點。研究提醒,來自使用者或外部來源的學習任務應視為不可信,重用新技能前也要先檢查。

11月15日週日
  1. Dev.to Top Tech66

    AI 網頁常用藍色和紫色,F9XR 教你找出預設配色並改掉

    AI 做出的網頁常出現藍色、靛色和紫色漸層,看起來容易像同一個模板。F9XR 整理了一項研究和設計師的觀察:研究中藍色最常見,粉紅和黑色較少見;暖色系較少見則是設計師觀察,還沒有統計數字。文中也提醒,白字配 Tailwind v3 的 indigo-500 對比度略低於一般文字的 WCAG AA 門檻。作者提供程式碼搜尋常見配色,並建議先設定品牌色、明確告訴 AI 要避開哪些顏色,再檢查文字對比度。

  2. Dev.to Top Tech60

    Gemini 4 Carbon 在 MathArena 數學評測中超越 GPT-6.1 Sol

    選數學能力強的模型時,只看分數可能會忽略每次測試要花多少錢。MathArena 更新評測後,Google 的 Gemini 4 Carbon 以 85.4% 排名第一,Claude Fable 5.2 得 82.8%,GPT-6.1 Sol 得 80.6%;每個分數也附有誤差範圍。依測試設定,跑完一輪 Carbon 約花 15.70 美元,Fable 5.2 約 40 美元,GPT-6.1 Sol 約 1 美元。這份榜單把準確度和成本放在一起比較,團隊仍可用自己的工作內容測試,判斷多花的錢是否划算。

11月14日週六
  1. Dev.to Top Tech63

    AI Scientist-v2 自動完成的論文獲同儕審查工作坊接受

    AI 能寫出看起來合理的文字和程式碼,但能不能完成研究並通過外部審查,是另一個問題。研究者表示,AI Scientist-v2 會提出假說、設計並執行實驗、分析結果,再寫成論文;它產出的論文獲同儕審查工作坊接受。這比只看系統自己的測試多了一道外部檢視,但單篇論文獲接受,還不能說明研究在新意、嚴謹度或不同領域的可靠性。

  2. Dev.to Top Tech60

    如何用模型分流降低正式環境的 LLM API 費用

    正式環境的 LLM API 費用會隨使用量增加;若每個請求都交給最貴的模型,簡單工作也得付高價。作者整理三種分流方法:已知工作型別時直接指定模型;用語意比對或分類模型判斷該用哪個模型;先讓便宜模型回答,答得不夠好再升級。文章以每天 100,000 個問題的案例試算,將一半問題交給較便宜的模型後,每月費用約從 $14,850 降到 $8,151.65。作者也提醒,應先用測試題和部分流量比較回答品質,避免省下費用卻讓答案變差。

  3. Dev.to Top Tech54

    CoReMem 研究如何讓 AI 助理記住對後續程式任務有用的資料

    AI 助理接連處理同一個程式專案時,記太多資料會佔空間、拖慢查詢,記太少又可能漏掉有用線索。CoReMem 會比較下一個任務在有沒有某段記憶時的表現,依解題結果和步數判斷它值不值得保留,再把有用線索連到程式位置或測試指令等錨點。文中提到,在 ChainSWE 測試中,27B actor 的解題率從 21.0% 提升到 25.7%,步數少了 17%,總 cache-aware tokens 少了 11%。這套方法需要離線重跑任務來估算記憶價值,任務彼此獨立時效益有限。

11月13日週五
  1. aihot81

    Berkeley RDI 等團隊推出 CyberArena 資安評測基準,讓 AI 助理互相攻防

    靜態資安測驗的題目一旦被 AI 助理解出,就很難再看出不同系統的差別。Berkeley RDI 等團隊推出 CyberArena,讓兩個 AI 助理在同一場比賽中攻擊對方的服務,也修補自己的服務;每回合都由場地檢查攻擊是否成功,以及正常功能是否仍能使用。研究團隊在 466 場對局中發現,三個原本都能解出 40 題中的 30 題的 AI 助理,遇上防守方後,平均攻擊成功率從第一回合的 89% 降到第三回合的 42%。對局也揭露常見失誤,例如 AI 助理宣稱修好漏洞,卻沒有實際測試修補結果。

    推薦理由:CyberArena 以即時攻防呈現靜態資安基準可能飽和的問題,並用成功率變化與修補失誤展示對手如何改變評測難度。

11月12日週四
11月11日週三
  1. Dev.to Top Tech35

    預印本是什麼,又不代表什麼

    預印本是作者在正式同儕審查前公開發布的論文稿件;公開發布會留下時間戳記,方便引用與討論,但本身不代表研究已獲獨立審查者認可。 - 主要用途:研究者可先公開稿件,讓同領域人士閱讀、引用或提出批評;稿件可能之後刊登於期刊、維持預印本狀態,或遭撤回。

11月10日週二
11月9日週一
11月8日週日
11月7日週六
  1. Dev.to Top Tech43

    兩個 AI 模型因細微措辭變化而改變決策

    summary_zh: 兩個大型語言模型在同一問題的措辭略微改變時,仍會改變決策,顯示即使加入更豐富的上下文提示也無法保證穩定性。 - Prisoner's Dilemma‑style 測試: - 四種上下文型別(中性填充、通用社會背景、描述性基礎、規範性基礎)對兩個模型的決策模式產生不同影響,說明 prompt 長度 不是保證可靠性的關鍵。

  2. Hacker News (official RSS)46

    **title_zh:**

    Memorilla:LLM 的隱式語義記憶 summary_zh: Memorilla 是一套為凍結 LLM 設計的記憶系統,能以 16 個記憶 token 將整個檔案集合的資訊編碼並輸入 LLM,從而在多項基準測試中取得最佳表現。

11月6日週五