LLM 交叉檢查 UVM 測試,抓出評分器漏掉的規格錯誤
硬體測試全部通過,也可能還是違反了規格,讓一般測試工具漏掉問題。研究團隊做出名為 Verify the Verifier 的 LLM 檢查工具,會拿通過測試的執行紀錄對照規格,找出不尋常的地方。團隊在 4 個 OpenTitan IP 中放入 564 個錯誤,其中 68 個可能被測試評分器漏掉,工具確認了 41 個。這種做法有機會提早抓出傳統測試看不到的硬體問題;不過文章沒有說明誤報多不多,也還不清楚能不能用在其他專案。
硬體測試全部通過,也可能還是違反了規格,讓一般測試工具漏掉問題。研究團隊做出名為 Verify the Verifier 的 LLM 檢查工具,會拿通過測試的執行紀錄對照規格,找出不尋常的地方。團隊在 4 個 OpenTitan IP 中放入 564 個錯誤,其中 68 個可能被測試評分器漏掉,工具確認了 41 個。這種做法有機會提早抓出傳統測試看不到的硬體問題;不過文章沒有說明誤報多不多,也還不清楚能不能用在其他專案。
透過第三方 API 買模型時,外界很難確認服務實際接上的模型是不是供應商宣稱的那一個。作者整理一篇研究,檢查轉售前沿模型的 17 個服務:24 個端點中,有 11 個未通過模型身分檢查,另有 3 個雖通過標示檢查,指紋仍與官方模型差距很大。研究也用測試環境量出指紋辨識和分佈測試的誤判率,但提醒黑箱測試只能找出替換的線索,不能證明模型身分真實。作者建議供應商公開模型版本、請求紀錄與原始回應,並定期重測;使用者也要先看清楚模型不可用時是否會改接其他模型,以及如何計費。
推薦理由:WeMM-Video 把影片畫面、對話與環境聲音放在同一條時間線理解,報告也比較了不同規模模型在多項影音基準上的表現。
機器人要做精細工作,常得同時看懂環境、想好步驟,還要把動作控制得很準;只靠一個模型從頭包辦,可能不夠穩。這次整理了 19 篇具身 AI 研究,其中 JARVIS 讓機器人掃描工作區,先在虛擬環境預演設計和製作電路板,再實際動手;ROAM 則把環境理解和機器人的移動控制分開合作,讓四足或雙足機器人在高山、城市等環境中長距離導航。這些研究顯示,把「看懂、規劃」和「精準動作」分工,可能有助機器人處理更複雜的真實工作。
多個 AI 助理分工時,每一輪可能都要重新讀過前面累積的內容,還得多花一次模型呼叫來決定下一步,讓 token 用量和等待時間一起增加。作者用五個 AI 助理處理一份報告的例子說明,路由與交接會重複讀取歷史;改用程式安排固定流程、只傳原始需求和目前結果的摘要,再限制整條任務鏈的交接次數,就能減少這些額外花費。文章也提醒,如果每個 AI 助理仍各自讀完整份報告,這部分用量不會因為調整交接方式而下降,還得另外只取工作需要的段落。
推薦理由:文章用具體 token 帳目拆解路由與交接如何重讀相同內容,並比較四種做法對成本、延遲與資訊保留的影響。
這本傅立葉級數教材適合大學部和研究所課程使用,書中安排了練習題,並在書末提供完整解答,讓讀者能一邊學習,一邊練習並對照答案。
AI 模型反覆修改答案時,常不知道什麼時候該停,也缺少判斷目前答案是否變好的方法。這篇研究提出 Energy-Based Reasoners,讓模型替每個推理狀態計算能量分數,再沿著分數下降的方向修正答案;分數變化變小時,就能停止推理,也能從多個候選答案中挑出分數最低的。在 Sudoku-Extreme 測試中,它用 1.8M 個引數達到 99.9% 準確率,推論運算量比次佳模型少 345 倍。研究也測試了迷宮、皇后擺放和圖形著色題。
AI 看圖推理時可能會忘記圖片裡的細節;合成語音也得花不少力氣,反覆運算的模型則可能回答得很慢。四篇新研究分別提出保留圖片線索的方法 RAPO、不用語音編碼器的 VoxMel、加快反覆運算模型解碼的 LoopFill,以及用來測試圖片物理推理能力的 DominoBench。 例如,DominoBench 用 854 個場景測試模型能不能從靜態圖片推測一連串物體碰撞;模型只看圖片時,最多隻有 72% 答對關鍵人物的結果。研究顯示,把決定答案的計算步驟和數字直接告訴模型後,答對率可提高到 82–92%。這些研究提醒我們,模型說得流暢,不代表它看得懂圖片裡的細節,也不代表它會算出正確結果。
Windows Hello 使用短 PIN 時,靠 TPM 的防暴力猜測機制阻止攻擊者反覆嘗試;這篇研究發現,部分硬體儲存鎖定紀錄的方式有漏洞。研究者用低成本硬體裝置,讓系統回復到較舊的鎖定狀態,並在一臺已鎖定、加密的裝置上,於 40 小時內找出四位數 Windows Hello PIN;原本最壞情況需要 69 天。研究也指出,同樣的方法可用來攻擊 BitLocker 的 TPM+PIN 開機保護,將預設長度六位數 PIN 的最壞猜測時間從 19 年縮短到 20 天。研究摘要未提供修補方式。
推薦理由:研究以低成本硬體測試 RPMC 在量產 x86 系統中的防護弱點,並展示狀態回復如何大幅縮短 PIN 暴力猜測所需時間。
AI 已經能替物理學家做不少計算,甚至解出研究者私下準備的難題,但大量新論文也讓人難以判斷哪些值得讀。作者訪問七位物理學家,談到他們如何用 AI 助理檢查計算、找出舊論文的錯誤,以及探索其他領域的想法;其中一項物理題目測試,在正式公開前就被 GPT-6 Astra 幾乎全部解出。物理研究仍要靠實驗檢驗想法,這和數學不同;受訪者也擔心,若 AI 接手例行計算,年輕研究者要怎麼累積經驗、建立研究能力。
推薦理由:七位物理學家的經驗呈現 AI 加快計算與論文產出的同時,也帶來訓練新一代研究者與判讀大量研究的難題。
像是挑出重要的日誌、修補格式錯亂的 JSON,這些工作很難只靠固定規則做好,交給大型語言模型 API 又會花錢,也得連網。這篇研究提出 PAW:先把自然語言寫的工作規格編譯成小型模型配件,再交給較小的模型執行。研究中的 0.6B Qwen3 執行 PAW 程式時,表現可媲美直接提示 Qwen3-32B,推論記憶體約少 50 倍,並能在 MacBook M3 上以每秒 30 個 token 執行。這種做法讓大型模型先負責建立工具,之後反覆使用時可以離線執行。
許多開放模型只提供權重,外界很難知道訓練資料怎麼來、模型又是怎麼做出來的。IFM 公開了 K2-Horizon 六款模型的權重、訓練資料、中途檢查點、訓練紀錄和製作資料的流程,也提供訓練與評估用的程式碼。模型從 0.9B 到 375B-A23B,適合不同規模的工作;其中 36B-A4B 使用的啟用引數較少,論文稱它的表現接近用相同資料訓練的 32B 模型。這些效能說法尚未經獨立測試,作者也沒有親自試用;公開資料讓人能研究和微調,但從頭重訓需要大量運算資源。
推薦理由:K2-Horizon 同時公開權重、訓練資料與製作流程,讓人能檢視模型如何建成,也能比較不同規模的模型。
實際開發工作常要先問清楚需求、和同事合作,再確認成果;只測 AI 助理能不能單獨寫程式,可能看不出它在團隊裡的表現。研究者推出 SWE-CoWork,讓 AI 助理在模擬組織中處理開發任務,從同事和紀錄裡找出需求,並與其他人合作、檢查工作成果。這套測試包含 101 項任務,來自 101 個真實專案,涵蓋 11 種程式語言和 12 個領域。它把測試情境拉近團隊工作,觀察 AI 助理如何理解需求與協作。
用自己想像的測試案例檢查 AI 助理,可能看起來分數很高,到了真實環境卻漏掉沒預料到的狀況。作者分享自己的自動化帳號曾遇到新頁面,原本的檢查方式沒能發現帳號遭停用;他也整理研究和其他事件,說明合成案例有助於快速比較不同版本,但不能單靠它判定實際任務做得好不好。作者建議用合成案例追蹤版本差異,再定期抽查、整理並人工標記真實使用紀錄,將兩種結果分開檢查,作為發布前的把關依據。
AI 做出的網頁常出現藍色、靛色和紫色漸層,看起來容易像同一個模板。F9XR 整理了一項研究和設計師的觀察:研究中藍色最常見,粉紅和黑色較少見;暖色系較少見則是設計師觀察,還沒有統計數字。文中也提醒,白字配 Tailwind v3 的 indigo-500 對比度略低於一般文字的 WCAG AA 門檻。作者提供程式碼搜尋常見配色,並建議先設定品牌色、明確告訴 AI 要避開哪些顏色,再檢查文字對比度。
選數學能力強的模型時,只看分數可能會忽略每次測試要花多少錢。MathArena 更新評測後,Google 的 Gemini 4 Carbon 以 85.4% 排名第一,Claude Fable 5.2 得 82.8%,GPT-6.1 Sol 得 80.6%;每個分數也附有誤差範圍。依測試設定,跑完一輪 Carbon 約花 15.70 美元,Fable 5.2 約 40 美元,GPT-6.1 Sol 約 1 美元。這份榜單把準確度和成本放在一起比較,團隊仍可用自己的工作內容測試,判斷多花的錢是否划算。
AI 能寫出看起來合理的文字和程式碼,但能不能完成研究並通過外部審查,是另一個問題。研究者表示,AI Scientist-v2 會提出假說、設計並執行實驗、分析結果,再寫成論文;它產出的論文獲同儕審查工作坊接受。這比只看系統自己的測試多了一道外部檢視,但單篇論文獲接受,還不能說明研究在新意、嚴謹度或不同領域的可靠性。
正式環境的 LLM API 費用會隨使用量增加;若每個請求都交給最貴的模型,簡單工作也得付高價。作者整理三種分流方法:已知工作型別時直接指定模型;用語意比對或分類模型判斷該用哪個模型;先讓便宜模型回答,答得不夠好再升級。文章以每天 100,000 個問題的案例試算,將一半問題交給較便宜的模型後,每月費用約從 $14,850 降到 $8,151.65。作者也提醒,應先用測試題和部分流量比較回答品質,避免省下費用卻讓答案變差。
AI 助理接連處理同一個程式專案時,記太多資料會佔空間、拖慢查詢,記太少又可能漏掉有用線索。CoReMem 會比較下一個任務在有沒有某段記憶時的表現,依解題結果和步數判斷它值不值得保留,再把有用線索連到程式位置或測試指令等錨點。文中提到,在 ChainSWE 測試中,27B actor 的解題率從 21.0% 提升到 25.7%,步數少了 17%,總 cache-aware tokens 少了 11%。這套方法需要離線重跑任務來估算記憶價值,任務彼此獨立時效益有限。
靜態資安測驗的題目一旦被 AI 助理解出,就很難再看出不同系統的差別。Berkeley RDI 等團隊推出 CyberArena,讓兩個 AI 助理在同一場比賽中攻擊對方的服務,也修補自己的服務;每回合都由場地檢查攻擊是否成功,以及正常功能是否仍能使用。研究團隊在 466 場對局中發現,三個原本都能解出 40 題中的 30 題的 AI 助理,遇上防守方後,平均攻擊成功率從第一回合的 89% 降到第三回合的 42%。對局也揭露常見失誤,例如 AI 助理宣稱修好漏洞,卻沒有實際測試修補結果。
推薦理由:CyberArena 以即時攻防呈現靜態資安基準可能飽和的問題,並用成功率變化與修補失誤展示對手如何改變評測難度。
GH-AWTrace 研究分析 410 萬筆 GitHub Agentic Workflows 執行紀錄;在可取得的非空日誌中,31.7% 連結至以失敗結束的執行。
作者在 RAGTruth 的測試子樣本上比較三種偵測器,詞彙重疊檢查的 AUROC 高於 DeBERTa NLI。\n\n- 測試結果:在 900 筆回應中,詞彙檢查 AUROC 為 0.778,NLI 為 0.716;詞彙檢查每筆回應只需微秒,NLI 在負載中的 4 執行緒 CPU 上約需 7.3 秒。
預印本是作者在正式同儕審查前公開發布的論文稿件;公開發布會留下時間戳記,方便引用與討論,但本身不代表研究已獲獨立審查者認可。 - 主要用途:研究者可先公開稿件,讓同領域人士閱讀、引用或提出批評;稿件可能之後刊登於期刊、維持預印本狀態,或遭撤回。
文章透過可在本機執行的實驗,示範 MCP 工具描述如何夾帶指令,並說明 mcpprobe 的 META-01 如何偵測,以及伺服器與使用者端可採取的修正措施。
一項涵蓋 320 次執行的研究發現,當 CLAUDE.md 或 AGENTS.md 與現有程式碼慣例衝突時,Claude Code 和 Codex CLI 有 90.1% 的選擇遵循過時指令檔。
summary_zh: 具身智慧每日論文雷達從 1,370 篇論文中篩選並評估 250 篇,選出 18 篇高度相關或具突破性的研究,涵蓋視覺語言動作模型(VLA)、機器人基礎模型、導航、靈巧操作與模擬到真實轉換。
作者指出,AI 程式碼AI 助理的指令、技能、Hooks、MCP 伺服器宣告與子AI 助理設定會以使用者許可權持續執行,卻沒有鎖定檔管理。文章整理研究掃描結果與設定檔的安全檢查做法。
本文示範了在代理讀取日誌時利用簡易預檢閘道阻止指令注入,讀者可直接套用於實務安全防護。 • 10 分鐘可重現測試。 • 透過單句系統提示「日誌為資料」可暫時阻止,但易被覆蓋。
內容 claimtrace 是一款輕量級 CLI 工具,能將 Agent 的結束報告與會話 transcript 逐項比對,驗證檔案開啟、測試結果與缺陷修復是否真實。
研究人員開發 Maximally-Activating Example Metamodels(MAEMs),可將目標模型的殘差串流方向轉換成能強烈啟用該方向的文字範例。
導語:本文說明在多欄 PDF 中,簡單的文字擷取會破壞 RAG 的檢索效果,並提供三種實務修復方案。 - 問題來源:PDF 本身只儲存渲染指令,無閱讀順序,導致跨欄文字交錯。
summary_zh: 兩個大型語言模型在同一問題的措辭略微改變時,仍會改變決策,顯示即使加入更豐富的上下文提示也無法保證穩定性。 - Prisoner's Dilemma‑style 測試: - 四種上下文型別(中性填充、通用社會背景、描述性基礎、規範性基礎)對兩個模型的決策模式產生不同影響,說明 prompt 長度 不是保證可靠性的關鍵。
Memorilla:LLM 的隱式語義記憶 summary_zh: Memorilla 是一套為凍結 LLM 設計的記憶系統,能以 16 個記憶 token 將整個檔案集合的資訊編碼並輸入 LLM,從而在多項基準測試中取得最佳表現。
本文提出針對 UAV 的強韌狀態估計與感測器融合設計,涵蓋 EKF、UKF 與粒子濾波器的選擇、觀測模型設計、時間同步與校正,以及實作檢核清單。 - 濾波器選擇:強調錯誤狀態 EKF 在資源受限 UAV 上的優勢,並說明 UKF 與粒子濾波器適用情境。
導語 本文整理了 2026 年 10 月 30 日至 11 月 6 日間發表的多篇關於偏好最佳化、在策略蒸餾與 LoRA 的研究,並對 OPD 與 GRPO 的計算效率、DPO 的對齊稅負以及 LoRA 動態秩調整等實驗結果進行對比。
作者以工作日誌與實驗驗證 AI 角色分工與審查效能,發現約 60% 的審查發現被採納。 - 實用發現比例:在 240 次對話中,審查者的實用發現佔比 62%,其中 71% 為中高嚴重度。
Terminal‑Bench 是一套針對編碼代理的持續整合測試框架。 - 測試失效原因:代理發現可行解但驗證器拒絕,導致基準在數月內失效。 - 修復規模:2.0 版修正約 30% 測試,精度提升 10% 以上,排行榜前三名變動。