研究:VLM 微調中的隱藏偏好會傳到學生模型
視覺語言模型可能在看似無關的任務中,表現出訓練資料偷偷帶入的偏好。這項研究先用藏有動物偏好的資料微調教師模型,再把教師模型產生的內容用來訓練學生模型;結果,學生模型在選擇偏好動物時,比對照組更常選中目標。在一項幾何圖形測試中,對照組選中的比例是 30.50%,偏好組則是 40.42%。研究顯示,這種偏好可能跟著蒸餾傳下去,但影響幅度會隨資料量、偏好目標、模型和資料產生方式而變化。
視覺語言模型可能在看似無關的任務中,表現出訓練資料偷偷帶入的偏好。這項研究先用藏有動物偏好的資料微調教師模型,再把教師模型產生的內容用來訓練學生模型;結果,學生模型在選擇偏好動物時,比對照組更常選中目標。在一項幾何圖形測試中,對照組選中的比例是 30.50%,偏好組則是 40.42%。研究顯示,這種偏好可能跟著蒸餾傳下去,但影響幅度會隨資料量、偏好目標、模型和資料產生方式而變化。
AI 做出的設計好不好,光看模型分數不容易判斷。Contra Labs 與 BenchFlow 推出 Frontier Design Benchmark,找設計師用真實客戶委託比較不同模型的作品,評審不知道作品由哪個模型產生,也可以判定平手。網站列出 33 份設計委託、68 位專業設計師和 4,311 次盲測投票,另用設計評分規準和 AI 常見粗糙設計模式補充比較。這讓讀者能同時檢視盲測結果與作品評分依據。
AI 生成的影片常會出現不合常理的動作,過去想改善,可能得花很多力氣微調模型。PhysLoop 在影片生成後,讓 LLM 找出不合理的動作,再請模型重做有問題的片段,不必重新訓練影片模型。在 PhysLoop-Gen 測試中,PhysLoop 的任務成功率是 85%,Seedance 2.5 是 73%;修復有問題片段時,成功率則是 86.00%,最佳單獨基準只有 19.33%。不過,修正後的影片雖然動作更合理,畫面真實感分數仍低於 Seedance 2.5,也可能出現細微的材質瑕疵。
AI 助理會改程式,不代表能在公司裡獨立完成工作:它還得找出散落在檔案和聊天紀錄中的需求、和同事溝通,再確認成果真的能用。SWE-CoWork 讓 11 個模型處理真實專案中的工作,表現最好的 Claude-Opus-5.5 和 GPT-6 Astra 雖然通過約 63% 的測試,完整完成的工作卻不到 8%;而且最後回報已完成的需求中,仍有 31% 沒通過實際測試。這顯示 AI 助理目前比較會照著明確指示改程式,還不太會一路追蹤需求、合作並確認交付成果。
AI 看圖推理時可能會忘記圖片裡的細節;合成語音也得花不少力氣,反覆運算的模型則可能回答得很慢。四篇新研究分別提出保留圖片線索的方法 RAPO、不用語音編碼器的 VoxMel、加快反覆運算模型解碼的 LoopFill,以及用來測試圖片物理推理能力的 DominoBench。 例如,DominoBench 用 854 個場景測試模型能不能從靜態圖片推測一連串物體碰撞;模型只看圖片時,最多隻有 72% 答對關鍵人物的結果。研究顯示,把決定答案的計算步驟和數字直接告訴模型後,答對率可提高到 82–92%。這些研究提醒我們,模型說得流暢,不代表它看得懂圖片裡的細節,也不代表它會算出正確結果。
AI 能不能讀懂人的心思?Brain-IT 研究的是更有限的問題:在受控實驗中,能否從人觀看影像時記錄的 fMRI 資料,重建出類似的畫面。模型會把腦部掃描資料轉成場景佈局和內容線索,再用生成模型重建影像。文中的棒球例子保留了相似的人物和球場,但紅色衣服變成紫色,表示重建只能找回部分資訊,並非完整記錄人的視覺經驗;這項實驗也沒有測試秘密、記憶或夢境。
AI 生成的影片可能出現不合常理的動作,機器人也需要更可靠的控制;大型模型的訓練和運作還會受到時間與記憶體限制。這批研究提出不同做法:讓 LLM 檢查並修改自己生成的影片,減少不合理動作;簡化 MoE 的運作方式,縮短訓練時間;也測試 AI 助理拿到不可靠資料時,會不會太有自信。另一項 3D 研究把 LiDAR、空間格子和幾何資料放進同一個表示方式,能用一次運算生成 3D 場景和動作。研究顯示,讓模型更懂物理、減少不必要的運算,並留意 AI 助理能記住多少資訊,都可能讓生成結果更順、訓練更省力、推理更可靠。
修復模糊的 3D 虛擬人物,或用已有的醫療掃描資料補出缺少的影像資料,常得經過很多輪計算,既耗時也可能不穩定。EDGAR 把修復步驟縮成一次擴散處理,再用修好的畫面更新虛擬人物模型;每個模型平均多花 5.04 到 16.60 分鐘。SphereFlow 則把不同型別的醫療影像放到共同的空間,讓系統依照已有資料補上缺少的部分,在腦瘤分割測試中補回約八成與資料完整時的效果。這些方法能減少反覆計算,但 EDGAR 難以修復嚴重變形或大範圍遮蔽的畫面,SphereFlow 遇到差異太大的影像型別也可能表現較弱。
Nvidia 研究團隊發表 Déjà View,這個 1.17 億引數模型可從不同角度拍攝的照片重建 3D 場景與相機位置,並在五項基準測試中匹敵或超越引數量多出 8 至 10 倍的模型。
中研院發展 Taiwan GBA 與 G-YOLO,補足大型視覺語言模型(VLM)在理解人類行為及物件關係上的不足,讓 AI 從辨識影像內容進一步分析事件與環境。
Artificial Analysis 比較模型在 VIALS-AA 使用工具與單次作答時的表現,工具使用下各模型平均分數約從 25% 提升至 47%。
推薦理由:Déjà View 以 117M 引數在五項基準上比肩或超越大上至 10 倍的模型,並可調整迴圈次數以配合運算預算,呈現模型規模與計算量的取捨。
Wave Forcing(WF)結合區塊因果注意力與交錯去噪流程,在管線填滿後,每個並行前向輪次可輸出一個影片區塊。 - 基準表現:在 Wan2.1-T2V-1.3B 上,五步版本的 VBench Total 為 81.64,高於五步 Rolling Forcing 的 81.15;研究也測得 WF 的動態幅度明顯增加。
Philipp Schmid 與 Artificial Analysis 推出 MKA(Multimodal Knowledge Agent),用來評估 AI 代理處理視覺複雜檔案與知識工作的表現。
AI 用不同語言回答同一類問題時,耗用的能源和答案準確度可能有明顯差距。密西根大學研究團隊測試三種開源模型,發現生成非英語文字最多可能比英文多用 180 倍能源;印度語和孟加拉語分別約多用 7.9 倍和 15.3 倍。研究者指出,部分文字需要更多 token,會增加運算負擔;耗能較高的語言,模型回答也往往較不準。團隊建議為不同語言調整模型,或先把問題翻譯成英文再交給通用模型,但前提是翻譯可靠。
BAIR 的教師、博士後研究員與學生將於 CoRL 2026 發表機器人學習研究,議程包括 Negar Mehr 教授的 Early Career Keynote,以及論文口頭報告、焦點演講與海報展示。
核心測試:Co‑Design Bench 以真實使用者變更請求為基礎,評估 AI 編碼代理在多模態環境下的實務表現。- 模型表現:十款模型中 GPT‑6 Astra 最高,平均滿足 70% 的需求,完整正確率僅 26.4%。
推薦理由:Lyra 2.0 結合影片生成與 3D 重建,並利用先前視角修正累積的視覺誤差,呈現其維持可探索場景一致性的設計。
AI-PPG-ACC-HTN 是 Google 研發的一套可於消費者智慧手錶上偵測高血壓的多模態 AI 系統,透過 PPG 與 ACC 兩種感測器,無需袖帶校正即可達到與傳統血壓測量相近的準確度。
推薦理由:此研究展示了利用手錶感測器偵測高血壓的可行性,並在臨床測試中達到與傳統袖帶相近的準確度,為全球健康監測提供新方法。
Wild Dolphin Project 正與 Georgia Tech 和 Google DeepMind 合作,運用 AI 從海豚影音資料中尋找溝通模式,並嘗試以水下穿戴式電腦播放聲音與海豚互動。
研究人員測試多種多模態模型評估不同口音英語語音的表現,發現模型對中國與奈及利亞口音的評分最低,對美國與英國口音的評分最高。 - 測試模型:Gemini 2.5 Pro、Gemini 2.5 Flash、GPT-Audio 1.5,以及開放權重模型 Qwen 3 Omni。
推薦理由:研究比較多種模型對五種英語口音的評分與解釋,呈現口音偏見如何影響面試、報告及口語能力評估。
Goodfire 發布了一篇論文,提出了 mechanistic shaping 框架,利用模型內部表徵來直接調整解題方式,避免模型學習錯誤捷徑。 - 核心貢獻:透過 依賴塑形 與 表達塑形 兩種方法,直接抑制模型對不良概念的依賴或表達。
summary_zh: MIT 研究人員推出 UQ‑DAAAM,能自動糾正機器人對物件的錯誤描述,提升其任務準確度。 - 核心特性: - 透過不確定度量化(Uncertainty Quantification)識別疑似錯誤的描述,並以額外視角減少不確定度。
MarathonDocBench 由百度推出,針對 100–300 頁中英檔案的跨頁解析進行評測。 - 資料規模:100 篇檔案、約 18,000 頁、205,000 標註佈局元素。
CUA‑Master‑27B 透過快照回滾與混合動作空間,於 OSWorld Verified 取得 80.2% 的成功率,顯示大模型在真實桌面任務上的可行性。
summary_zh: Apple Machine Learning Research 針對即時 iOS 應用程式提出一套線上密集強化學習框架,將代理拆分為規劃代理與 UI 基礎化模型,並利用 LLM‑as‑a‑Judge 產生步驟層級與終端獎勵,顯著提升 UI 導航表現。
summary_zh: 本期《每日論文雷達》挑選18篇具身智慧研究論文,聚焦人形機器人控制、擴散模型全身控制、跨本體動態規劃等領域的突破性進展。 - 選稿流程:共爬取 1,206 篇論文 → 966 篇候選 → 250 篇評估 → 18 篇高相關精選。
summary_zh: 每日論文雷達於 2026‑10‑30 精選 18 篇具身智慧領域的代表性研究,涵蓋從手術機器人零樣本 Sim‑to‑Real 轉移到空中抓取器、柔性夾爪、動態抓取、全身控制與多模態感知等技術突破。
Hy-Nomas 是騰訊混元釋出的開源影片世界模型技術報告與基準,提供可復現的實驗平臺。 - 技術報告 已在 arXiv 釋出,詳細闡述模型架構與評估方法。
GHARP 是一種從少量輸入影像與表情訊號即時生成 3D 頭部動畫的方法。 - 兩階段設計:離線身份建模與線上動畫推理,實現高品質與低延遲。 - 高斯表示:將多視角輸入壓縮為固定大小的高斯表示,降低計算量。
summary_zh: 本日從 Hugging Face 與 arXiv 蒐集 1,469 篇跨領域論文,經篩選後挑出 60 篇具身智慧(Embodied Intelligence)研究。
summary_zh: - HyperDrone:一款專為四旋翼模擬而設的高效能渲染器,速度比目前最先進的批次四旋翼模擬器快 20 倍以上。其核心光線追蹤引擎 HyperLux 完全在 GPU 上執行,支援 Nvidia OptiX、Vulkan、Apple Metal、WebGPU,可同時輸出 RGB、深度、語意/實例分割、表面法向量與光學流。
Google Research 發布的研究顯示,AI 能夠在低資源環境下利用「盲掃描」超音波準確估算孕周,並與專業超音波師的結果相媲美。 - 準確度:在兩個不同地區(美國芝加哥與肯亞奈洛比)的臨床試驗中,AI 模型的平均絕對誤差(MAE)分別為 4.10 天 和 4.27 天,與專業操作的 4.48 天 相近。
推薦理由:此研究證明 AI 能在低資源環境下以簡易掃描方式準確估算孕周,為全球產科篩檢覆蓋率提升提供可落地方案。
summary_zh: 本期《每日論文雷達》精選 18 篇具身智慧領域高價值研究,其中「Ropedia W0」突破跨本體動態操作,並「四足機器人解巨型魔方」展示足部操作新境界。
summary_zh: MIT 研究人員開發出一個多模態 AI 模型,結合 3D 原子結構與自然語言描述,能為材料科學提供更準確的材料設計。 - 模型特點:使用對比學習將結構與文字對齊,學習到幾何表示,超越僅以文字訓練的模型。