跳到正文

#多模態

RSS
今日 0 則
11月21日週六
  1. Dev.to Top Tech54

    研究:VLM 微調中的隱藏偏好會傳到學生模型

    視覺語言模型可能在看似無關的任務中,表現出訓練資料偷偷帶入的偏好。這項研究先用藏有動物偏好的資料微調教師模型,再把教師模型產生的內容用來訓練學生模型;結果,學生模型在選擇偏好動物時,比對照組更常選中目標。在一項幾何圖形測試中,對照組選中的比例是 30.50%,偏好組則是 40.42%。研究顯示,這種偏好可能跟著蒸餾傳下去,但影響幅度會隨資料量、偏好目標、模型和資料產生方式而變化。

  2. NVIDIA AI48

    移開視線再回來,眼前仍是同一個場景。對互動式影片世界模型來說,維持這種一致性是一大挑戰。 NVIDIA Research 的 WorldTrace 協助模型記住地點,無須重新訓練,讓使用者探索時的空間更加一致。在場景回憶基準 LoopBench 上,與標準滑動視窗方法相比,它讓重訪場景的回憶率提升 32%。 閱讀我們的 #NeurIPS2026 論文 ➡️ https://t.co/KH88xnqwk1

11月19日週四
  1. Lobste.rs (Engineering Discussion)59

    Contra Labs 與 BenchFlow 用真實設計委託比較 AI 模型

    AI 做出的設計好不好,光看模型分數不容易判斷。Contra Labs 與 BenchFlow 推出 Frontier Design Benchmark,找設計師用真實客戶委託比較不同模型的作品,評審不知道作品由哪個模型產生,也可以判定平手。網站列出 33 份設計委託、68 位專業設計師和 4,311 次盲測投票,另用設計評分規準和 AI 常見粗糙設計模式補充比較。這讓讀者能同時檢視盲測結果與作品評分依據。

  2. Dev.to Top Tech47

    PhysLoop 用 LLM 修正影片動作,讓物理表現更合理

    AI 生成的影片常會出現不合常理的動作,過去想改善,可能得花很多力氣微調模型。PhysLoop 在影片生成後,讓 LLM 找出不合理的動作,再請模型重做有問題的片段,不必重新訓練影片模型。在 PhysLoop-Gen 測試中,PhysLoop 的任務成功率是 85%,Seedance 2.5 是 73%;修復有問題片段時,成功率則是 86.00%,最佳單獨基準只有 19.33%。不過,修正後的影片雖然動作更合理,畫面真實感分數仍低於 Seedance 2.5,也可能出現細微的材質瑕疵。

11月18日週三
  1. Dev.to Top Tech37

    SWE-CoWork 揭露 AI 助理難以完成整套公司軟體工作

    AI 助理會改程式,不代表能在公司裡獨立完成工作:它還得找出散落在檔案和聊天紀錄中的需求、和同事溝通,再確認成果真的能用。SWE-CoWork 讓 11 個模型處理真實專案中的工作,表現最好的 Claude-Opus-5.5 和 GPT-6 Astra 雖然通過約 63% 的測試,完整完成的工作卻不到 8%;而且最後回報已完成的需求中,仍有 31% 沒通過實際測試。這顯示 AI 助理目前比較會照著明確指示改程式,還不太會一路追蹤需求、合作並確認交付成果。

  2. Dev.to Top Tech39

    四篇 AI 研究改善圖片推理、語音合成與模型運算速度

    AI 看圖推理時可能會忘記圖片裡的細節;合成語音也得花不少力氣,反覆運算的模型則可能回答得很慢。四篇新研究分別提出保留圖片線索的方法 RAPO、不用語音編碼器的 VoxMel、加快反覆運算模型解碼的 LoopFill,以及用來測試圖片物理推理能力的 DominoBench。 例如,DominoBench 用 854 個場景測試模型能不能從靜態圖片推測一連串物體碰撞;模型只看圖片時,最多隻有 72% 答對關鍵人物的結果。研究顯示,把決定答案的計算步驟和數字直接告訴模型後,答對率可提高到 82–92%。這些研究提醒我們,模型說得流暢,不代表它看得懂圖片裡的細節,也不代表它會算出正確結果。

11月17日週二
11月16日週一
  1. Dev.to Top Tech53

    Brain-IT 如何從 fMRI 重建影像,又有哪些做不到

    AI 能不能讀懂人的心思?Brain-IT 研究的是更有限的問題:在受控實驗中,能否從人觀看影像時記錄的 fMRI 資料,重建出類似的畫面。模型會把腦部掃描資料轉成場景佈局和內容線索,再用生成模型重建影像。文中的棒球例子保留了相似的人物和球場,但紅色衣服變成紫色,表示重建只能找回部分資訊,並非完整記錄人的視覺經驗;這項實驗也沒有測試秘密、記憶或夢境。

  2. Dev.to Top Tech35

    2026 年 11 月 14 日 AI/ML 研究整理:物理規律、模型訓練效率與 AI 助理可靠度

    AI 生成的影片可能出現不合常理的動作,機器人也需要更可靠的控制;大型模型的訓練和運作還會受到時間與記憶體限制。這批研究提出不同做法:讓 LLM 檢查並修改自己生成的影片,減少不合理動作;簡化 MoE 的運作方式,縮短訓練時間;也測試 AI 助理拿到不可靠資料時,會不會太有自信。另一項 3D 研究把 LiDAR、空間格子和幾何資料放進同一個表示方式,能用一次運算生成 3D 場景和動作。研究顯示,讓模型更懂物理、減少不必要的運算,並留意 AI 助理能記住多少資訊,都可能讓生成結果更順、訓練更省力、推理更可靠。

  3. Dev.to Top Tech38

    EDGAR 與 SphereFlow 用新的擴散方法改善影像生成與缺資料問題

    修復模糊的 3D 虛擬人物,或用已有的醫療掃描資料補出缺少的影像資料,常得經過很多輪計算,既耗時也可能不穩定。EDGAR 把修復步驟縮成一次擴散處理,再用修好的畫面更新虛擬人物模型;每個模型平均多花 5.04 到 16.60 分鐘。SphereFlow 則把不同型別的醫療影像放到共同的空間,讓系統依照已有資料補上缺少的部分,在腦瘤分割測試中補回約八成與資料完整時的效果。這些方法能減少反覆計算,但 EDGAR 難以修復嚴重變形或大範圍遮蔽的畫面,SphereFlow 遇到差異太大的影像型別也可能表現較弱。

11月13日週五
11月12日週四
  1. NVIDIA AI69

    Déjà View 能將不同角度拍攝的照片轉換為 3D 幾何與相機位置。 模型與基準:這個 117M 引數的模型透過重複執行單一 Transformer 區塊,在五項基準上比肩或超越大上至 10 倍的模型,使用相當或更少的運算量。 運算彈性:研究者可調整迴圈次數,以配合運算預算。 論文與程式碼:NeurIPS 2026 口頭論文,程式碼連結:https://t.co/4jiCRA71Oo

    推薦理由:Déjà View 以 117M 引數在五項基準上比肩或超越大上至 10 倍的模型,並可調整迴圈次數以配合運算預算,呈現模型規模與計算量的取捨。

11月11日週三
11月10日週二
  1. Hacker News (official RSS)69

    密西根大學研究發現,AI 用非英語回答可能更耗能、也較不準

    AI 用不同語言回答同一類問題時,耗用的能源和答案準確度可能有明顯差距。密西根大學研究團隊測試三種開源模型,發現生成非英語文字最多可能比英文多用 180 倍能源;印度語和孟加拉語分別約多用 7.9 倍和 15.3 倍。研究者指出,部分文字需要更多 token,會增加運算負擔;耗能較高的語言,模型回答也往往較不準。團隊建議為不同語言調整模型,或先把問題翻譯成英文再交給通用模型,但前提是翻譯可靠。

11月8日週日
11月7日週六
  1. NVIDIA AI76

    NVIDIA 研究人員以 Lyra 2.0 結合影片生成與 3D 重建,從單張影像建立可沿選定相機路徑探索的環境。 場景一致性:Lyra 參考先前視角並修正累積的視覺誤差,讓使用者探索並返回熟悉地點時,世界維持一致。 相關資源:論文、程式碼與示範:https://t.co/NbtE0I9SVc

    推薦理由:Lyra 2.0 結合影片生成與 3D 重建,並利用先前視角修正累積的視覺誤差,呈現其維持可探索場景一致性的設計。

11月6日週五
  1. Google Research75

    Google 研發 AI-PPG-ACC-HTN 手錶高血壓偵測系統

    AI-PPG-ACC-HTN 是 Google 研發的一套可於消費者智慧手錶上偵測高血壓的多模態 AI 系統,透過 PPG 與 ACC 兩種感測器,無需袖帶校正即可達到與傳統血壓測量相近的準確度。

    推薦理由:此研究展示了利用手錶感測器偵測高血壓的可行性,並在臨床測試中達到與傳統袖帶相近的準確度,為全球健康監測提供新方法。

11月5日週四
  1. solidot72

    研究指出 Google 與 OpenAI 模型對特定英語口音有偏見

    研究人員測試多種多模態模型評估不同口音英語語音的表現,發現模型對中國與奈及利亞口音的評分最低,對美國與英國口音的評分最高。 - 測試模型:Gemini 2.5 Pro、Gemini 2.5 Flash、GPT-Audio 1.5,以及開放權重模型 Qwen 3 Omni。

    推薦理由:研究比較多種模型對五種英語口音的評分與解釋,呈現口音偏見如何影響面試、報告及口語能力評估。

11月4日週三
11月2日週一
10月30日週五
10月26日週一
10月23日週五
10月22日週四
  1. Google Research77

    AI輔助超音波為前線產科護理賦能

    Google Research 發布的研究顯示,AI 能夠在低資源環境下利用「盲掃描」超音波準確估算孕周,並與專業超音波師的結果相媲美。 - 準確度:在兩個不同地區(美國芝加哥與肯亞奈洛比)的臨床試驗中,AI 模型的平均絕對誤差(MAE)分別為 4.10 天 和 4.27 天,與專業操作的 4.48 天 相近。

    推薦理由:此研究證明 AI 能在低資源環境下以簡易掃描方式準確估算孕周,為全球產科篩檢覆蓋率提升提供可落地方案。

10月20日週二
10月18日週日