跳到正文
MIT News · AI(news.mit.edu)· Lauren Hinkel | MIT-IBM Computing Research Lab·· 2 天前品質評分42

MIT-IBM 研究團隊如何讓多模態 AI 更懂聲音、影像和語言

Q&A: Enabling more human-like interactions and understanding in multimodal foundation models

重點導讀

人聽到鳥叫、看到畫面時,常能把聲音、影像和語言連在一起;多模態 AI 看起來也會,但有時其實沒聽懂,只是在猜答案。

  • MIT-IBM 研究團隊用少量標註資料訓練模型,並設計測試方法找出這些問題。
  • 例如,選擇題問音訊裡是哪種動物在吼,有些模型就算只聽到隨機雜音也答得不錯,表示它可能只看選項猜,沒有仔細聽。
  • 團隊正設法讓模型更注意聲音,也研究讓 AI 助理能一邊聽、一邊說話,讓對話不必僵硬地輪流發言。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處news.mit.edu

Q&A: Enabling more human-like interactions and understanding in multimodal foundation models

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: MIT News · AI (news.mit.edu)
開啟原文

讀者討論

理性交流 · 即時討論