MIT-IBM 研究團隊如何讓多模態 AI 更懂聲音、影像和語言
Q&A: Enabling more human-like interactions and understanding in multimodal foundation models
重點導讀
人聽到鳥叫、看到畫面時,常能把聲音、影像和語言連在一起;多模態 AI 看起來也會,但有時其實沒聽懂,只是在猜答案。
- MIT-IBM 研究團隊用少量標註資料訓練模型,並設計測試方法找出這些問題。
- 例如,選擇題問音訊裡是哪種動物在吼,有些模型就算只聽到隨機雜音也答得不錯,表示它可能只看選項猜,沒有仔細聽。
- 團隊正設法讓模型更注意聲音,也研究讓 AI 助理能一邊聽、一邊說話,讓對話不必僵硬地輪流發言。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處news.mit.edu
Q&A: Enabling more human-like interactions and understanding in multimodal foundation models
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: MIT News · AI (news.mit.edu)
開啟原文