跳到正文

多模態

文本之外的能力:視覺理解、圖文混合、音影片輸入輸出的模型與產品進展。

最新精選

第 21–40 條 · 共 241 條
11月20日週五
  1. AWS Machine Learning Blog66

    Amazon Polly 開放語音複製,幾分鐘錄音就能建立品牌聲音

    客服、教材或廣告常需要同一種聲音,改稿時若要重新錄音也很花時間。Amazon Polly 現在提供語音複製功能,取得說話者同意後,使用 1 到 10 段錄音就能建立克隆語音,通常需要 5 到 10 分鐘,之後可用來朗讀新文字。功能支援英文、西班牙文、德文、法文、義大利文、葡萄牙文和印地語,每個聲音只會說錄音使用的語言。語音會加密並限制帳戶存取,合成音訊也會加上浮水印;建立語音免費,使用時按量收費。目前須先取得帳戶使用許可權。

    推薦理由:Amazon Polly 可用幾分鐘錄音建立指定語言的克隆語音,並透過 API 用於客服、教材與遊戲等情境;文章也交代同意確認、許可權控管和刪除方式。

  2. Together AI70

    Together AI 宣佈 Qwen4 Max 已可在平臺上使用,並提供 30% 折扣。這款模型是 Alibaba 的旗艦 Qwen 模型,採用 MoE 架構,總引數量為 2.4T、活躍引數量為 71B;原文表示它適合長時間執行的 AI 助理工作、程式開發和視覺任務,並有 1m 上下文視窗。

    推薦理由:Qwen4 Max 在 Together AI 上提供 30% 折扣,原文也列出活躍引數量與上下文視窗,可瞭解這次上架的價格優惠和模型規格。

  3. NVIDIA Blog71

    NVIDIA 與 Microsoft 擴大 AI 運算,從 Azure 延伸到 Windows 電腦

    企業想把 AI 用在工作上,得先決定模型要放在哪裡、如何配合自家資料。NVIDIA 和 Microsoft 擴大合作,讓企業能在 Azure 使用 NVIDIA Vera Rubin NVL72 系統,也能透過 Microsoft Foundry 調整 NVIDIA Nemotron 開放模型,再部署到雲端或企業自己的裝置。EY 用這種方式調整模型來分類採購紀錄,在自己的評估資料上準確率提高 55%,成本比專有前沿模型低 15 倍。合作也把 AI 部署選項延伸到 Azure Local、工業用邊緣裝置和 Windows 電腦,讓企業能依資料位置與工作需求選擇執行方式。

    推薦理由:NVIDIA 與 Microsoft 把雲端、企業內部和個人電腦的 AI 部署選項串在一起,也展示企業如何用自家資料調整開放模型。

  4. aihot83

    Google 在 Gemini API 推出 Genie 4 即時互動世界生成模型

    Google 在 Gemini API 上推出 Genie 4,能依文字、16:9 參考圖,或兩者一起生成可即時操控的虛擬世界。畫面以 24 fps、16:9 影片串流輸出,並同步提供 48 kHz 立體聲;使用者可透過 WASD、方向鍵或對話中的文字事件控制世界。服務透過 WebRTC 和 WebSockets 傳送,付費方案每 100 萬輸入 token 收費 $1.50、每 100 萬文字輸出 token 收費 $9.00、每 100 萬影片輸出 token 收費 $17.50,影片價格約為每秒 $0.10,含立體聲。

    推薦理由:更新日誌列出 Genie 4 的輸入方式、即時操控介面與各類輸出價格,可用來估算接入互動式世界生成的成本。

  5. aihot76

    Google 在 Gemini API 和 AI Studio 推出 Genie 4 即時世界模型

    想做能即時互動的虛擬世界,開發者需要能生成畫面並接收操作的工具。Google 在 Gemini API 和 AI Studio 推出 Genie 4,可從文字或圖片生成 720p、每秒 24 格的世界,再用 WASD、提示詞和 48 kHz 立體聲即時操控。串流可透過 WebRTC 或 WebSocket 進行,相關檔案列在 Gemini API 檔案頁面。

    推薦理由:Genie 4 提供畫面規格與兩種串流接法,方便開發者評估如何把即時互動世界接進自己的應用。

  6. Philipp Schmid81

    想從文字或圖片做出能即時操控的影片場景,Genie 4 現在可透過 Gemini API 和 AI Studio 使用。它能建立 720p、24fps 的世界,使用者可以用 WASD 按鍵和提示詞即時操控,並搭配 48 kHz 立體聲音訊。內容可透過 WebRTC 或 WebSocket 串流;WebRTC 使用瀏覽器和臨時權杖。

    推薦理由:Genie 4 可用文字或圖片建立可即時操控的 720p 世界,並透過 Gemini API 或 AI Studio 使用,呈現了互動式影片生成的操作方式。

11月19日週四
  1. Unsloth AI Releases64

    Unsloth 更新 AMD NPU 支援,並加入影像與影片 LoRA 訓練

    在本機訓練和執行 AI 模型時,硬體支援、模型格式和等待時間常讓人卡關。Unsloth 這次更新讓轉換後的 Q4NX 模型能在 AMD NPU 上載入,也會標示每個模型能不能執行;此外,使用者可以訓練 LTX-2.5 和 MOSS-Image 的 LoRA,並在影片頁面載入 NVIDIA Cosmos3 的 FP8 模型。更新也加入聊天排程,讓排程任務的回覆直接出現在原本的聊天室。部分影像與訓練工作在特定硬體上每步最多快 42%,實際速度會依顯示卡和設定而異。

    推薦理由:這次更新把 AMD NPU、影像與影片模型訓練,以及聊天排程整合進 Unsloth,呈現本機 AI 工作流程涵蓋的範圍。

  2. The Decoder84

    Google DeepMind 推出 Gemini 4 Neon,速度更快、定價更低

    Google DeepMind 推出 Gemini 4 Neon,作為 Gemini 4 Carbon 之外的新選擇。Neon 的文字、圖片、音訊和影片上下文視窗可容納一百萬個 token,生成速度接近 Carbon 的兩倍,標準定價也低 25%。不過,Neon 每項任務會多用約 15% 的輸出 token,因此省下的費用來自每 token 單價較低。報導也整理了它在程式開發、檔案和簡報測試中的表現;不同測試與推理設定下的結果並不相同。

    推薦理由:Neon 與 Carbon 的比較涵蓋速度、價格和多項測試,也指出省錢來自較低的每 token 定價,而非較少的輸出 token。

  3. ModelScope66

    AI 助理要長時間操作終端機完成工作,往往得面對複雜的程式開發與研究任務。RadixArk 以 Qwen3.8-27B 為基礎,用 1,200 項軟體工程、科學和機器學習任務進行強化學習後訓練。DaisyRose-27B 在 Terminal-Bench 4.1 的 Pass@1 從 5.6 提高到 12.0,也在其他終端機、程式開發、指令遵循和推理評測中優於基礎模型。它保留圖片理解能力與 256K-token 上下文視窗,並提供 BF16、FP8 和 NVFP4 三種權重版本。

    推薦理由:DaisyRose-27B 在多項終端機與程式開發評測中優於基礎模型,呈現強化學習後訓練對長時間任務的影響。

  4. Vercel Blog72

    Google 推出 Gemini 4 Neon,並開放在 Vercel AI Gateway 使用

    寫程式或處理多步驟工作時,模型要回得快,也得能看懂不同種類的資料。Vercel 宣佈 Gemini 4 Neon 已可透過 AI Gateway 使用;官方說它比先前較輕量的 Gemini 4 升級,回應更快,輸出品質接近 Google 較大型的 Gemini 4 模型。它能讀取文字、圖片、影片和檔案,並支援工具呼叫、結構化輸出、Google 搜尋與 Google 地圖資料,以及四種推理等級。

    推薦理由:Gemini 4 Neon 主打較快回應與接近大型 Gemini 4 模型的輸出品質,也支援多種輸入和工具呼叫,適合瞭解它能處理哪些工作。

  5. Artificial Analysis70

    挑 AI 模型時,分數、花費和完成工作所需的時間常要一起考量。Artificial Analysis 測試 Google 的 Gemini 4 Neon,發現它在 Intelligence Index 得 61 分,比 Gemini 4 Carbon 高 1 分;每項任務花費 $6.44,約低 17%,平均約 21 分鐘,比 Carbon 的約 36 分鐘快。報告也指出,Neon 每項任務用的輸出 token 更多,較低花費來自 token 價格較低,較快則和輸出速度較高有關。用 Antigravity CLI 測試寫程式的 AI 助理時,Neon 的分數也高於 Carbon,成本低於報告列出的 Claude Opus 5.5 和 Claude Fable 5.2。

    推薦理由:這份評測比較 Gemini 4 Neon 與 Carbon 的任務成本和完成時間,也拆出價格與輸出速度對差異的影響,方便衡量效能和花費。

  6. The Decoder81

    Google 發布 Gemini 4 Neon,輸入每百萬 tokens 收費 $3

    Google 發布 Gemini 4 Neon,主打處理複雜軟體工程、知識工作與科學流程。它可讀文字、圖片、影片、音訊和 PDF,支援電腦操作、執行程式碼、搜尋檔案,以及透過 Google Search 和 Maps 查詢資料;不支援生成圖片或音訊。Neon 的上下文視窗約有一百萬 tokens,最多可輸出一百萬 tokens。API 每百萬輸入 tokens 收費 $3,每百萬輸出 tokens 收費 $15;價格高於 Hydrogen,也高於 Carbon 和 Argon 的目前優惠價。文章指出,Neon 是 Google 一個月內推出的第四款 Gemini 4 模型,跑分預計稍後公佈。

    推薦理由:Neon 的價格高於 Hydrogen,也高於 Carbon 與 Argon 的目前優惠價;文中列出的輸入、輸出價格差異,能幫助比較使用成本。

  7. The Decoder76

    Google DeepMind 更新 Project Genie,推出 Genie 4 和作品交流功能

    想打造互動 3D 世界,除了生成畫面,也得能隨時改變場景並分享作品。Google DeepMind 更新 Project Genie,推出 Genie 4,讓使用者用文字即時改變天氣、角色或故事情節,並依場景產生即時音效。Genie 3 也新增最長三分鐘的使用時間、360 度全景和可串接的世界;AI 助理能依口述描述協助建構世界,社群展示區則讓大家分享和改編作品。所有生成內容都會加上 SynthID 浮水印並經過安全檢查;Google AI Ultra 訂閱者可使用,Google AI Pro 會員可加入候補名單。

    推薦理由:Project Genie 更新把即時改寫世界、場景音效和作品分享放進同一套工具,呈現互動 3D 世界從生成到交流的使用方式。

  8. aihot70

    Google DeepMind 把 Genie 4 加進 Project Genie,支援編輯虛擬世界

    用文字建立的虛擬世界,有時需要邊玩邊修改,也希望能搭配聲音互動。Google 宣佈 Genie 4 已在 Project Genie 上線,使用者可以在遊玩途中輸入文字來改變環境,並使用即時音訊和對話。Project Genie 也新增用對話共同創作世界的 AI 助理、自訂配樂和社群作品畫廊,讓人探索或改編其他創作者的世界。Genie 3 則新增最長 3 分鐘的遊玩時間、串連世界的功能,以及 360 度全景定位。

    推薦理由:公告列出 Genie 4 的環境編輯、即時音訊與對話功能,也說明 Genie 3 的時長和全景更新,呈現 Project Genie 這次改版的範圍。

  9. Google DeepMind69

    Google DeepMind 開放 Genie 4,讓使用者邊探索邊修改虛擬世界

    探索互動世界時,使用者可能想改變場景,卻得重新開始。Google DeepMind 開放 Genie 4,讓符合資格的 Google AI Ultra 訂閱者在 Project Genie 中一邊移動,一邊用提示詞即時改變天氣、加入角色或調整情節;場景也會搭配隨畫面變化的音訊。Project Genie 還加入 AI 助理協助打造世界,並提供可探索和改編的社群作品。Genie 3 也能延長單次探索時間,或把多個世界接起來;Google 表示,生成的影片和音訊會加入 SynthID 浮水印,輸入與輸出也會經過安全檢查。

    推薦理由:Genie 4 可在探索途中依提示即時改變場景,並加入會隨畫面變化的音訊,呈現互動世界模型的創作方式。

  10. Google73

    想探索虛擬世界時,能不能一邊進行、一邊改變環境,也和世界互動?Google 表示,Genie 4 已在 Project Genie 推出,使用者可以在體驗途中輸入文字修改環境,並搭配即時音訊與對話。Project Genie 也能用對話一起創作世界,加入自訂配樂和 Gemini 即時引導;社群畫廊則可瀏覽、探索和改編其他創作者的世界。此外,Genie 3 的體驗時間延長至 3 分鐘,並加入世界串接和 360 度全景定位。

    推薦理由:Genie 4 可在使用途中用文字修改環境,並加入即時音訊與對話,讓人瞭解互動式世界模型新增了哪些創作方式。

  11. Google AI82

    創作互動世界時,調整畫面、角色和情節可能需要反覆操作。Google 推出全新 Project Genie,使用者可以即時改變天氣、加入角色或改變情節,也能透過對話建立世界;其中的 AI 助理會協調多模態模型製作畫面與氣氛,Gemini 則提供符合當下情境的建議。新版也加入作品展示與分享區,並帶來 Genie 3 的更新,包括延長至 3 分鐘的體驗時間、串接不同世界,以及用 360 度全景圖片作為參考。目前符合資格的 Google AI Ultra 訂閱者可以使用,Google AI Pro 使用者可加入候補名單。

    推薦理由:Project Genie 把即時改動世界、對話式創作與作品分享放進同一套體驗,呈現從生成到交流的完整流程。

  12. Google AI Official Blog78

    Gemini app 登上低記憶體 Android 手機,帶來語音、相機與圖片功能

    記憶體較少的 Android 手機,過去受硬體限制,多半隻能使用基本語音指令。Google 重新設計 Gemini app,讓它能在符合條件的 Android Go 裝置上順暢運作。使用者可以用 45 種以上語言和 Gemini Live 對話、練習面試,也能用相機拍下筆記或表格來學習和翻譯,或用 Nano Banana 製作圖片。這讓更多人能在日常手機上使用 Gemini;部分合作夥伴的未來新機也會預先安裝這款 app。

    推薦理由:低記憶體手機過去多隻能使用基本語音指令,這次更新把 Gemini 帶到 Android Go 裝置,讓更多人能用語音、相機和圖片生成功能。

  13. aihot73

    騰訊混元將舉辦 AMA,聊 Hy4 系列模型怎麼打造

    想了解 Hy4 系列模型怎麼打造,可以直接向研發團隊提問。騰訊混元宣佈,將在本週五 11 月 20 日於 Reddit 的 r/LocalLLaMA 舉辦 AMA,團隊成員和 Shunyu Yao 會一起談 Hy4 與 Hy4 flash。貼文也提到,Hy4 flash 已開放權重,包含 Hy4 flash-FP8 和 Hy4 flash-Base,並列出 224B 引數、12B 啟用引數、1M 上下文和原生多模態等資訊;Hy4 則預告之後推出。

    推薦理由:這場 AMA 讓讀者能直接向混元研發團隊提問,瞭解 Hy4 系列的設計思路與後續發布安排。

  14. Hacker News (official RSS)89

    Microsoft 發布 7 款 MAI 模型,主打企業工作所需的效能與價格

    企業想讓 AI 助理長時間處理工作,模型費用也會跟著增加。Microsoft 這次發布 7 款 MAI 模型,涵蓋資安、寫程式、圖片編修、語音、轉錄與模型挑選,並公佈多項效能和價格比較。例如 MAI Code 2 在日常企業程式工作測試中,達到 GPT-6.1 Sol 98% 的表現,價格約為 40%;Microsoft 也說明它還沒針對科學研究和需要長時間工作的任務調校。另有 MAI Licensed Weights,讓企業用自己的資料調整模型,並在自己的 Azure 環境中執行。

    推薦理由:這次發布把多種模型的表現與價格放在一起比較,也說明 Code 2 尚未針對科學研究和長時間 AI 助理工作調校。