跳到正文

#多模態

RSS
今日 4 則
5月14日週四
  1. Together AI Official Blog79

    Violin:開源影片翻譯工具突破語言障礙

    Violin 是一款完全開源的影片翻譯工具,透過 Together API 整合 Whisper V3、DeepSeek V4 Pro 與 Cartesia 的 Sonic 3,完成從語音辨識、翻譯到語音合成的全流程。

    推薦理由:Violin 以開源方式提供多語言影片翻譯,並內建多模態對話助手,使用者可即時查詢影片內容並調整語音風格,讓全球觀眾可即時接觸內容。

5月1日週五
4月30日週四
4月28日週二
  1. Together AI Official Blog75

    Together AI 立即發布 NVIDIA Nemotron 3 Nano Omni 模型

    Together AI 於今日正式推出 NVIDIA Nemotron 3 Nano Omni 模型,並於同日即時提供開發者使用。 - 多模態推理:單一模型即可同時處理影像、影片、音訊與文字,支援 256K token 的共享上下文。

    推薦理由:本篇說明 NVIDIA Nemotron 3 Nano Omni 在 Together AI 上,與 Agent 效能,對落地 Agent 的開發者具參考價值。

4月8日週三
4月3日週五
  1. Google DeepMind69

    Gemma 4 釋出:最強開源模型

    Google DeepMind 推出了 Gemma 4,四種尺寸(E2B、E4B、26B MoE、31B Dense)支援多模態、長上下文(128K–256K)和 140+ 語言,具備高階推理、函式呼叫和程式碼生成能力,並以 Apache 2.0 許可免費開放,適用於從移動端到雲端的多場景部署。

3月29日週日
3月25日週三
3月24日週二
  1. Mistral AI75

    Mistral AI 釋出 Voxtral TTS 語音生成模型

    Mistral AI 釋出 4B 引數量的語音生成模型 Voxtral TTS,支援 9 種語言的高質量語音合成與低延遲流式傳輸。該模型具備上下文理解、說話人建模及零樣本跨語言語音適應能力,已通過 API、Mistral Studio 和 Hugging Face 開放。

    推薦理由:原文公佈了架構細節和零樣本跨語言能力,讀者可以據此評估它在即時語音工作流中的表現。

3月18日週三
  1. Together AI Official Blog73

    Together AI 擴充微調服務,新增工具呼叫、推理與視覺支援

    Together AI 推出新版微調服務,新增工具呼叫、推理與視覺語言模型支援,並提升至 100B+ 引數模型的高效微調。 - 工具呼叫:提供結構化驗證、全流程支援,適用 Qwen、Moonshot AI、Z.AI。

    推薦理由:此更新提升工具呼叫、推理與視覺功能,讓團隊可每日迭代、成本降低 2–3 倍、準確率提升至 87%,並支援 100B+ 引數模型與 100GB 資料集的高效微調,並提供預估成本與 ETA 以利實驗規劃,並可在多模態任務中使用 Vision‑Language 模型微調。

3月17日週二
  1. Mistral AI84

    釋出 Mistral Small 4

    Mistral AI 釋出了 Mistral Small 4,這是一款統一推理、多模態與編碼功能的模型,採用 119B 引數、256k 上下文視窗,支援可配置推理強度,提供 40% 的延遲降低和 3 倍的吞吐量提升。該模型採用 Apache 2.0 許可,支援 vLLM、llama.cpp、SGLang 等開源框架,並已加入 NVIDIA Nemotron 聯盟。

    推薦理由:Mistral Small 4 將推理、多模態與編碼功能統一,提供可配置推理強度和高效推理,幫助使用者在單一模型中完成多種任務。

3月12日週四
3月5日週四
  1. Hugging Face Diffusers Releases81

    Diffusers 0.37.0 推出模組化管線與多款影像/影片模型

    Diffusers 0.37.0 透過模組化管線與多款新影像/影片模型,為開發者提供更靈活的創作與部署方案。 - 模組化管線:可組合可重用的區塊,省去從零開始編寫管線的時間。

    推薦理由:Diffusers 0.37.0 透過模組化管線與多種新影像/影片模型,為開發者提供更靈活的創作與部署方案。

12月9日週二
  1. Hugging Face Diffusers Releases87

    Diffusers 0.36.0 發布多種新影像與影片管線、快取與訓練指令碼

    Diffusers 0.36.0 於 2025 年 12 月 9 日發布,內含 Flux2、Z‑Image、SAGE 等多個新影像與影片生成管線,以及 Flash Attention 3 等高效後端。

    推薦理由:Diffusers 0.36.0 透過 Flux2、Z‑Image、SAGE 等新管線及 Flash Attention 3,為影像與影片生成提供更高效、可擴充的工具,開發者可直接整合進工作流程。

12月3日週三
  1. Mistral AI83

    Mistral AI 釋出 Mistral 3 模型系列

    Mistral AI 釋出新一代 Mistral 3 模型系列,包含 14B、8B 和 3B 的 Ministral 3 端側稠密模型,以及採用稀疏 MoE 架構、啟用引數 41B 總引數 675B 的旗艦模型 Mistral Large 3。所有模型均採用 Apache 2.0 許可證開源,支援多模態與多語言能力,推理版本也將很快推出。

    推薦理由:原文釋出了包含稠密小模型與 MoE 旗艦大模型的全新模型系列,並全部採用 Apache 2.0 許可證開源,開發者和企業可直接藉此在多端與雲端部署前沿智慧能力。

8月1日週五
7月17日週四
  1. Mistral AI63

    Mistral AI 為 Le Chat 推出深度研究、語音模式、Magistral 思考模式與專案管理等新功能

    Mistral AI 為旗下 Le Chat 推出了一系列新功能,包括支援快速生成結構化報告的 Deep Research 預覽模式、基於 Voxtral 模型的語音模式、由 Magistral 驅動的的多語言思考模式、用於組織對話的 Projects 功能,以及與 Black Forest Labs 合作推出的高階影像編輯功能。使用者現可通過網頁端或移動端應用體驗上述功能。

7月15日週二
  1. Mistral AI86

    Mistral AI 釋出開源語音理解模型 Voxtral

    Mistral AI 釋出了開源語音理解模型 Voxtral,包含面向生產的 24B 規格與面向端側的 3B 規格,均採用 Apache 2.0 協議開源。該系列模型支援 32k 上下文、長達 30 至 40 分鐘的音訊處理、內建問答與摘要、多語言處理及函式呼叫功能,並在多項語音轉寫和理解基準測試中表現優異。

    推薦理由:該模型提供了兩種尺寸並開源,讀者可以根據自身算力條件選擇合適的版本進行本地部署或呼叫 API。

6月10日週二
5月15日週四
  1. Ollama Blog72

    Ollama 推出多模態模型新引擎

    Ollama 推出多模態模型新引擎,首次支援 Meta Llama 4、Google Gemma 3、Qwen 2.5 VL、Mistral Small 3.1 等視覺模型,並可在本地即時處理影像與文字互動。

    推薦理由:Ollama推出的新多模態引擎與多款視覺模型支援,讓使用者能即時測試影像與文字互動,對於需要本地多模態推理的開發者提供可直接落地的解決方案。

5月7日週三
  1. Mistral AI86

    Mistral AI 釋出 Mistral Medium 3 模型

    Mistral AI 宣佈推出 Mistral Medium 3 模型,在編碼和多模態理解等專業用例中具備前沿級效能,同時顯著降低了成本。該模型支援混合部署或本地部署、自定義後訓練及企業工具整合,API 定價為每百萬 token 輸入 0.4 美元、輸出 2 美元,現已在 Mistral La Plateforme 和 Amazon Sagemaker 等平臺上線。

    推薦理由:官方公佈了該新模型的具體基準表現和定價,讀者可以據此評估其在企業級應用中的價效比。

3月17日週一
3月7日週五
  1. Mistral AI85

    Mistral AI 釋出 Mistral OCR 文件理解模型與 API

    Mistral AI 推出 Mistral OCR 光學字元識別 API,能夠高精度解析複雜文件中的文本、影像、表格和數學公式。該模型原生支援多語言與多模態,已在 Le Chat 中作為預設文件理解模型上線,並在 la Plateforme 提供 API,定價為每美元 1000 頁。

    推薦理由:該模型在多項複雜文件基準測試中表現突出,為文件理解與檢索增強生成系統提供了新的高精度處理方案。

9月25日週三
  1. Ollama Blog66

    Meta Llama 3.2 釋出小型多模態版本

    Meta Llama 3.2 現已透過 Ollama 可本地執行,提供 1B、3B、11B、90B 四個版本。 - 1B、3B:純文字模型,專為手機或邊緣裝置最佳化,可即時處理訊息或行事曆摘要,並保留隱私。 - 11B、90B:視覺模型,支援檔案、圖表、圖片說明等影像推論。 - 所有模型皆為開源,使用者可自行下載 Ollama 並直接執行。

2月14日週三
8月16日週三
8月1日週二
6月10日週五
7月11日週日
5月31日週一