跳到正文

#多模態

RSS
今日 1 則
10月15日週四
  1. Hacker News (official RSS)57

    發布 Jev 1.14.0 及面向創意者的實驗功能

    Jev 1.14.0 正式發布,並加入多模態影像支援、長上下文與新型別等實驗功能。 - 多模態影像:現有 Jev 1.13 已具備影像支援,可在 JSON 介面任意位置插入影像。 - 長上下文:允許更長的上下文長度(超出生產環境限制),但仍屬於「危險區」。 - 新型別「box」:返回單一邊界框,為未來更複雜決策型別做預覽。

  2. LMSYS Org Blog51

    SGLang 加入 NVIDIA Nemotron 3.5 Super VL 的首日支援與部署教學

    多模態模型要投入工作流程,除了理解文字、圖片、檔案和影片,也需要能透過工具接續任務。這篇文章示範如何用 SGLang 部署 NVIDIA Nemotron 3.5 Super VL,並介紹它提供的連續批次處理、字首快取和推測解碼等服務功能。文中提到,模型在單張 RTX 6000 PRO 上搭配 MTP 達到 243.9 tok/s;其他比較資料則是作者依文中圖表所述。這份快速入門指南也列出啟動模型伺服器的指令,方便讀者開始部署。

  3. LMSYS Org Blog76

    SGLang 和 Miles 加入 Muse Spark Open 支援,並公佈多平臺效能測試

    大型多模態模型要在不同硬體上執行,常得處理長提示詞、圖片影片輸入和模型運算量大的問題。SGLang 和 Miles 加入 Muse Spark Open 支援,涵蓋推論、微調與多輪強化學習訓練;模型可讀取文字、圖片、影片和音訊,並支援 1M token 的上下文視窗。文章也列出 NVIDIA、AMD、Intel 和 TPU 平臺的支援進度,以及多組程式開發工作負載測試。在 8 張 B300 GPU 的 OpenHands 測試中,單一對話每位使用者每秒產生 543 個 token;128 個對話同時執行時,則為每位使用者每秒 61 個 token。這些數字來自特定硬體與測試設定,可用來瞭解不同工作量下的速度變化。

    推薦理由:文章整理 Muse Spark Open 在多種硬體上的支援方式與實測結果,並說明長提示詞和多輪程式開發工作如何影響推論速度。

10月14日週三
  1. Google DeepMind78

    Gemini 4 Argon:面向複雜任務的多模態推理模型發布

    Gemini 4 Argon 已正式發布,提供 1M token 限制的多模態推理能力,助力工程、金融、法律等領域解決複雜任務。 - 核心特性:多模態推理、深度編碼、長期推理 1M token,支援多步驟任務。

    推薦理由:Gemini 4 Argon 以多模態推理為核心,突破工程、金融、法律等領域複雜任務,並在多項基準上領先同類模型,為企業與研究者提供可落地的效能提升,並開放 API 供開發者快速整合,實現 1M token 限制,支援長期推理。

10月13日週二
  1. Unsloth AI Releases79

    Unsloth AI 推出瀏覽器使用、Qwen-Image-2.1-Turbo 影像生成與加速訓練功能

    Unsloth AI 推出可瀏覽、影像生成與加速訓練功能,讓本地模型即時查詢網頁並以 8 步完成影像創作。 - 瀏覽器使用:模型可在聊天框內開啟、閱讀、點選、輸入並滾動,支援本地模型與 API 提供者。

    推薦理由:Unsloth AI 推出可瀏覽、影像生成與加速訓練功能,讓本地模型即時查詢網頁並以 8 步完成影像創作,對開發者提升工作流程效率具有實際價值。

10月12日週一
10月11日週日
10月10日週六
  1. cloudflare blog78

    推出 Clef-omni 全多模態模型,並加速 Clef、降價 Clef-flash

    Clef-omni 以單一 API 支援音訊、影像、文字與圖片的多模態決策,首次公開於 Cloudflare。 - 多模態支援:音訊 (wav/mp3)、影片 (mp4/webm)、圖片、文字,一次呼叫即可。

    推薦理由:Clef-omni 以單一 API 支援音訊、影像與文字,多模態決策模型的首次公開,為開發者提供更快、更便宜的工作流程選擇。

10月9日週五
10月8日週四
  1. Hugging Face Blog78

    多模態開源 d1 決策模型專為邊緣裝置打造

    d1-3B 與 d1-omni-600M 為 Liquid AI 發布的兩款多模態決策模型,專為邊緣裝置設計。 - 決策指數:在 Decision Index 0.2.1 上 d1-3B 以 48.57 分領先 4B、9B 及 35B-A3B。

    推薦理由:此模型在 Decision Index 0.2.1 上以 48.57 分領先 4B、9B 及 35B-A3B,且在 Jetson AGX Thor 上 16ms 回應速度,適合邊緣決策應用。可快速部署於 Jetson 系列,提供 50ms 內回答,適合需要即時決策的場景。

10月7日週三
10月6日週二
  1. Mistral AI72

    推出 Mistral Large 4 模型

    Mistral Large 4 是一款 1 兆引數、49B 活躍引數的多模態模型,公開預覽已開放 API。 - 規模:1 兆引數,49B 活躍引數,跨領域效能領先。

    推薦理由:Mistral Large 4 擁有 1 兆引數及跨領域優勢,讀者可評估其在安全、工程與科學領域的實務應用。

  2. Hugging Face Diffusers Releases82

    Diffusers 0.41.0 推出 Qwen-Image 2.1 影像生成與編輯管線

    Diffusers 0.41.0 推出 Qwen-Image 2.1,整合影像生成與編輯功能,支援多參考影像與原生 RGBA 輸出。 - Qwen-Image 2.1:7B 引數模型,提供文字到影像、影像編輯、LoRA 訓練。

    推薦理由:Diffusers 0.41.0 以 Qwen-Image 2.1 為核心,提供統一的影像生成與編輯功能,開發者可直接整合至多模態工作流程。

10月5日週一