跳到正文

#多模態

RSS
今日 1 則
10月23日週五
  1. Hugging Face Blog80

    OlmoEarth v1.3 發布:全行星預計算衛星嵌入模型與瀏覽器探索器

    OlmoEarth v1.3 以全行星 10 公尺解析度衛星嵌入模型與瀏覽器探索器,正式發布。 - 全行星嵌入:已預計算 2017-2025 年的 10m 畫素嵌入,提供 64- 和 128 維版本,總計約 150 TB/年。

    推薦理由:提供全行星預計算嵌入與瀏覽器探索器,讓研究者可即時分析地表變化,省去 GPU 及微調成本。

10月22日週四
  1. NVIDIA Blog84

    NVIDIA Cosmos 開啟新工具,協助訓練、評估與部署世界模型

    NVIDIA Cosmos 於近日推出一系列新工具與藍圖,旨在加速世界模型的訓練、評估與部署。 - Cosmos Data Factory:提供多模態、跨感官資料標註、增強與評估的雲端原型,支援自動駕駛、工業檢測等多種場景。

    推薦理由:NVIDIA Cosmos 透過新工具與藍圖,讓企業可快速生成多模態訓練資料,並大幅縮短自動駕駛測試週期。

  2. Google Research77

    AI輔助超音波為前線產科護理賦能

    Google Research 發布的研究顯示,AI 能夠在低資源環境下利用「盲掃描」超音波準確估算孕周,並與專業超音波師的結果相媲美。 - 準確度:在兩個不同地區(美國芝加哥與肯亞奈洛比)的臨床試驗中,AI 模型的平均絕對誤差(MAE)分別為 4.10 天 和 4.27 天,與專業操作的 4.48 天 相近。

    推薦理由:此研究證明 AI 能在低資源環境下以簡易掃描方式準確估算孕周,為全球產科篩檢覆蓋率提升提供可落地方案。

10月21日週三
  1. Hugging Face Blog82

    Hugging Face 推出 TorchTPU:PyTorch 原生支援 TPU

    TorchTPU 讓 PyTorch 直接在 TPU 上執行,省去 torch_xla 與 JAX 的中介層。 - 核心功能:新增 TPU 作為 PyTorch 後端,支援 eager 與 torch.compile,提供 Pallas kernels、分散式訓練。

    推薦理由:TorchTPU 讓 PyTorch 直接在 TPU 上執行,省去 torch_xla 與 JAX 的中介層,提升開發效率與推理速度。

10月20日週二
  1. Hacker News (official RSS)85

    Mercury 3:擴散式 LLM 的規模化

    Mercury 3 是目前最強大的擴散式 LLM,速度可達 1,068 tokens/s,並支援 1M token 上下文。 - 效能對比:在多項基準上優於 GPT‑6 Luna 與 Claude Haiku 5.5。

    推薦理由:Mercury 3 以 diffusion 模型突破規模與速度,提供 1M 上下文及 1,068 tokens/s 的高效推論,對需要低延遲、長上下文的即時應用具備實際價值。

  2. AWS Machine Learning Blog79

    TwelveLabs Pegasus 1.5 現已於 Amazon Bedrock 上線

    Pegasus 1.5 現已在 Amazon Bedrock 上線,為長影片提供時間標記式結構化資料與多模態提示功能。 - 功能亮點:支援 2 小時長影片、即時處理,並可從 S3 直接讀取或以 base64 內嵌傳送。

    推薦理由:Pegasus 1.5 以時間標記與多模態提示提升影片分析效率,支援 2 小時長影片、即時處理,讀者可直接從 S3 讀取、支援 JSON 輸出,降低開發門檻,並可依此調整工作流程。

10月19日週一
10月18日週日
  1. vLLM Releases86

    vLLM v0.32.0 正式發布:多項推理最佳化與多模態功能升級

    vLLM v0.32.0 正式發布,包含 814 次提交與 363 位貢獻者的新功能。 - 新增 /v1/systemone 端點,可處理結構化決策與分數查詢,並支援 Cloudflare/clef-omni、LiquidAI/d1-3B、DiffusionGemma 等模型。

    推薦理由:vLLM v0.32.0 引入多項高效推理最佳化與多模態支援,使用者可直接提升模型部署效能與功能擴充。

10月16日週五
  1. Hugging Face Blog72

    Granite Switch 4.1:一端點整合聊天、決策與語音功能

    Granite Switch 4.1 透過整合決策、語音與聊天功能,提供單一端點多工能力。 - Granite‑Switch‑4.1‑8B / 30B:內建 Decision aLoRA、Guardian aLoRA 及 Granite‑Speech‑5.0‑Turbo‑CTC(OpenASR 榜首 ASR),可即時切換對話、決策與轉錄。

    推薦理由:Granite Switch 4.1 透過整合決策、語音與聊天功能,提供單一端點多工能力,讀者可評估其在實務流程中的效益。

  2. Hugging Face Transformers Releases92

    Transformers v5.20.0 釋出多模態模型與分散式加速功能

    Transformers 5.20.0 釋出,新增多模態模型並加強分散式推理與量化支援。 - Muse Spark Open:Meta 816B 引數,1,048,576 token 上下文,支援文字、影像、音訊、影片輸入,專為代理編碼任務設計,提供 BF16 / NVFP4 檢查點。

    推薦理由:新版本提供多模態模型與高效分散式支援,開發者可直接整合至現有工作流程,並享受改進的量化與推理加速。

  3. Hugging Face Blog82

    Meta 發布 Muse Spark Open:開源權重多模態混合專家模型

    Meta 推出 Muse Spark Open,816B 引數的多模態混合專家模型,支援文字、影像、音訊與影片輸入,並具備程式設計與工具呼叫能力。 - 模型規模:總引數 816B,每個 token 活躍 42B,可使用 1M token 上下文視窗。

    推薦理由:Meta公佈的 Muse Spark Open 816B 引數模型,支援多模態程式設計與長上下文,對開發者可直接整合,並提供多種推理與工具呼叫介面。

10月15日週四
  1. Hugging Face Blog77

    Apertus 1.5 釋出跨模態、四倍長上下文與思考模式新功能

    Apertus 1.5 於 2026 年 7 月 24 日在 Hugging Face 以 Apache 2.0 授權釋出,新增跨模態理解、四倍長上下文、思考模式及工具使用最佳化。

    推薦理由:Apertus 1.5 以四倍上下文、跨模態能力及思考模式提升推理與工具使用,讀者可評估其在多模態任務與長文本推理中的應用潛力。

  2. Apple Newsroom80

    Apple 推出可摺疊 iPhone Duo,展開後螢幕比 iPhone 18 Pro Max 大 50%

    手機摺起來好收納,開啟後又能有更大的畫面,是 iPhone Duo 想解決的需求。Apple 推出這款可摺疊 iPhone,展開時內側螢幕比 iPhone 18 Pro Max 大 50%;摺起來時,外側螢幕是 5.4 吋,並採用雙電池設計。iPhone Duo 搭載 A20 Pro 與 iOS 27,也支援在畫面上並排顯示 Siri 和 Mail。Siri AI 會隨 iOS 27 以測試版推出,初期支援英文,且不會在歐盟首發。

    推薦理由:iPhone Duo 把大螢幕與可摺疊機身結合,文中也交代了展開、摺起時的螢幕尺寸,以及 Siri AI 的推出限制。

  3. Together AI Official Blog74

    Meta Muse Spark Open 模型在 Together AI 正式上線

    Meta Muse Spark Open 現已於 Together AI 正式上線,作為 Day 0 發表夥伴提供完整支援,專為長時間執行的AI 助理程式設計、電腦操作與多模態任務而設計。

    推薦理由:原文給出模型核心能力與價格,讀者可據此評估是否將其整合至現有的長上下文或AI 助理工作流程中。