跳到正文

#多模態

RSS
今日 1 則
11月17日週二
  1. Vercel Blog66

    Vercel AI Gateway 開放使用 Hy4 Flash,限時享 5 折

    使用大型語言模型時,功能和費用常要一起考量。Vercel AI Gateway 現在提供 Tencent 的 Hy4 Flash,這是 Hy4 系列中價格較低的模型,保留推理、工具呼叫、結構化輸出、提示詞快取和圖片輸入,也有相同的 1M-token 上下文視窗;不需要推理的請求則可關閉這項功能。透過 AI Gateway 使用時,輸入、快取輸入和輸出 token 到 2026 年 11 月 29 日都有 5 折優惠,適合留意大量程式開發、AI 助理或檔案處理工作所需的成本。

    推薦理由:Hy4 Flash 保留 Hy4 系列功能並大幅降低每個 token 的價格,文中也交代限時折扣,能看出成本與功能之間的取捨。

  2. NVIDIA Newsroom Press Releases65

    NVIDIA 發布 Rubin HPC GPU,加速科學與工程模擬

    科學家和工程師要比較更多材料、分子和設計時,需要大量模擬來測試想法,但運算速度會影響探索進度。NVIDIA 在 SC26 發布 Rubin HPC,這款 GPU 將用來加速科學、工程和資料分析工作。它有超過 50,000 個 CUDA 核心,並加快資料傳送和 GPU 之間的連線,讓核心能持續運算。Rubin HPC 預計於 2028 年推出。

    推薦理由:Rubin HPC 把資料搬移與運算能力一起擴充,能幫助理解科學模擬為何需要兩者配合,並加快研究人員測試想法的回饋流程。

  3. NVIDIA Newsroom Press Releases69

    NVIDIA 擴充 CUDA-X 函式庫,加速黑洞觀測與科學研究

    處理天文、核融合和生物研究的大量資料,常得花上很長時間,研究人員也可能要等實驗結束才能分析結果。NVIDIA 擴充 CUDA-X 函式庫,讓研究人員能更快處理資料,也能在模擬或實驗進行時檢視結果。例如,cuPhoton.xBeam 把黑洞觀測資料的分析時間從一個多月縮短到 8 分鐘;cuPotential 則讓分子模擬最多快 3 倍。這些工具也用在材料和細胞研究,幫助科學家處理更大的資料集、研究更複雜的系統。

    推薦理由:文章以黑洞觀測、核融合模擬、藥物探索與細胞分析為例,呈現 CUDA-X 函式庫如何縮短大型科學資料的處理時間。

11月16日週一
  1. Unsloth AI Releases72

    Unsloth Studio 推出 v0.1.918-beta,可讓模型操作電腦和連線創作工具

    模型要幫忙操作電腦或創作工具,得先看得到畫面,也要能和其他程式互動。Unsloth Studio 的 v0.1.918-beta 加入測試版電腦操作功能,支援 macOS、Windows 和 Linux;模型可檢視螢幕、控制滑鼠與鍵盤,但首次操作、切換應用程式和可能有風險的動作需要先核准,使用者也能隨時接手。更新也能透過 MCP 連線 Unity、Unreal Engine、Godot、Blender、Figma 和 Roblox,其中 Figma 只能讀取。此外,MiniMax-H3-Image 新增 GGUF、FP8、INT8 和 LoRA 訓練支援,長對話也能自動整理,減少舊訊息遺失。

    推薦理由:電腦操作功能可讓模型檢視畫面並控制滑鼠鍵盤,首次操作與可能有風險的動作都需先核准,呈現了這項功能的使用界線。

  2. Vercel Blog47

    Qwen4-Max 登上 Vercel AI Gateway,支援寫程式、製作 3D 場景和長時間工作

    Qwen4-Max 是 Alibaba Qwen4 系列的第一個模型,現在可透過 Vercel AI Gateway 使用。它能看懂圖片,也能處理長篇工作,例如在 Blender 製作 3D 場景,或在 Unity、Unreal Engine 和 Godot 製作能玩的遊戲;完成後還會看畫面找出鏡頭、動畫或燈光問題,再動手修改。處理財務、法律和醫療工作時,它也能使用 MCP 工具整理大量檔案和圖片,產出附有資料來源的報告、試算表和簡報。 遇到需要很久的工作時,Qwen4-Max 會先交出能用的初步成果,再一輪輪改進,讓人可以邊看邊調整方向。Alibaba 也將推出一個搭配這種工作方式的 Live Delivery 外掛。和先前的 Qwen Max 模型相比,Qwen4-Max 完成相同工作的 token 用量較少,預設寫出的程式也較安全;Vercel AI Gateway 則不加價收取模型費用,也不收推論平臺費。

  3. Artificial Analysis80

    挑選模型時,分數較高的選擇也可能花費更多。Artificial Analysis 測得,Qwen4 Max 使用 xhigh 推理時,Intelligence Index 得分為 43,比 Qwen3.8 Max 高 9 分,距離 Kimi K3.1 Pro 少 3 分;每項測試任務成本為 $3.27,約比 Qwen3.8 Max 低 3 倍、比 Kimi K3.1 Pro 低約 11%。測試中它每項任務使用約 105k 個輸出 token,少於 Qwen3.8 Max 的約 171k。Qwen4 Max 可透過阿里巴巴第一方 API 使用,支援文字和圖片輸入,並提供文字輸出。

    推薦理由:Artificial Analysis 比較了 Qwen4 Max 與其他模型的測試分數和每項任務成本,呈現效能與花費之間的差異。

11月15日週日
  1. llama.cpp Releases66

    llama.cpp 加入 Inkling 2 文字與影像支援

    llama.cpp 原本還不能處理 Inkling 2,這次更新加入文字模型轉檔與推論,也支援影像模型轉檔和讀取圖片。量化權重會分批處理,避免轉檔時一次展開整層資料;測試中的合成權重解碼結果和 vLLM 一致,CPU 推論結果也符合發布說明列出的誤差範圍。不過,Inkling 2 的真實模型檔尚未完成轉檔測試。

    推薦理由:這次更新補上 Inkling 2 文字與影像支援,也說明量化權重分塊處理的記憶體需求與測試結果。

11月14日週六
  1. Vercel Blog76

    Vercel Token Pass 開放使用 Kimi K3.1 Pro

    團隊使用 AI 助理寫程式時,可能需要切換不同模型或工具。Vercel 的 Token Pass 現在加入 Moonshot AI 的 Kimi K3.1 Pro,可用於寫程式和 AI 助理工作流程,也支援看圖、使用工具,並提供 1M 上下文視窗。這項早期訂閱每隊每月 $30,會提供每月 $80 額度,可用於連線 AI Gateway 的程式開發工具或用 AI SDK 建立的 AI 助理;透過 Token Pass 處理的請求不會保留資料。

    推薦理由:Token Pass 把 Kimi K3.1 Pro 加入團隊訂閱,並列出月費、可用額度與資料保留方式,方便評估是否符合開發需求。

11月13日週五
  1. Hugging Face Transformers Releases76

    Hugging Face Transformers 發布 v5.23.0,更新模型匯出與多模態支援

    模型要在不同執行環境使用,匯出、分享和重新載入往往得處理不同流程。Hugging Face Transformers v5.23.0 把這些步驟整合到 ExportedModel,支援 Dynamo、ONNX Runtime、OpenVINO 和 ExecuTorch;匯出的模型可以推送到 Hub,再由對應環境載入。這版也加入多個模型支援,修正視覺、音訊、快取和分散式運算問題。效能比較顯示,在列出的測試中,ONNX Runtime 和 OpenVINO 都比 eager PyTorch 快,但實際差異會依硬體和設定而變。

    推薦理由:這次更新把模型匯出、分享與載入整合成相近的操作方式,也列出不同執行環境的速度比較,可看出部署流程有哪些變化。

  2. Apple Newsroom82

    Apple 推出 HomeView,讓 Siri AI 在家中螢幕上回答問題並操作 App

    在家裡檢視行事曆、聯絡人和裝置狀態,常得在不同 App 之間切換。Apple 推出 HomeView,裝置可用臉部辨識最多六位使用者,顯示各自的訊息、FaceTime、行事曆、提醒事項和尋找內容;Siri AI 也能回答問題,或依螢幕上的內容採取行動。搭配支援 Apple Intelligence 的 iPhone 或 iPad,還能參考使用者的行事曆、訊息和其他 App 資訊,提供更個人化的回覆。HomeView 已在美國等七個市場開賣,價格為 $299(美國);Siri AI 目前僅支援英文,且 HomeView 尚未在歐盟販售。

    推薦理由:HomeView 結合臉部辨識與個人行事曆、訊息等內容,也能透過 Siri AI 回答問題並操作 App,呈現居家裝置與個人資訊整合的用法。

  3. OpenBMB39

    現場攝影機拍到畫面後,通常還需要人檢視、整理,才能用來處理工作。CamThink 把 NeoEyes 邊緣攝影機、NG4500 AI Box 和 NeoMind 平臺接在一起:攝影機拍下照片後,會觸發 AI 助理,讓內建的 MiniCPM-V 4.7 1B 依照提示詞清點人數、找出安全違規、檢視垃圾桶裝了多少,或讀取儀表數字。結果會整理成資料,顯示在儀錶板,也能用來發出異常提醒或連線其他系統。照片和分析結果會留在現場網路內;辨識效果則會受提示詞、照片清晰度和模型能力影響,重要工作仍應由人確認。

  4. Vercel Blog54

    Vercel AI Gateway 開放使用 Thinking Machines 的 Inkling 2 Small

    Thinking Machines 的多模態推理模型 Inkling 2 Small 已在 Vercel AI Gateway 上提供,可用於程式開發AI 助理、視覺理解與專業知識工作。 輸入與輸出:支援文字和影像輸入,並產生文字輸出;可處理較長的程式開發任務、使用工具蒐集資訊,再整理成檔案、試算表等成果。 視覺能力:可讀取影像中的文字、解讀圖表與資訊圖表、檢視介面;在視覺開發流程中,能根據截圖檢查程式碼產出並引導後續修改。 接入方式:模型名稱為 thinkingmachines/inkling-2-small。安裝最新版 Vercel CLI 並執行設定後,可在 Claude Code、Codex、Cursor 等程式開發AI 助理中選取該模型;詳情見 coding agents guide,也可在 model playground 試用。 AI Gateway 服務:提供統一 API、用量與成本追蹤、重試與故障轉移設定及效能最佳化;另有自訂報表、Zero Data Retention 支援、API 金鑰預算和路由規則。 費用:AI Gateway 依照供應商定價,不加價;推論不收平臺費,包含 Bring Your Own Key(BYOK)請求。

  5. ollama52

    需要 AI 助理看懂圖片、檔案或財務資料時,使用者會在意模型能處理哪些內容,以及資料是否會被保留。Ollama 宣佈可在 Ollama Cloud 使用 Thinking Machines 的 Inkling 2 Small,並表示不會保留資料。這款 594B 混合專家模型的上下文視窗為 1M,原文列出的用途包括 OCR、資訊圖表理解、視覺推理、透過 MCP 呼叫工具,以及分析財務試算表、申報檔案和其他檔案。

  6. Vercel Blog44

    Google Gemini 4 Hydrogen 開放透過 Vercel AI Gateway 使用

    Google 的 Gemini 4 Hydrogen 現已透過 Vercel AI Gateway 提供,接替 Gemini 3.8 Flash,在維持相同延遲級別的同時,提升 AI 助理程式設計、知識工作與工具使用能力。 能力變化:可處理較長的工程任務,並以較少的 AI 助理步驟產出研究更充分的檔案、試算表與簡報;也更能遵循系統指令、格式要求和任務範圍,並在長對話中更可靠地協調工具。 推理與依據:視覺推理和技術問題解決能力有所提升,可支援多模態工作流程;更強的 grounding 可減少搜尋回答中的無依據說法,以及程式設計報告中虛構的工具或測試結果。 使用方式:在最新版本的 Vercel CLI 執行設定,並於 AI 助理中選擇 google/gemini-4-hydrogen,即可在 Claude Code、Codex、Cursor 等工具中使用;也可透過模型 playground 試用。 AI Gateway 服務:提供統一 API,可呼叫模型、追蹤用量與成本,並設定重試、故障轉移及效能最佳化。服務包含自訂報表、Zero Data Retention 支援、API 金鑰預算與路由規則;依照模型供應商定價,不加價,也不對推論收取平臺費用,包含 Bring Your Own Key(BYOK)請求。

11月12日週四
  1. PyTorch Blog80

    PyTorch 與 TorchTitan 如何在歐洲公共基礎設施上訓練 1T 引數 MoE

    EUROPA consortium 說明如何運用 PyTorch 與 TorchTitan,在 JUPITER 超級電腦上將約 1T 引數的 MoE 預訓練吞吐量提升至每張 GPU 約 1,300 tokens/s。

    推薦理由:文章拆解了 PyTorch 與 TorchTitan 在共享超級電腦上的多項訓練調校,並以吞吐量變化呈現通訊、記憶體與計算重疊的影響。

  2. Hugging Face Diffusers Releases72

    Hugging Face Diffusers 0.43.0 整合五種生成與模擬模型

    Hugging Face Diffusers 0.43.0 新增五種模組化模型整合,涵蓋影像生成與編輯、影音生成、語音驅動動畫及世界模擬。具體包括 MiniMax-H3-Image、Pika H3 Flex、P-H3-Image、Kandinsky S2V 1.0 和 PAN 2。

    推薦理由:Diffusers 0.43.0 將五種生成與模擬模型整合為模組化流程,並補上平行化、注意力後端及 LoRA 等工程改進,呈現其應用範圍與部署變化。

  3. Google AI Official Blog80

    Google 推出 Gemini Decisions API 與 Gemini Decision 1,支援快速多模態決策

    Google 推出 Gemini Decisions API,由 Gemini Decision 1 驅動,可在單次推論中處理多模態輸入與最多 1,000 個是非題、選擇題或評分問題。

    推薦理由:Gemini Decisions API 將多模態輸入與最多 1,000 個封閉式問題放進單次請求,並提供延遲、價格與信心分數,便於評估路由和分類工作流程。

11月11日週三
  1. vLLM Official Blog84

    vLLM 如何以 EPD 分離多模態服務中的編碼、Prefill 與 Decode

    vLLM 說明如何以 Encoder/Prefill/Decode(EPD)分離多模態推論流程,並整理中繼資料轉送、編碼器執行、嵌入傳輸、快取與路由的工程進展。

    推薦理由:文章整理 vLLM EPD 的媒體中繼資料、遠端嵌入傳輸與跨編碼器快取,並以不同工作負載的測試資料呈現效能差異。