跳到正文

#多模態

RSS
今日 1 則
今天11月23日週一
  1. Ant Ling57

    醫療 AI 模型需要看懂影像、整理報告,也要能回答醫療問題。Ant Ling 發布開源多模態模型 LingSante-3.1-air-VL,結合醫療影像理解、報告生成、醫療推理、多模態搜尋與工具使用;模型總引數為 124B,啟用引數為 5.5B。團隊表示,它在 AFUMED-Derm、AFUMED-Report、MIMIC-CXR 和醫療視覺問答的平均成績上,勝過比較的模型 GPT-6.1 Sol 和 Gemini 3.8 Flash;在一般用途評測中,也有部分專案高於這兩個模型。

11月21日週六
  1. Hugging Face Transformers Releases66

    Hugging Face Transformers v5.24.0 加入多種模型支援並調整快取名稱

    要在 Transformers 裡使用新模型,或讓不同模型共用一套程式,開發者常得處理各自不同的介面。v5.24.0 加入 Inkling 2 Mini、Apertus 1.5、Dory 和 Omnilingual ASR 等模型支援,也把原本依模型而異的 past_key_values 和 cache_params 統一改叫 cache;舊名稱目前仍可使用,但會出現棄用提醒。這次更新也修正了文字串流在中文、日文和韓文內容中可能漏空格或變慢的問題。

    推薦理由:Transformers v5.24.0 一次加入多種模型支援,也統一了快取名稱;更新內容能幫開發者掌握新模型接入與舊程式需要調整的地方。

  2. AWS Machine Learning Blog78

    Amazon SageMaker HyperPod 推出跨叢集與跨區域的單一推論入口

    模型服務分散在多個叢集和區域時,流量可能塞在忙碌的叢集,其他地方的 GPU 卻閒著;叢集故障時也得手動改設定。AWS 推出 Amazon SageMaker HyperPod Global Inference Gateway,讓使用者端只呼叫一個入口,服務會依 GPU 記憶體與 KV cache 餘裕、排隊情況、區域遠近和錯誤率,把請求送到合適的叢集。若叢集故障,流量會自動切換;請求透過 AWS PrivateLink 傳送,並以 SigV4 和 IAM 驗證。每個叢集原有的 Inference Gateway 仍負責把請求送到模型。這項服務已在 13 個 AWS 區域推出。

    推薦理由:這項更新把多個叢集的模型服務整合到單一入口,並說明如何依負載與錯誤狀況分配流量及自動切換,適合瞭解跨區部署的管理方式。

  3. Hugging Face Blog83

    Hugging Face 與 Thinking Machines Lab 推出 Inkling 2 Mini,主打本機使用

    本機執行大型模型時,模型大小、回答速度和能力常得互相取捨。Hugging Face 與 Thinking Machines Lab 推出 Inkling 2 Mini,這款模型能讀文字和圖片,支援 1M-token 上下文視窗;它讓 12 層模型重複運作三次,用較少的實體層數完成更多運算。文章展示了它在本機寫程式、重畫《星夜》和製作分帳網站的成果,也說明如何透過 transformers、llama.cpp 和 MLX 執行。作者表示,它在 48 項基準中的 32 項領先文中列出的其他模型;這些結果來自 Hugging Face 的測試。

    推薦理由:文章以架構說明和實作展示呈現 Inkling 2 Mini 的本機使用方式,也比較它在多項基準上的表現,能看出模型設計與實際應用之間的連結。

  4. vLLM Official Blog75

    vLLM 支援 Thinking Machines 的 Inkling 2 Mini 迴圈模型

    模型把部分中間層重複運算,會讓推論時的快取和訊息傳遞更難處理。vLLM 宣佈支援 Thinking Machines 的 Inkling 2 Mini,並在 NVIDIA Blackwell、Hopper 和 DGX Spark 上提供 Day-0 支援。Inkling 2 Mini 的 12 個核心層會對每個 token 運算三次,每次各自保留 KV cache,並讀取前一次運算傳來的訊息;模型有 26B 總引數、3.5B 啟用引數,支援最多 1M tokens 的上下文。vLLM 也支援可調整運算次數的研究檢查點,讓團隊能測試速度、記憶體用量和品質之間的取捨。

    推薦理由:Inkling 2 Mini 的迴圈層會讓每個核心層重複運算三次,vLLM 透過分開管理快取並融合訊息讀取來支援這種架構。

  5. Artificial Analysis75

    大型模型常需要較多運算資源,Inkling 2 Mini 則小到可以在 MacBook 或 DGX Spark 上執行。它是 Thinking Machines 推出的開放權重模型,總引數量為 26B,每次運算會啟用 5.4B 引數;文字輸入會經過迴圈層三次,使用 3.1B 個不同權重。模型也能讀取圖片,並支援 1M token 的上下文視窗,採用 Apache 2.0 授權。Artificial Analysis 將它列在 Intelligence Index 第 20 名,並指出它在模型能力與啟用引數量的比較中位於帕累托前緣。

    推薦理由:Inkling 2 Mini 把模型能力與啟用引數量放在同一張圖上比較,並提供模型大小、文字與圖片輸入及上下文視窗資訊,可用來瞭解它的定位。

  6. Unsloth AI Releases66

    Unsloth 更新加入 Inkling 2 Mini,並加快圖片生成與 MCP 對話

    圖片生成慢、MCP 對話每次都重讀整段內容,會增加等待時間和 token 用量。Unsloth 這次更新推出 Inkling 2 Mini,標示為 26B(5.4 active)、支援 1M context;圖片生成也有加速,例如 MiniMax-H3-Image 在 8GB GPU 上生成新提示詞的圖片,從 82.7 秒降到 36.7 秒。使用 MCP 工具的聊天在測試中少處理 83% 到 87% 的提示詞 token,Apple Silicon Mac 也能替影片整段換風格。更新還加入掃描 PDF 的 OCR 辨識,並改善多項訓練與圖片、影片處理速度。

    推薦理由:這次更新同時改善圖片生成、影片改風格與 MCP 對話,並列出速度和用量變化,可看出 Unsloth 正在擴大桌面工具的使用範圍。

  7. Together AI Official Blog73

    Together AI 開放使用 Qwen3 TTS,可調整語氣並串流生成語音

    把文字變成語音時,開發者可能希望調整說話情緒、維持熟悉的聲音,也讓語音更快開始播放。Together AI 現在提供 Qwen3 TTS,可從 9 種預設聲音中挑選,再用簡短文字改變說話方式;每種聲音都支援 10 種語言。串流時,第一段音訊最快可在 97ms 後送出,文字若還在逐步產生,也能透過 WebSocket 分段送入。服務費用是每 1M 個字元 $20;Qwen 建議使用聲音原本的語言,以取得較好的品質。

    推薦理由:文章整理了 Qwen3 TTS 在 Together AI 的語音控制與串流方式,並說明不同語言的聲音品質可能因預設聲音而異。

11月20日週五
  1. Artificial Analysis45

    語言模型能不能做出比影片生成模型更好的影片?Artificial Analysis 讓 OpenAI 的 GPT-6.2 Astra 用 three.js 程式碼打造雪梨歌劇院、拆解中的機械錶,以及巨龍攻擊中古城鎮的場景,再用瀏覽器裡的虛擬攝影機拍成 15 秒、1080p、24 fps 的影片。ByteDance 的 Dreamina Seedance 2.5 則收到相同的攝影機路線,搭配路線參考圖作為文字提示詞。這場比較要看的是:語言模型寫程式做出的影片,能否和專門生成影片的模型競爭。

  2. Together AI Official Blog65

    Tencent Hy4 登上 Together AI,可讀圖片並用來寫瀏覽器遊戲

    想讓 AI 助理看懂圖表,還能照著要求做出簡單遊戲,可以試試 Tencent Hy4。Together AI 現在提供這個模型的雲端服務,可用文字和圖片輸入,也支援工具呼叫與 JSON 輸出。文章測試它讀取圖表數字並重畫成 HTML,也讓它用單一提示詞寫出瀏覽器遊戲;作者實際開啟遊戲,確認能玩到結束並重新開始。Together AI 列出的價格是每 1M 輸入 token $0.83、輸出 token $2.50,快取輸入 token $0.042。

    推薦理由:文章用讀取圖表、重畫圖表和製作瀏覽器遊戲的實測,呈現 Hy4 在 Together AI 上的圖文輸入與程式生成表現,並列出使用價格。

  3. Arena.ai49

    Google DeepMind 昨天推出 Gemini 4 Neon,影片用 3D 場景、遊戲、介面設計和資料圖表展示它的表現。Peter Gostev 也把它和 Opus、Fable、Astra、Sol 比較,談到畫面細節、創意、動態效果、設計一致性與價格,並分享自己對 Gemini 4 Neon 距離頂尖模型還有多近的看法。這類實際操作比較能讓人看出模型在不同任務上的表現,但推文沒有說明最終排名或比較結果。

  4. Google Gemini65

    用電腦做事時,人還需要繼續使用自己的螢幕和滑鼠。Gemini Mac App 現在可以在背景視窗中操作資料夾、App 和網頁,點選、捲動畫面與輸入文字;示範中,它把一張簡單草圖轉成 Blender 裡設定好骨架的 3D 模型。這讓人能把部分電腦操作交給 Gemini,同時繼續使用自己的螢幕。

    推薦理由:Gemini 可在背景視窗操作 Blender,示範把手繪草圖轉成設定好骨架的 3D 模型,呈現電腦操作功能的實際用途。

  5. AWS Machine Learning Blog66

    Amazon Polly 開放語音複製,幾分鐘錄音就能建立品牌聲音

    客服、教材或廣告常需要同一種聲音,改稿時若要重新錄音也很花時間。Amazon Polly 現在提供語音複製功能,取得說話者同意後,使用 1 到 10 段錄音就能建立克隆語音,通常需要 5 到 10 分鐘,之後可用來朗讀新文字。功能支援英文、西班牙文、德文、法文、義大利文、葡萄牙文和印地語,每個聲音只會說錄音使用的語言。語音會加密並限制帳戶存取,合成音訊也會加上浮水印;建立語音免費,使用時按量收費。目前須先取得帳戶使用許可權。

    推薦理由:Amazon Polly 可用幾分鐘錄音建立指定語言的克隆語音,並透過 API 用於客服、教材與遊戲等情境;文章也交代同意確認、許可權控管和刪除方式。

  6. Together AI70

    Together AI 宣佈 Qwen4 Max 已可在平臺上使用,並提供 30% 折扣。這款模型是 Alibaba 的旗艦 Qwen 模型,採用 MoE 架構,總引數量為 2.4T、活躍引數量為 71B;原文表示它適合長時間執行的 AI 助理工作、程式開發和視覺任務,並有 1m 上下文視窗。

    推薦理由:Qwen4 Max 在 Together AI 上提供 30% 折扣,原文也列出活躍引數量與上下文視窗,可瞭解這次上架的價格優惠和模型規格。

  7. NVIDIA Blog71

    NVIDIA 與 Microsoft 擴大 AI 運算,從 Azure 延伸到 Windows 電腦

    企業想把 AI 用在工作上,得先決定模型要放在哪裡、如何配合自家資料。NVIDIA 和 Microsoft 擴大合作,讓企業能在 Azure 使用 NVIDIA Vera Rubin NVL72 系統,也能透過 Microsoft Foundry 調整 NVIDIA Nemotron 開放模型,再部署到雲端或企業自己的裝置。EY 用這種方式調整模型來分類採購紀錄,在自己的評估資料上準確率提高 55%,成本比專有前沿模型低 15 倍。合作也把 AI 部署選項延伸到 Azure Local、工業用邊緣裝置和 Windows 電腦,讓企業能依資料位置與工作需求選擇執行方式。

    推薦理由:NVIDIA 與 Microsoft 把雲端、企業內部和個人電腦的 AI 部署選項串在一起,也展示企業如何用自家資料調整開放模型。

  8. Vercel Blog60

    Vercel AI Gateway 上線 Liquid AI 的 d1.2 與 d1.2-ultra

    需要從音訊或圖片中找出特定資訊時,單靠生成文字不一定方便整理答案。Vercel AI Gateway 現在提供 Liquid AI 的 d1.2 和 d1.2-ultra,這兩個決策模型會直接回傳結構化結果,可回答是或否、選出類別、依規準評分,也能辨認音訊內容或找出圖片物件的位置。d1.2 速度較快、成本較低;d1.2-ultra 則是 Liquid AI 準確度最高的決策模型。使用者可在同一個請求中提出多個問題,請求也會記錄在 AI Gateway 的紀錄中並計入預算。

11月19日週四
  1. Unsloth AI Releases64

    Unsloth 更新 AMD NPU 支援,並加入影像與影片 LoRA 訓練

    在本機訓練和執行 AI 模型時,硬體支援、模型格式和等待時間常讓人卡關。Unsloth 這次更新讓轉換後的 Q4NX 模型能在 AMD NPU 上載入,也會標示每個模型能不能執行;此外,使用者可以訓練 LTX-2.5 和 MOSS-Image 的 LoRA,並在影片頁面載入 NVIDIA Cosmos3 的 FP8 模型。更新也加入聊天排程,讓排程任務的回覆直接出現在原本的聊天室。部分影像與訓練工作在特定硬體上每步最多快 42%,實際速度會依顯示卡和設定而異。

    推薦理由:這次更新把 AMD NPU、影像與影片模型訓練,以及聊天排程整合進 Unsloth,呈現本機 AI 工作流程涵蓋的範圍。

  2. OpenBMB51

    視障與低視力使用者出門時,可能需要協助看懂周遭環境或讀取文字。社群開發者 Rebel-Gloria 打造了 iPhone 和 iPad app PRTS,內建 MiniCPM-V 4.7 1B,可離線描述拍到的場景、朗讀招牌和檔案,也能用語音追問畫面中的細節。支援的裝置還可用另一套 LiDAR 系統提供口頭方向和節奏震動提示;部分線上功能與系統語音辨識則需要網路。

  3. Vercel Blog72

    Google 推出 Gemini 4 Neon,並開放在 Vercel AI Gateway 使用

    寫程式或處理多步驟工作時,模型要回得快,也得能看懂不同種類的資料。Vercel 宣佈 Gemini 4 Neon 已可透過 AI Gateway 使用;官方說它比先前較輕量的 Gemini 4 升級,回應更快,輸出品質接近 Google 較大型的 Gemini 4 模型。它能讀取文字、圖片、影片和檔案,並支援工具呼叫、結構化輸出、Google 搜尋與 Google 地圖資料,以及四種推理等級。

    推薦理由:Gemini 4 Neon 主打較快回應與接近大型 Gemini 4 模型的輸出品質,也支援多種輸入和工具呼叫,適合瞭解它能處理哪些工作。

  4. Artificial Analysis70

    挑 AI 模型時,分數、花費和完成工作所需的時間常要一起考量。Artificial Analysis 測試 Google 的 Gemini 4 Neon,發現它在 Intelligence Index 得 61 分,比 Gemini 4 Carbon 高 1 分;每項任務花費 $6.44,約低 17%,平均約 21 分鐘,比 Carbon 的約 36 分鐘快。報告也指出,Neon 每項任務用的輸出 token 更多,較低花費來自 token 價格較低,較快則和輸出速度較高有關。用 Antigravity CLI 測試寫程式的 AI 助理時,Neon 的分數也高於 Carbon,成本低於報告列出的 Claude Opus 5.5 和 Claude Fable 5.2。

    推薦理由:這份評測比較 Gemini 4 Neon 與 Carbon 的任務成本和完成時間,也拆出價格與輸出速度對差異的影響,方便衡量效能和花費。

  5. Google DeepMind69

    Google DeepMind 開放 Genie 4,讓使用者邊探索邊修改虛擬世界

    探索互動世界時,使用者可能想改變場景,卻得重新開始。Google DeepMind 開放 Genie 4,讓符合資格的 Google AI Ultra 訂閱者在 Project Genie 中一邊移動,一邊用提示詞即時改變天氣、加入角色或調整情節;場景也會搭配隨畫面變化的音訊。Project Genie 還加入 AI 助理協助打造世界,並提供可探索和改編的社群作品。Genie 3 也能延長單次探索時間,或把多個世界接起來;Google 表示,生成的影片和音訊會加入 SynthID 浮水印,輸入與輸出也會經過安全檢查。

    推薦理由:Genie 4 可在探索途中依提示即時改變場景,並加入會隨畫面變化的音訊,呈現互動世界模型的創作方式。

  6. Modal Engineering Blog56

    Miguel Novelo 用 Modal 打造瑪雅文字研究工具

    瑪雅文字刻在石頭上的深度和形狀,可能藏著平面照片看不出的線索,但逐件手工做成 3D 模型要花不少時間。藝術家兼史丹佛講師 Miguel Novelo 用 Modal 建立流程,把 2D 瑪雅文字影像轉成 3D 模型;他從約 100 個音節符號開始,也把展場觀眾畫下的圖形納入流程。研究者可以旋轉模型、改變照明,仔細檢視雕刻。Novelo 希望日後用更多 3D 雕刻資料訓練專用模型,找出文字形狀與語言之間的關係;他也強調,研究需要結合瑪雅社群的知識與學者的共同解讀。

  7. Google AI Official Blog78

    Gemini app 登上低記憶體 Android 手機,帶來語音、相機與圖片功能

    記憶體較少的 Android 手機,過去受硬體限制,多半隻能使用基本語音指令。Google 重新設計 Gemini app,讓它能在符合條件的 Android Go 裝置上順暢運作。使用者可以用 45 種以上語言和 Gemini Live 對話、練習面試,也能用相機拍下筆記或表格來學習和翻譯,或用 Nano Banana 製作圖片。這讓更多人能在日常手機上使用 Gemini;部分合作夥伴的未來新機也會預先安裝這款 app。

    推薦理由:低記憶體手機過去多隻能使用基本語音指令,這次更新把 Gemini 帶到 Android Go 裝置,讓更多人能用語音、相機和圖片生成功能。

11月18日週三
  1. Artificial Analysis38

    無法前往邁阿密參加 GTA VI 發布活動?兩個 AI 模型替你打造這座城市 我們請 Anthropic 的 Claude Fable 5.2 和 OpenAI 的 GPT-6.2 Astra,打造本週化身為 Vice City、迎接 GTA VI 發布活動的邁阿密 ➤ 每個模型各用一個提示詞,在無法連上網路的 AA-3D 沙盒中製作 ➤ 兩者都在 Ocean Drive 沿線放入真實存在、提示詞從未提及的飯店,包括 Colony 和 Avalon ➤ 每個場景都能開車、搭快艇或乘飛船探索,可選日落或夜間景色

  2. Artificial Analysis83

    OpenAI 發布 GPT-6.2 Astra 和 GPT-6.2 Sol。Artificial Analysis 的評測顯示,Astra 在 Intelligence Index 排名第二,僅次於 Claude Fable 5.2;Sol 得分 57,和 GPT-6 Astra 相當,完成任務的成本約為其 15%。Astra 的價格是每百萬輸入與輸出 token $8/$40,比 GPT-6 Astra 低 20%,快取輸入則從 $1.00 降到 $0.40;Sol 的價格維持每百萬輸入與輸出 token $2/$10。兩款模型在科學、3D 和機器人評測表現突出,但編碼助理評分沒有提升:Astra 持平,Sol 比前代低 3 分。

    推薦理由:GPT-6.2 Astra 與 Sol 在多項評測的名次和價格效率各有表現,也出現編碼評分停滯或下滑,便於比較不同用途的取捨。

  3. LMSYS Org Blog76

    SGLang Summit 發表 SGLang v1.0 與 Miles v0.2,擴大推論和訓練支援

    AI 模型越來越大,AI 助理也會累積大量工作紀錄,讓推論和訓練更難在不同硬體上順利進行。SGLang Summit 發表 SGLang v1.0,聚焦提升正式環境的效率與擴充能力;Miles v0.2 則支援 NVIDIA 和 AMD GPU、Google TPU,並將強化學習擴充套件到圖片、影片和音訊。大會也分享多個部署案例,例如 Meta 表示,改用 SGLang 後 GPU 用量減少超過 2 倍。這些更新與案例呈現了團隊如何把實際部署需求帶回開源工具的開發中。

    推薦理由:SGLang 與 Miles 的更新涵蓋推論和強化學習,也整理了不同硬體與實際部署的經驗,可看出開源工具如何回應現場需求。

  4. NVIDIA Newsroom Press Releases79

    NVIDIA 推出 Nemotron for Science,讓 AI 助理協助規劃科學實驗

    研究人員要做科學實驗,得安排模擬、執行程式,再確認結果,過程常需要反覆操作。NVIDIA 推出 Nemotron for Science,結合 Nemotron 3.5 Super VL、化學資料集和生命科學與化學的訓練方法,研究人員可在自己的 DGX Spark、工作站或超級電腦上執行。在 Argonne National Laboratory,一個用這套工具打造的 AI 助理從一句提示詞開始,規劃並測試假設、挑選模擬,找出兩個新的結合位點。這讓研究人員能在自己的系統上使用模型與資料來協助研究。

    推薦理由:Nemotron for Science 可在研究者自己的系統上運作,並結合實驗規劃與模擬,文中案例呈現 AI 助理協助科學研究的方式。

11月17日週二
  1. Unsloth AI Releases76

    Unsloth 0.1.919-beta 加入電腦操作,並更新模型選擇與圖片模型支援

    AI 助理要操作電腦或接上創作軟體,常得另外處理許可權和連線。Unsloth 0.1.919-beta 加入測試版電腦操作,讓本機視覺模型或已連線的服務檢視螢幕、控制滑鼠和鍵盤;第一次操作、切換應用程式和部分可能有風險的動作都要先核准,也能隨時接手。更新還能透過 MCP 連線 Unity、Unreal Engine、Godot、Blender 和 Roblox。MiniMax-H3-Image 新增多種硬體支援與 LoRA 訓練;原文表示,在 A100 80GB 上解碼 2048px 圖片從 2.82 秒縮短到 0.28 秒。

    推薦理由:這次更新把螢幕操作、創作軟體連線和本機圖片模型支援放進同一套工具,能看出 Unsloth 正擴大本機 AI 助理的使用範圍。

  2. Vercel Blog58

    Vercel AI Gateway 開放使用 Seedance 2.5 Flash 生成影片

    想用文字或現有素材生成影片時,Seedance 2.5 Flash 現在可透過 Vercel AI Gateway 使用。它是 Seedance 2.5 的較快、較低成本版本,可生成帶同步音訊的影片,也能參考圖片、影片或音訊,或編輯和延長既有影片。影片長度為 4 到 30 秒,最高 720p、每秒 24 格,並支援橫向、方形和直向畫面。使用者可透過 AI SDK 7 呼叫這個模型。