最新精選
第 341–349 條 · 共 349 條MoE 模型把工作分給多張 GPU 時,熱門專家可能讓部分 GPU 忙不過來,其他 GPU 卻在等。NVIDIA 團隊介紹 SGLang 的兩種分流方法:Waterfill 把共用專家的工作交給較不忙的 GPU;LPLB 則在同一專家的多個副本之間調整工作量。兩者都保留模型原本選的專家,只改由哪張 GPU 執行。測試中,Waterfill 在 DeepSeek-V3/R1 型別的工作負載上提升吞吐量 1.48% 到 4.66%;LPLB 在有專家副本可供分流時提升 0.84% 到 7.34%。LPLB 沒有副本可選時則無法平衡負載,還會增加運算開銷。
推薦理由:文章以相同硬體與工作負載比較兩種分流方法,呈現它們各自適用的負載型別,以及流量平衡後的吞吐量變化。
- Together AI Official Blog精選品質評分7777
ParallelKernelBench 是一個測試多 GPU 核心生成的基準,評估 GPT‑5.5、Gemini 3 Pro 等前沿模型的表現。 - 核心特性:87 個實際工作負載,涵蓋多種分散式並行策略。
推薦理由:此研究揭示前沿 LLM 在多 GPU 核心生成上的侷限,提供可量化的基準與改進方向,並展示首批成功案例。
- DevClass (Developer News)精選品質評分7272
Arm 架構正在重塑雲端 AI 基礎設施,透過高效能與節能優勢,幫助企業降低成本並提升可持續發展。 - Arm 架構在雲端 AI 服務中提供高效能與節能優勢。
推薦理由:Arm 架構在雲端 AI 服務中提供高效能與節能優勢,促進成本競爭力與可持續發展,同時支援多元工作負載的最佳化與彈性擴充套件。
AI 助理要長時間分步完成工作,得能持續推理、使用工具,也要讀懂大量資料。NVIDIA 推出 Nemotron 3 Ultra,並宣佈 SGLang 和 Miles 從首日就支援:開發者可用 SGLang 執行模型,也能用 Miles 進行強化學習訓練。模型有 550B 個引數、最多 1M tokens 的上下文視窗,提供 BF16 和 NVFP4 版本。團隊也在 128 張 H200 GPU 上跑過訓練流程;這些是初步檢查,並非已收斂的訓練結果。
推薦理由:Nemotron 3 Ultra 同時提供模型推論與後訓練支援,文中也交代長時間多步任務的設計,以及 128 張 H200 GPU 的訓練初步檢查結果。
- Modal Engineering Blog精選品質評分8282
Modal 在其最新的技術部落格中說明,透過四項關鍵最佳化,將 GPU 推理伺服器的啟動時間從數千秒縮短至數十秒,實現真正無伺服器 GPU。 - 四項關鍵技術:雲端緩衝、內容定址檔案系統、CPU 記憶體檢點/恢復、GPU CUDA 記憶體檢點/恢復。
推薦理由:此篇詳細說明 Modal 如何透過四項關鍵最佳化,將 GPU 伺服器啟動時間從數千秒縮短至數十秒,對想打造高效、彈性 AI 推理平臺的工程師具有實際參考價值。
- Together AI Official Blog精選品質評分7575
Together AI 於今日正式推出 NVIDIA Nemotron 3 Nano Omni 模型,並於同日即時提供開發者使用。 - 多模態推理:單一模型即可同時處理影像、影片、音訊與文字,支援 256K token 的共享上下文。
推薦理由:本篇說明 NVIDIA Nemotron 3 Nano Omni 在 Together AI 上,與 Agent 效能,對落地 Agent 的開發者具參考價值。
Mistral 與 NVIDIA 於 2026 年 3 月 16 日宣佈成為 NVIDIA Nemotron Coalition 創始成員,將共同推動前沿開放模型的研發。
推薦理由:Mistral 與 NVIDIA 合作推動開放前沿模型,為開發者提供可擴充套件、可自訂的基礎模型,促進 AI 生態快速成長。
- SemiAnalysis (Dylan Patel)精選品質評分7878
華為的 Ascend AI 加速器製造正在擴張,TSMC 的 Die Bank 供應支撐 2024‑2025 年量產,但 HBM 記憶體短缺成為主要瓶頸。 - Ascend 910B/910C 產量:2024 年 507k(大多為 910B),2025 年 805k(其中 653k 為 910C)。
推薦理由:文章深入剖析華為升級製造與 HBM 供應瓶頸,幫讀者評估中國 AI 計算自給自足的可行性與風險,並評估未來出口管制對全球 AI 生態的影響。
- Asianometry (Jon Y)精選品質評分7373
TSMC 在亞利桑那州獲得美國 CHIPS Act 65 億美元補貼,將加速其第三座晶圓廠的建設與 2nm 先進製程的商業化。 - 補貼總額:$6.6B 獎金 + 最高 $5B 貸款 + 投資稅額抵免,總計約 $28B 直接或間接支援。
推薦理由:美國 CHIPS Act 為 TSMC 在亞利桑那擴產提供高達 65 億美元的補貼,凸顯美臺半導體合作的重要性與國家安全考量,並顯示政府對關鍵技術自主供應的強力支援,此舉亦為美國半導體產業帶來新機會,並為臺灣企業開啟國際合作新視窗。