跳到正文

NVIDIA 輝達

輝達的 AI 晶片與生態動態:GPU 新品、CUDA 生態、機器人平臺與 AI 算力市場的風向。

最新精選

第 341–349 條 · 共 349 條
6月26日週五
  1. LMSYS Org Blog68

    SGLang 如何用 Waterfill 和 LPLB 平衡 DeepEP MoE 負載

    MoE 模型把工作分給多張 GPU 時,熱門專家可能讓部分 GPU 忙不過來,其他 GPU 卻在等。NVIDIA 團隊介紹 SGLang 的兩種分流方法:Waterfill 把共用專家的工作交給較不忙的 GPU;LPLB 則在同一專家的多個副本之間調整工作量。兩者都保留模型原本選的專家,只改由哪張 GPU 執行。測試中,Waterfill 在 DeepSeek-V3/R1 型別的工作負載上提升吞吐量 1.48% 到 4.66%;LPLB 在有專家副本可供分流時提升 0.84% 到 7.34%。LPLB 沒有副本可選時則無法平衡負載,還會增加運算開銷。

    推薦理由:文章以相同硬體與工作負載比較兩種分流方法,呈現它們各自適用的負載型別,以及流量平衡後的吞吐量變化。

6月23日週二
  1. Together AI Official Blog77

    ParallelKernelBench:前沿 LLM 尚未能快速編寫多 GPU 核心

    ParallelKernelBench 是一個測試多 GPU 核心生成的基準,評估 GPT‑5.5、Gemini 3 Pro 等前沿模型的表現。 - 核心特性:87 個實際工作負載,涵蓋多種分散式並行策略。

    推薦理由:此研究揭示前沿 LLM 在多 GPU 核心生成上的侷限,提供可量化的基準與改進方向,並展示首批成功案例。

6月16日週二
  1. DevClass (Developer News)72

    雲端新型 agentic AI 準備、Arm 為動力的基礎架構

    Arm 架構正在重塑雲端 AI 基礎設施,透過高效能與節能優勢,幫助企業降低成本並提升可持續發展。 - Arm 架構在雲端 AI 服務中提供高效能與節能優勢。

    推薦理由:Arm 架構在雲端 AI 服務中提供高效能與節能優勢,促進成本競爭力與可持續發展,同時支援多元工作負載的最佳化與彈性擴充套件。

6月4日週四
  1. LMSYS Org Blog74

    NVIDIA Nemotron 3 Ultra 開放下載,SGLang 和 Miles 同步支援

    AI 助理要長時間分步完成工作,得能持續推理、使用工具,也要讀懂大量資料。NVIDIA 推出 Nemotron 3 Ultra,並宣佈 SGLang 和 Miles 從首日就支援:開發者可用 SGLang 執行模型,也能用 Miles 進行強化學習訓練。模型有 550B 個引數、最多 1M tokens 的上下文視窗,提供 BF16 和 NVFP4 版本。團隊也在 128 張 H200 GPU 上跑過訓練流程;這些是初步檢查,並非已收斂的訓練結果。

    推薦理由:Nemotron 3 Ultra 同時提供模型推論與後訓練支援,文中也交代長時間多步任務的設計,以及 128 張 H200 GPU 的訓練初步檢查結果。

5月12日週二
  1. Modal Engineering Blog82

    Modal 如何實現真正無伺服器 GPU

    Modal 在其最新的技術部落格中說明,透過四項關鍵最佳化,將 GPU 推理伺服器的啟動時間從數千秒縮短至數十秒,實現真正無伺服器 GPU。 - 四項關鍵技術:雲端緩衝、內容定址檔案系統、CPU 記憶體檢點/恢復、GPU CUDA 記憶體檢點/恢復。

    推薦理由:此篇詳細說明 Modal 如何透過四項關鍵最佳化,將 GPU 伺服器啟動時間從數千秒縮短至數十秒,對想打造高效、彈性 AI 推理平臺的工程師具有實際參考價值。

4月28日週二
  1. Together AI Official Blog75

    Together AI 立即發布 NVIDIA Nemotron 3 Nano Omni 模型

    Together AI 於今日正式推出 NVIDIA Nemotron 3 Nano Omni 模型,並於同日即時提供開發者使用。 - 多模態推理:單一模型即可同時處理影像、影片、音訊與文字,支援 256K token 的共享上下文。

    推薦理由:本篇說明 NVIDIA Nemotron 3 Nano Omni 在 Together AI 上,與 Agent 效能,對落地 Agent 的開發者具參考價值。

3月17日週二
9月8日週一
  1. SemiAnalysis (Dylan Patel)78

    華為 Ascend 製造加速:TSMC 供應、Die Bank 角色與 HBM 成為瓶頸

    華為的 Ascend AI 加速器製造正在擴張,TSMC 的 Die Bank 供應支撐 2024‑2025 年量產,但 HBM 記憶體短缺成為主要瓶頸。 - Ascend 910B/910C 產量:2024 年 507k(大多為 910B),2025 年 805k(其中 653k 為 910C)。

    推薦理由:文章深入剖析華為升級製造與 HBM 供應瓶頸,幫讀者評估中國 AI 計算自給自足的可行性與風險,並評估未來出口管制對全球 AI 生態的影響。

4月8日週一
  1. Asianometry (Jon Y)73

    TSMC 亞利桑那工廠獲 CHIPS Act 65 億美元補貼,擴產進度加速

    TSMC 在亞利桑那州獲得美國 CHIPS Act 65 億美元補貼,將加速其第三座晶圓廠的建設與 2nm 先進製程的商業化。 - 補貼總額:$6.6B 獎金 + 最高 $5B 貸款 + 投資稅額抵免,總計約 $28B 直接或間接支援。

    推薦理由:美國 CHIPS Act 為 TSMC 在亞利桑那擴產提供高達 65 億美元的補貼,凸顯美臺半導體合作的重要性與國家安全考量,並顯示政府對關鍵技術自主供應的強力支援,此舉亦為美國半導體產業帶來新機會,並為臺灣企業開啟國際合作新視窗。