跳到正文

#開源專案

RSS
今日 0 則
11月14日週六
  1. PyTorch Core Releases42

    PyTorch 調整 CSR SpMM 的 CPU 工作分配,讓稀疏矩陣運算更有效率

    CSR SpMM 遇到每列有很多非零值、而且右側資料有很多欄時,每列要做的運算會變多。這次 PyTorch 修改了 CPU 分配工作的方式,讓這類情況可以把資料列切得更細,也把原本每處理一個非零值都要呼叫的程式改成直接累加,少一次額外呼叫。修改也保留非連續資料的支援,並加入浮點數與複數資料的正確性測試,確認右側資料和輸出都不是連續排列時仍能正確運算。

11月13日週五
  1. clem 🤗79

    使用雲端 AI 服務時,資料可能要傳到別處處理。llama.cpp 推出 v1,這是這套本機執行 AI 模型的工具第一個完全穩定的主要版本,可在手機、筆電和工作站上使用。作者表示,這讓使用者能免費使用 AI,不必把資料傳給別人,也能自行掌控;團隊也希望支援各種硬體、平臺和模型,讓 AI 不只集中在少數公司手中。

    推薦理由:llama.cpp v1 主打讓 AI 模型直接在手機、筆電和工作站執行,文中也說明這種做法如何減少資料外傳,並讓使用者掌控自己的資料。

  2. Hugging Face Transformers Releases76

    Hugging Face Transformers 發布 v5.23.0,更新模型匯出與多模態支援

    模型要在不同執行環境使用,匯出、分享和重新載入往往得處理不同流程。Hugging Face Transformers v5.23.0 把這些步驟整合到 ExportedModel,支援 Dynamo、ONNX Runtime、OpenVINO 和 ExecuTorch;匯出的模型可以推送到 Hub,再由對應環境載入。這版也加入多個模型支援,修正視覺、音訊、快取和分散式運算問題。效能比較顯示,在列出的測試中,ONNX Runtime 和 OpenVINO 都比 eager PyTorch 快,但實際差異會依硬體和設定而變。

    推薦理由:這次更新把模型匯出、分享與載入整合成相近的操作方式,也列出不同執行環境的速度比較,可看出部署流程有哪些變化。

  3. Hugging Face Blog64

    llama.cpp 與 ggml 發布 v1.0.0,讓 API 相容性變更更清楚

    使用 llama.cpp 和 ggml 的開發者越來越多,程式庫介面一旦改變,可能影響依賴它們的其他軟體。ggml-org 發布 llama.cpp 與 ggml 的 v1.0.0,並說明往後若公開 API 或 ABI 出現不相容變更,主版本號就會增加,讓開發者更容易看出升級可能帶來的影響。文章也列出主版本號、小版本號與修補版本各自適用的變更型別,並說明目前支援超過 150 種模型架構變體。

    推薦理由:llama.cpp 與 ggml 升至 v1.0.0 後,公開 API 的相容性變更會反映在主版本號,方便依賴這些程式庫的開發者掌握升級影響。

  4. Microsoft ONNX Runtime Releases75

    ONNX Runtime 1.32.0 加快大型模型啟動,新增 CPU 與 GPU 混合處理功能

    大型模型的計算圖很大時,ONNX Runtime 建立工作階段可能要等很久。1.32.0 改善了記憶體安排和計算圖整理方式,讓一個有 10 萬個節點、內容以常數為主的模型,啟動時間從超過 10 分鐘縮短到約 5 秒。新版也能把量化 MoE 模型的工作分配給 CPU 和 GPU,並加入 ONNX opset 28 支援。使用者升級時要留意,舊的 ACL 執行提供者已移除;CUDA 和 WebGPU 外掛也要搭配相符版本,以免運作錯誤或當機。

    推薦理由:新版把大型計算圖的啟動時間從超過 10 分鐘降到約 5 秒,也加入 CPU 與 GPU 混合處理量化 MoE 模型的功能,能看出它在大型模型部署上的改進。

  5. OpenAI Codex Releases67

    OpenAI Codex 0.168.0 更新加入模型供應商設定與多項 TUI 功能

    OpenAI Codex 0.168.0 新增模型供應商瀏覽與新對話預設選擇,並加入可調整的側邊對話、錄音附件及動畫 GIF 生成等功能。 - 新增功能:可在 TUI 中檢視模型供應商並設定新對話的預設供應商;側邊對話窗格可調整大小或放大。

    推薦理由:本次更新涵蓋模型供應商設定、側邊對話、錄音附件與動畫 GIF 生成功能,並修正多項 TUI 與 Windows MCP 行為,呈現 Codex 的近期使用變化。

  6. PyTorch Blog67

    Helion 為 Triton 核心加入編譯期啟發式設定,免自動調校提升效能

    PyTorch 宣佈 Helion 在 Triton 後端加入編譯期啟發式設定,分析核心的 IR 與資料流,自動選擇設定,免去自動調校即可提升多組測試的效能。

    推薦理由:Helion 在 H100 與 B200 上預設啟用編譯期啟發式設定;文中多組基準比較呈現其效能與完整自動調校之間的差距。

  7. LMSYS Org Blog59

    RadixArk Miles 如何用 NVIDIA Vera CPU 加快 AI 助理訓練沙盒

    訓練 AI 助理時,模型會在沙盒裡反覆執行指令和測試;沙盒跑得慢,整個訓練也會跟著等。RadixArk 團隊用 Miles 在 NVIDIA Vera CPU 上執行所有沙盒,並和 AMD Turin 比較。在相同設定下,Turin 上的每個訓練回合平均多花 12% 時間;作者也觀察到,回合較短能讓訓練資料更新得更快,減少 GPU 記憶體閒置,以及整組回合等最慢一個完成的時間。文中的結果來自作者測試的任務與環境。

11月12日週四
  1. PyTorch Blog80

    PyTorch 與 TorchTitan 如何在歐洲公共基礎設施上訓練 1T 引數 MoE

    EUROPA consortium 說明如何運用 PyTorch 與 TorchTitan,在 JUPITER 超級電腦上將約 1T 引數的 MoE 預訓練吞吐量提升至每張 GPU 約 1,300 tokens/s。

    推薦理由:文章拆解了 PyTorch 與 TorchTitan 在共享超級電腦上的多項訓練調校,並以吞吐量變化呈現通訊、記憶體與計算重疊的影響。

11月11日週三
  1. Browser Use Releases63

    browser-use 1.0.2 修正 MCP 瀏覽器操作與錯誤回報

    使用 MCP 操作瀏覽器時,遇到遠端除錯未開啟或頁面載入很慢,可能會卡住。browser-use 1.0.2 讓命令列和 MCP 可以改用自己的 Chromium,並讓 CDP 呼叫等待 20 秒;如果頁面被 JavaScript 對話方塊卡住,則會快速顯示處理提示。MCP 的瀏覽器程式碼也能在 Windows 用 UTF-8 讀寫檔案,並新增回報問題的方式,送出前會先清理文字。

    推薦理由:這次更新補上 MCP 使用自有 Chromium、慢頁面等待與 JavaScript 對話方塊卡住時的處理方式,能看出瀏覽器自動化流程如何回報錯誤並收集意見。

  2. LMSYS Org Blog83

    SGLang 團隊用 megakernel 讓 Muse Spark Open 在 Blackwell GPU 上達到每秒 1,109 個 token

    GPU 執行模型時,工作被拆成許多小步驟,步驟之間的等待會讓部分晶片閒著。LMSYS 團隊為 Muse Spark Open 寫了一種叫 megakernel 的大型 GPU 程式,把每一層的多項工作合在一起,讓不同部分能趁空檔先處理下一件事。在 Blackwell GPU 上,單次請求的解碼速度從每秒 517 個 token 提升到 1,109 個 token;團隊也把草稿模型的執行步驟從 175 次減到 8 次。這種做法目前只支援搭配猜測解碼的單一請求,團隊接下來打算擴充到多個請求。

    推薦理由:文章拆解 megakernel 如何合併 GPU 工作、減少等待,並以 Muse Spark Open 的實測展示效能變化,能看出低延遲推論的工程取捨。

11月10日週二
  1. PyTorch67

    PyTorch 介紹 CUDA Tile 如何將分開計算多個專案的直接實作融合成單一 tiled kernel,並將矩陣保留在暫存器中。 程式設計方式:使用 Python 型 DSL 與以 tile 為核心的原語,自動針對 Tensor Cores 和其他進階 GPU 硬體功能進行最佳化。 文章內容:提供範例、檔案與程式碼,展示如何撰寫清晰、易讀且高效能的 kernel。 全文:https://t.co/YVLyHtfWuJ

    推薦理由:CUDA Tile 將分開計算多個專案的 PyTorch 實作融合為單一 tiled kernel,並讓矩陣保留在暫存器中,呈現其核心程式設計方式。