跳到正文

#開源專案

RSS
今日 0 則
10月26日週一
10月25日週日
10月24日週六
  1. AWS Machine Learning Blog75

    使用 AWS CDK 管理 SageMaker AI 端點自動擴縮

    導語:本文說明如何利用 AWS CDK 建構可自動化的 SageMaker AI 端點自動擴縮機制,讓開發者在更新端點配置時避免部署失敗。

    推薦理由:本文說明如何利用 AWS CDK 建構可自動化的 SageMaker AI 端點自動擴縮機制,讓開發者在更新端點配置時避免部署失敗,並可直接在 CDK 程式碼中引用,提升部署效率與可維護性。

10月23日週五
  1. Amazon Science82

    Amazon 推出 TorchNeuron,讓 PyTorch 程式在 AWS Trainium 上執行

    Amazon 宣佈推出開源 PyTorch backend TorchNeuron,可將 PyTorch 程式轉換為能在 AWS Trainium 系統上執行的操作,既有程式通常只需少量或不需修改。

    推薦理由:文章說明 TorchNeuron 如何透過分層快取、adaptive eager 模式與分階段測試支援 PyTorch 在 Trainium 上執行,呈現其執行效率與相容性設計。

  2. AWS Machine Learning Blog81

    停止猜測 Amazon SageMaker AI 上 TTS 的自動擴縮目標

    Kokoro‑82M 在 Amazon SageMaker AI 上被部署為自訂容器,並以兩項實測資料取代預設的 auto‑scaling 引數。 - Q_max:單一實例在 95% SLO(3,000 ms)下可支援最高 50 個併發請求,超過即會違規。

    推薦理由:本篇示範如何以實測資料取代預設 auto‑scaling 引數,並提供完整的測試流程與驗證機制,幫助開發者在 SageMaker 上部署高效、可靠的 TTS 服務。

10月22日週四
  1. Wiz Blog & Research79

    ARTEX 在現場:Storm-0940 擴大對 IT 與軟體供應商的攻擊目標

    ARTEX 是一個自主 AI 滲透測試框架,2026 年被攻擊者用於針對 IT 與軟體供應商的身份驗證與供應鏈攻擊。 - 攻擊物件:IT 與軟體供應商,重點針對身份提供者 Okta、Entra、Cognito 及 Microsoft 365 整合。

    推薦理由:此研究揭示 AI 驅動滲透測試框架 ARTEX 如何被利用於大規模身份提供者攻擊,提醒防禦者須加速 AI 風險應對。

  2. PyTorch Blog77

    TorchTitan 更新:支援新 SOTA 模型、擴充套件大規模訓練效能與 TitanRL 功能

    TorchTitan 以 PyTorch 原生實現,提供 SOTA 模型支援與大規模訓練效能,讓研究者與產業可在同一框架下快速落地。 - 新模型支援:Muse Spark Open、Muse Glimmer、Qwen3-VL、Qwen3.5、Kimi K2.7、Kimi K3、DeepSeek-V4 全訓練堆疊整合,並可透過 5D 並行化調整硬體。

    推薦理由:TorchTitan 以 PyTorch 原生實現,提供 SOTA 模型支援與大規模訓練效能,讓研究者與產業可在同一框架下快速落地。

  3. LMSYS Org Blog55

    SGLang 推出 AWS Trainium 外掛測試版,支援模型推論與 RL rollout

    長時間提供大型語言模型服務和產生 RL 訓練資料都會持續消耗運算資源,團隊得考量每個 token 的成本。SGLang 和 AWS 合作推出 Trainium 外掛測試版,讓 SGLang 能在 Trainium2 和 Trainium3 上提供模型推論服務,也能產生 RL rollout。開發者可沿用熟悉的 PyTorch 工作方式,搬動現有工作時只需少量修改。團隊也展示一種分工方式:在 Trainium3 上產生 Qwen3-MoE-30B-A3B 的 rollout,再用單臺 H200 主機訓練模型。測試版目前只開放給少數團隊申請,效能調整仍在進行中。

10月21日週三
  1. vLLM Official Blog76

    Ant Group 與 vLLM 社群開源 Humming:面向量化推理的高效核心函式庫

    Ant Group 與 vLLM 社群共同開源 Humming,這是一個專為量化推理設計的通用、高效能核心函式庫,支援從 Turing 架構起的 NVIDIA GPU 與相容裝置。

    推薦理由:原文公開了專為量化推理設計的核心函式庫架構與效能資料,開發者可據此評估在不同硬體環境下的推理加速方案。

  2. PyTorch Blog88

    Google 與 Meta 共同推出原生 PyTorch TPU 後端 TorchTPU

    Google 與 Meta 共同開源推出 TorchTPU,為 Google TPU 提供原生且符合 PyTorch 設計哲學的後端架構。 - 核心特性:支援即時(eager)與編譯(compiled)模式,包含全新的 DeferAndFuse 執行模式,可顯著提升效能並減少高頻寬記憶體(HBM)佔用。

    推薦理由:文章詳細說明 Google 與 Meta 合作推出原生的 PyTorch 執行後端,有助於開發者評估在 TPU 上無縫執行與遷移開源模型的效能表現。

10月20日週二