跳到正文

#部署/工程

RSS
今日 0 則
10月22日週四
  1. LMSYS Org Blog55

    SGLang 推出 AWS Trainium 外掛測試版,支援模型推論與 RL rollout

    長時間提供大型語言模型服務和產生 RL 訓練資料都會持續消耗運算資源,團隊得考量每個 token 的成本。SGLang 和 AWS 合作推出 Trainium 外掛測試版,讓 SGLang 能在 Trainium2 和 Trainium3 上提供模型推論服務,也能產生 RL rollout。開發者可沿用熟悉的 PyTorch 工作方式,搬動現有工作時只需少量修改。團隊也展示一種分工方式:在 Trainium3 上產生 Qwen3-MoE-30B-A3B 的 rollout,再用單臺 H200 主機訓練模型。測試版目前只開放給少數團隊申請,效能調整仍在進行中。

10月21日週三
  1. NVIDIA Blog79

    NVIDIA Cloud Partners 擴充套件歐洲雲端基礎設施 — 主權、開放與安全 AI 代理

    NVIDIA Cloud Partners 在歐洲擴大雲端基礎設施,並推出安全代理架構與開放模型服務。 - Nscale 利用 NVIDIA DSX 平臺,測試中提升 37% GPU 效率與 50% 推理吞吐量。

    推薦理由:文章說明 NVIDIA 及合作夥伴如何在歐洲擴大 AI 雲端基礎設施,並提供安全邊界與開放模型,對於想在歐洲部署 AI 代理的開發者與企業具有實務參考價值。

  2. AWS What's New64

    Amazon DynamoDB 全域性表已支援取消關聯副本

    Amazon DynamoDB 全域性表現在可取消副本,並可在保留本地表的同時停止跨區域複製。 - 取消副本:可在任何區域停止向副本複製或從副本複製。 - 保留本地表:不需要刪除表或資料,仍可作為單區域表使用。 - 多帳戶支援:同帳戶與多帳戶全域性表均可取消副本。 - 操作方式:可透過管理控制台、CLI、API 或 CloudFormation。

  3. Wiz Blog & Research85

    Wiz Sensor 進入 GKE:一鍵啟用執行時保護,原生整合

    Wiz Sensor 以一鍵方式整合至 Google Kubernetes Engine,成為 GKE 原生的執行時安全附加元件。 - 部署方式:在 GKE 標準與 Autopilot 叢集上,透過 gcloud add-on 或 Cloud Console 只需一個 flag 即可啟用。

    推薦理由:將 Wiz Sensor 與 GKE 原生整合,使用者可一鍵啟用執行時安全,降低部署成本並提升防禦即時性。

  4. AWS Machine Learning Blog76

    微調 GPT‑OSS‑20B 於 Amazon SageMaker HyperPod 上的多語言推理

    本文示範如何在 Amazon SageMaker HyperPod 上使用 SFT 與 GRPO 微調 GPT‑OSS‑20B,使其在多語言推理任務中的推理語言正確率從 22% 提升至 100%,並在答案語言上提升至 70%。

    推薦理由:本篇示範如何在 SageMaker HyperPod 上使用 SFT 與 GRPO 微調 GPT-OSS-20B,並揭示兩種技術的適用場景,對想要提升多語言推理模型的實務團隊具有參考價值。

  5. LMSYS Org Blog82

    SGLang 如何在服務不中斷時,替 MoE 模型加入 GPU

    大型 MoE 模型流量增加時,常見做法是多開一份完整服務,或停機重啟來增加 GPU;兩種方式都會帶來額外成本或等待時間。這篇文章說明 SGLang 如何讓運作中的服務逐步加入 GPU,例如把 20 張 GPU 擴到 24 張,準備新 GPU 時原本的服務仍可工作。擴充前要先設定可達到的 GPU 上限,預留的通訊記憶體越多,留給 KV cache 的空間就越少。文中在 8 張 H100 上比較,擴充後首次完成請求的時間比重啟快 5.3 到 8.2 倍;轉換期間則會暫停傳送 token。

    推薦理由:文章說明 SGLang 如何在服務持續運作時分批加入 GPU,並比較轉換時間與輸出速度,可用來評估大型 MoE 部署的擴充方式。

10月20日週二
  1. Hacker News (official RSS)47

    **title_zh:**

    Abliterated Models 如何讓你被攻擊 summary_zh: Abliterated Models 讓你被攻擊。 - 背後機制:通過「abliteration」將模型中拒絕回答的權重減去,讓模型在安全調校時會回答本應拒絕的請求。

  2. vLLM Official Blog73

    vLLM 推出 TorchTPU 後端,讓既有模型可部署於 Google Cloud TPU

    vLLM 推出 TorchTPU 後端,讓多數既有 vLLM 模型可在 Google Cloud TPU 上執行,無須修改模型程式碼。 - 服務介面:沿用 vLLM 的 CLI、OpenAI 相容伺服器、排程器與 KV cache 管理器,並支援六種平行化維度。

    推薦理由:vLLM TorchTPU 延用既有模型程式碼與服務介面,呈現 TPU 後端如何減少模型移植工作並保留原有部署流程。

  3. AWS Machine Learning Blog77

    vLLM 中雙向 KV 轉移提升多輪 Agentic 工作負載的 TTFT

    vLLM 在 1P1D 部署下,透過雙向 KV 轉移將 Qwen3‑32B 的 TTFT 降至 1.6 倍、GLM‑5‑FP8 降至 3.3 倍。 - TTFT:Qwen3‑32B 由 158 ms → 460 ms(長 prompt 24k),GLM‑5‑FP8 由 500 ms → 702 ms(20k)。

    推薦理由:此研究證明雙向 KV 轉移能將多輪對話的 TTFT 降低 1.6x–3.3x,對需要高效推理的 agentic 應用具有實際效益。

  4. LMSYS Org Blog88

    SGLang 推出 SGLang-TorchTPU,讓 PyTorch 推論服務也能跑在 TPU 上

    想把 AI 模型放到 TPU 上跑,開發者往往得另外處理硬體支援。RadixArk 的 SGLang 團隊與 Google、Meta 合作推出 SGLang-TorchTPU,讓 SGLang 能用 PyTorch 在 Google Cloud TPU 上提供模型服務,也支援多種開源模型和服務功能。文章列出已支援模型與功能,並說明有些專案仍在測試;Meta 已在正式環境使用這套服務。團隊也展示用 TPU 進行強化學習訓練的流程,但目前仍是預覽版,接下來會擴大型模型與訓練規模。

    推薦理由:SGLang-TorchTPU 把同一套 PyTorch 推論服務帶到 TPU,並列出實際支援的模型與功能,可瞭解它目前能處理哪些部署需求。

10月19日週一
10月18日週日