跳到正文

#部署/工程

RSS
今日 0 則
11月6日週五
  1. vLLM Official Blog75

    VeRL-Omni v0.3.0 擴充套件多模態強化學習訓練與非同步執行

    VeRL-Omni v0.3.0 擴充套件多模態強化學習的訓練配方與執行方式,將 V1 trainer 設為預設,並加入更多非同步 rollout、模型整合與硬體支援。

    推薦理由:MiniCPM-o 4.5 的對照實驗顯示,非同步訓練的每提示詞耗時優勢會隨回應長度改變,可供依工作負載選擇執行配置時參考。

  2. Databricks Blog60

    打造 Databricks Apps 的擴充指南

    Databricks Apps 的擴充指南,從需求設定、架構選擇、負載測試到監控,提供實際範例與最佳實踐。 - 目標設定:建議先確定 p95 延遲、峰值使用者數與成長預估,並針對 UI、冷啟動與 AI 生成回應進行分層設計。

  3. AWS What's New67

    Amazon DynamoDB 推出批次寫入專案功能

    Amazon DynamoDB 推出批次寫入專案功能,可將 Amazon S3 中的資料寫入既有 DynamoDB 資料表,無須自建擷取管線或管理資料表容量。

    推薦理由:DynamoDB 可直接從 S3 將資料寫入既有資料表,並提供標準與升級套餐,適用情境涵蓋每日重新整理、目錄擴充、回填與遷移。

11月5日週四
  1. AWS What's New58

    AWS Lambda 耐用函式提高預設執行與 API 配額

    AWS Lambda 耐用函式提高正在執行的耐用執行數與多組 API 請求速率配額,讓更多工作負載可並行執行,也提高監控與管理執行的頻率。 - 配額變更:每個帳戶的正在執行耐用執行數從 100 萬提高至 500 萬;啟動執行的函式呼叫速率從每秒 300 提高至 3,000 個請求。

  2. Baseten63

    Baseten Router 透過自動模型路由,將編碼成本降低 72%,並在所有閾值上優於隨機路由。 成本效益:在我們的基準測試中,Baseten Router 相較於 Opus 5.5 減少 72% 的編碼成本。 路由優勢:在所有閾值上均優於隨機路由,其他測試的路由器皆未達此表現。 自動化選擇:系統自動判斷何時使用高成本前沿模型,降低工程師手動調整成本。 適用場景:適合需要多模型部署且成本敏感的開發團隊。

  3. LMSYS Org Blog62

    Netpreme X-Mem™ 整合 SGLang HiSparse,加快大型語言模型讀取外接 KV 快取

    大型語言模型把 KV 快取放在 GPU 外,容量雖然變大,讀取速度和可同時處理的請求數仍會受限。Netpreme 將 X-Mem™ 整合進 SGLang HiSparse,讓 GPU 透過高速連線讀取外接快取;測試中,GLM-5.3 在 16K 上下文、每張 GPU 處理 192 個請求時,輸出延遲降低 49.25%(快取未命中率 20%)或 63.58%(40%)。在 16K 到 1M 上下文的測試裡,每張 GPU 的最高解碼吞吐量是使用主機 DRAM 的 2.09–3.04 倍;長上下文的提升也受惠於更大的記憶體容量,能同時處理更多請求。測試使用 X-Mem™ Pilot 虛擬機器,實際晶片之後才會供應。

    推薦理由:文章以 GLM-5.3 的測試比較外接記憶體的頻寬與容量如何影響解碼速度和同時處理的請求數,並指出小批次時差異不大。

11月4日週三