跳到正文

#部署/工程

RSS
今日 0 則
10月2日週五
  1. AWS Machine Learning Blog72

    利用 AWS 上的情境多臂賽局提升獲客漏斗轉換率

    本文說明如何在 AWS 上使用情境多臂賽局,提升獲客漏斗轉換率,並提供完整程式碼與架構示例。 - 核心成效:在七週 A/B 測試中,部分客群最終漏斗轉換率提升高單位數字,另一客群無提升。

    推薦理由:本文說明如何在 AWS 上運用情境多臂賽局提升轉換率,並提供完整程式碼與架構示例,適合想落實個性化推廣的工程師。

10月1日週四
  1. Modal Engineering Blog77

    Modal Clusters 正式上線:秒級啟動與按秒計費

    Modal Clusters 正式上線,透過單行程式碼 @modal.clustered 立即在 Modal 平臺上啟動多節點叢集,支援秒級啟動、按秒計費、RDMA 6.4 Tbps 互聯以及自動 GPU 健康檢查。

    推薦理由:Modal Clusters 以秒級啟動與按秒計費,解決多節點訓練與推理的資源排程難題,對需大規模模型開發者與推理服務商具有實際價值。

9月30日週三
  1. AWS Machine Learning Blog47

    如何在 SageMaker AI 上使用 vLLM-Omni 生成影像和影片(第二部分)

    本文介紹瞭如何在 Amazon SageMaker AI 上使用 vLLM-Omni Deep Learning Container 部署 FLUX.2-klein-4B 即時影像生成端點與 Wan2.1-VACE-1.3B 非同步影片生成端點。工作流通過傳送文本提示詞生成靜態影像,隨後將其作為條件輸入並結合運動提示詞傳輸至影片端點,最終從 Amazon S3 獲取生成的 MP4 影片。

  2. ollama release60

    Ollama v0.35.0 版本更新

    Ollama 發布 v0.35.0 版本,新增決策模型 API,支援結構化輸出,提升工作流程自動化。 - 決策模型功能:透過 /v1/systemone 端點,模型如 Nimble、Tev1 可回傳選項、機率與分數,適用於工單分類、模型路由等。

9月29日週二
9月28日週一
9月26日週六
  1. AWS Machine Learning Blog65

    AWS 詳解基於 Amazon Bedrock 構建生產級大語言模型質量保障體系

    AWS 團隊詳細介紹了面向生產環境的大語言模型質量保障架構,通過自適應管道編排、跨賬戶多模型故障轉移、即時流式評估、複合評估框架以及資料準確性驗證五項技術,在 Amazon Bedrock 上實現了約 99% 的數值準確率並支援即時流式響應。文章重點闡述瞭如何通過三階段自適應處理、獨立配額空間網格、生產者消費者併發模式及兩階段級聯驗證來解決模型幻覺、API 限流和驗證延遲等工程挑戰。

  2. AWS Machine Learning Blog49

    如何在 Amazon SageMaker AI 上部署 Qwen3-TTS 實現即時個性化語音克隆

    阿里雲千問團隊開發的 Qwen3-TTS-12Hz-1.7B-Base 語音模型現已上線 Amazon SageMaker JumpStart,支援通過託管的即時推理端點實現語音克隆與流式生成。該模型僅需數秒的使用者音訊片段與文本,即可在保持說話人聲音特徵的同時跨語言合成目標語音,並允許使用者在 AWS 環境中控制成本與資料安全。

9月25日週五
  1. Trail of Bits Blog75

    不要讓 TEEs 破壞你的 MPC

    TEEs 與 MPC 的結合雖能提升安全,但若未正確驗證與防禦,仍可能被回滾攻擊與測試失效等漏洞利用。 - 安全模型:在 TEE 內執行的 MPC 可將半誠實模型提升為惡意安全,但前提是 attestation 能驗證正確實作。

    推薦理由:本文深入剖析 TEE 與 MPC 組合的安全陷阱,並提供實務防禦建議,對安全工程師設計可信系統具有指導意義。

  2. LMSYS Org Blog61

    SGLang 如何加速 AI 助理的選項評分

    AI 助理要從多個動作中選一個時,系統可以先替每個選項打分,但重複處理相同背景會拖慢速度。這篇文章介紹 SGLang 的 Score API,讓程式明確要求 Yes 或 No 等標籤分數,也說明 MIS 如何在評估多個選項時共用相同背景。測試中,選項從 2 個增加到 16 個時,MIS 在部分模型上的延遲增加不多,但不同模型和負載下結果不一。文章也提醒,部署前要在預定流量下檢視實際處理量和較慢請求的延遲。

    推薦理由:文章比較 SGLang 在不同評分方式下的延遲表現,並提醒負載升高時要同時檢視實際吞吐量與尾端延遲。

9月24日週四
  1. GitHub Blog · AI & ML42

    GitHub Copilot app 如何渲染巨大的 pull request

    GitHub Copilot app 重構了 pull request 檢視,通過將文件高度拆分為確定性的程式碼高度與動態塊高度,並在極端負載下最佳化資料管道和虛擬化渲染,實現了在處理包含 2,200 個檔案、逾百萬改行及超過 400 條行內評論的巨大 pull request 時,依然保持快速流暢的審查體驗。

9月23日週三
  1. Vercel Blog61

    Vercel Sandbox Drives 進入公開測試版

    Vercel 公開測試版推出了 Drives 功能,允許在 Sandbox 中掛載持久化儲存目錄。Drives 可跨沙箱實例共享,支援讀寫掛載和只讀快照,最大容量可配置至 16 TiB。每個 Sandbox 可掛載四個 Drives,Hobby 計劃包含 15 GB 儲存、30 GB 讀寫配額。價格按儲存、讀寫計費,Hobby 計劃免費提供。

9月22日週二
9月21日週一
  1. vLLM Official Blog78

    vLLM 上 Qwen3.8‑2.4T 的 PD 服務最佳化

    vLLM 在 GB300 NVL72 叢集上針對 Qwen3.8‑2.4T 進行 PD 服務,實現每 GPU 5,000 個總 token 吞吐量以及每使用者 180 個生成 token 的低延遲表現。

    推薦理由:本篇詳盡說明如何在 vLLM 上針對 Qwen3.8-2.4T 進行 PD 服務調優,並提供可執行的 srt-slurm 配方,讓讀者能直接套用於其他模型。

9月18日週五
9月16日週三
  1. NVIDIA Blog49

    NVIDIA 如何通過 DSX 最大化 AI 工廠產能:從兆瓦到 token

    NVIDIA 推出旨在最佳化 AI 工廠每兆瓦 token 吞吐量的技術套件 NVIDIA DSX,涵蓋動態功耗分配、網格協同排程及生命週期管理等功能。Lambda 的實測結果顯示,在固定電源預算下利用 NVIDIA DSX MaxLPS 執行叢集可提升 24% 的 token 吞吐量。該平臺通過智慧化排程與即時監控,有效釋放了傳統靜態配置下的閒置算力。