跳到正文

#部署/工程

RSS
今日 0 則
11月13日週五
  1. AWS What's New57

    AWS Systems Manager 用 Cloud Connector 集中管理 Google Cloud VM

    同時管理 AWS、Google Cloud 和其他環境的虛擬機器,過去常要在每個環境分別設定。AWS Systems Manager 的 Cloud Connector 現在支援 Google Cloud,可自動在 Google Cloud VM 大規模部署 SSM Agent。接上後,這些 VM 會和 EC2、本機伺服器及 Azure 資源一起出現在同一個管理畫面,團隊也能用同一套工作流程執行遠端連線、指令、修補和清查等工作,減少跨雲管理的繁瑣設定。

  2. AWS What's New65

    AWS Secrets Manager 支援把金鑰複製到其他帳戶

    如果主要 AWS 帳戶故障或遭入侵,存放在裡面的金鑰也可能無法使用。AWS Secrets Manager 現在能把金鑰同步複製到另一個 AWS 帳戶,主金鑰更新或輪換時,副本也會自動更新;副本使用自己的客戶管理 KMS 金鑰加密,不需要共用 KMS 金鑰或設定跨帳戶金鑰政策。團隊可以把副本放在專用的復原帳戶,需要時再將它升級成獨立金鑰。

    推薦理由:跨帳戶副本會隨主金鑰變更與輪換自動更新,並由副本帳戶自己的 KMS 金鑰加密,適合瞭解金鑰備援的管理方式。

  3. AWS What's New56

    Amazon SageMaker 融通式合作開發工作室可依成員稱號自訂介面

    不同工作的人看到一樣的工具介面,可能會覺得混亂,也可能造成管理問題。Amazon SageMaker 融通式合作開發工作室現在讓網域管理員依成員的稱號設定可見工具,並把同一套版面套用到網域內所有專案,不必逐一調整。比如,SQL 分析師可以只看到查詢編輯器,機器學習工程師則可看到筆記本、訓練作業和模型端點。成員若直接開啟被隱藏的頁面,會看到拒絕存取的提示;有多個稱號的人則會看到各稱號設定工具的合併結果。

  4. AWS What's New52

    AWS Batch 在 Amazon EKS 新增容器安全設定

    在 Amazon EKS 上執行 AWS Batch 工作時,叢集的容器安全規範可能限制工作能使用的許可權與系統呼叫。AWS Batch 現在可在作業定義中設定 Linux capabilities、seccomp 設定檔和容器組層級的安全設定,例如 fsGroup。容器自己的設定會優先於容器組的預設值。這些設定可透過 AWS 管理主控臺、AWS CLI、AWS SDK 或 AWS CloudFormation 配置,適用於提供 AWS Batch 的所有 AWS 區域。

  5. Databricks Blog73

    Apache Spark Real-Time Mode 是什麼?如何讓串流資料更快處理

    資料要等到下一批才開始處理時,串流工作可能得花上一秒以上才有結果。Apache Spark 的 Real-Time Mode 會在資料一到就持續處理,沿用原本的查詢程式,讓不帶狀態的工作達到個位數毫秒延遲;有狀態的工作則約為 140 毫秒 p99。使用時要替所有處理階段預留運算資源,並用專屬延遲指標監控。它支援 Kafka 等來源與多種運算,但不能直接寫入 Delta 表;若工作可以等幾秒或幾分鐘,成本較低的微批次處理會更合適。

    推薦理由:文章整理 Real-Time Mode 的啟用條件、支援範圍與監控方式,能幫助團隊判斷哪些串流工作適合改用毫秒級處理。

  6. vLLM49

    我們在 vLLM 上針對 Vera Rubin NVL72 最佳化 DeepSeek-V4.1-Flash,在 SemiAnalysis AgentX 上達到 GB300 NVL72 的 58 倍吞吐量,效能為 1.7 million tokens/s/GPU、387 tokens/s/user。 不同負載下: 🔹 峰值吞吐量為 2.52 million tokens/s/GPU(GB300 的 2.7 倍) 🔹 P90 為 387 tokens/s/user 時,吞吐量為 1.7 million tokens/s/GPU(GB300 的 58 倍) 🔹 使用 TP、單一並行工作階段時為 1,810 tokens/s 1/4

  7. vLLM Official Blog85

    vLLM 如何在 Vera Rubin NVL72 上提升 DeepSeek-V4.1-Flash 推論效能

    vLLM 說明如何在 Vera Rubin NVL72 上部署 DeepSeek-V4.1-Flash,並透過核心最佳化與機架級記憶體池提升服務吞吐量與延遲表現。

    推薦理由:文章拆解 Vera Rubin NVL72 上的核心最佳化,並以 AgentX 資料呈現吞吐量、延遲與快取命中率的變化,可供評估大規模模型服務的部署取捨。

  8. AWS Machine Learning Blog68

    Amazon Bedrock 推論成本調整指南:四項請求設定與測試方法

    Amazon Bedrock 說明如何透過調整快取期限、服務層級、推理努力程度與 maxTokens,測量推論成本及輸出變化。 - 快取期限:Claude Sonnet 5 與 Claude Opus 5 的快取讀取費率為輸入費率的 0.1 倍;在每小時至少三次請求、且請求間隔超過 5 分鐘的條件下,文中指出 1 小時快取可比不快取更省成本。

    推薦理由:文章以快取重用率、Flex 支援情況、推理努力程度與輸出上限為例,整理逐項測試成本並同步檢查品質的方法。

  9. LangChain Blog40

    企業如何掌握自身 AI 智慧,建立持續優勢

    LangChain 指出,企業若要把 AI 用於營運核心或客戶產品,就必須掌握讓通用智慧符合自身業務需求的系統,才能創造實際效益並建立差異化。 - 掌控AI 助理系統:管理模型、協調層(harness)與情境資料,包括檔案、政策、工具、技能、偏好、組織知識與記憶;保留切換模型供應商的彈性,也能避免供應商鎖定。

  10. AWS Machine Learning Blog74

    如何以 Amazon Bedrock 和 LiteLLM 建置自助式 LLM 閘道

    AWS 說明如何以 LiteLLM、AWS Fargate 與 Amazon Bedrock Application Inference Profiles 建置自助式 LLM 閘道,讓開發者透過 OpenAI 相容 API 使用模型,並管理個別使用者的成本與用量。

    推薦理由:文章以數百名開發者的部署經驗,說明閘道在成本控管、長請求逾時與跨區配額上的設定取捨,並提供可操作的配置範例。

  11. AWS Machine Learning Blog66

    AWS 說明如何降低 Amazon Bedrock 每項任務成本並衡量 Agent 投資報酬

    AWS 說明如何計算 Amazon Bedrock 的每項任務成本、降低 Agent 支出,並透過人工基準與對照實驗衡量投資報酬。 - 四項隱藏成本:Tokenizer 效率、輸出冗長程度、Agent 工具迴圈次數與推理開銷,都會影響實際任務成本。

    推薦理由:文章把模型成本拆解為 token 效率、輸出長度、工具迴圈與推理開銷,並提供以成功任務成本和人工基準衡量 Agent 投資報酬的實作框架。

  12. Databricks Blog62

    Databricks 推出 Lakehouse//RT Beta,主打高併發即時分析與降低基礎設施成本

    Databricks 推出 Lakehouse//RT Beta,讓即時分析直接查詢 lakehouse 資料,並以高併發、較快查詢與小幅自動擴縮,降低工作負載成長時的基礎設施成本。

    推薦理由:文章以 Aurasell、VisionHeight 與 nOps 的案例呈現查詢速度、基礎設施成本及資料重複量的變化,可用來瞭解 Lakehouse//RT 在即時分析工作負載中的實際取捨。

  13. AWS Machine Learning Blog78

    AWS 升級 Amazon Bedrock AgentCore Runtime,提升AI 助理執行效能與資料隔離

    AWS 宣佈推出新一代 Amazon Bedrock AgentCore Runtime,在維持每個工作階段硬體隔離的前提下,提升啟動速度、運算容量與資源使用效率。

    推薦理由:AgentCore Runtime 同時調整啟動速度、運算容量、記憶體計費與資料隔離,呈現企業部署長時間、多工作階段AI 助理時的基礎設施取捨。

  14. AWS What's New58

    Amazon MWAA 新增精細許可權管理,讓多個團隊共用環境

    多個團隊共用 Apache Airflow 環境時,管理者需要控制每個人能看到哪些工作流程和資源。Amazon MWAA 現在可連線 IAM Identity Center,依使用者的許可權設定控制他們能對哪些工作流程、連線和變數進行操作;多團隊功能則讓各團隊把自己的 DAG 放在不同資料夾,並依群組成員資格決定誰看得到。這樣團隊能共用同一套環境,減少重複設定與基礎設施成本。多團隊功能目前仍在預覽階段,兩項功能已在提供 Amazon MWAA 的所有 AWS 區域推出。

  15. LMSYS Org Blog47

    SGLang 成為 NVIDIA NIM 認證微服務的推論引擎,協助企業部署 AI 模型

    公司要讓 AI 模型在自家裝置上順利運作,得先確認模型、硬體和設定彼此相容,也要知道實際使用時跑得多快。現在 NVIDIA NIM 認證微服務採用開源推論引擎 SGLang,提供經過驗證的容器與設定,並為部分模型調整效能;NIM 計畫也已驗證超過 30 種 NVIDIA 硬體規格和超過 37 個熱門模型。企業可從整理好的設定開始部署,有特殊需求時仍能調整引擎設定,並可選擇透過 NVIDIA AI Enterprise 取得支援與安全維護。

  16. LMSYS Org Blog59

    RadixArk Miles 如何用 NVIDIA Vera CPU 加快 AI 助理訓練沙盒

    訓練 AI 助理時,模型會在沙盒裡反覆執行指令和測試;沙盒跑得慢,整個訓練也會跟著等。RadixArk 團隊用 Miles 在 NVIDIA Vera CPU 上執行所有沙盒,並和 AMD Turin 比較。在相同設定下,Turin 上的每個訓練回合平均多花 12% 時間;作者也觀察到,回合較短能讓訓練資料更新得更快,減少 GPU 記憶體閒置,以及整組回合等最慢一個完成的時間。文中的結果來自作者測試的任務與環境。

11月12日週四
  1. PyTorch Blog80

    PyTorch 與 TorchTitan 如何在歐洲公共基礎設施上訓練 1T 引數 MoE

    EUROPA consortium 說明如何運用 PyTorch 與 TorchTitan,在 JUPITER 超級電腦上將約 1T 引數的 MoE 預訓練吞吐量提升至每張 GPU 約 1,300 tokens/s。

    推薦理由:文章拆解了 PyTorch 與 TorchTitan 在共享超級電腦上的多項訓練調校,並以吞吐量變化呈現通訊、記憶體與計算重疊的影響。

  2. AWS What's New58

    AWS Backup 用 YAML 規則修改 Amazon EKS 還原資源

    從備份還原 Amazon EKS 時,若備份來自其他帳戶或 AWS 區域,還原後的設定可能仍指向原本環境的 IAM 角色、資料庫端點或 Amazon ECR 登入檔網址,得逐項手動修改。AWS Backup 現在支援資源修改器,可先用 YAML 檔寫好轉換規則,再由系統在還原時自動套用,讓還原後的叢集符合目標環境,也減少手動更新耗時和出錯的機會。這項功能已在所有 AWS 商業區域及 AWS GovCloud(美國)區域推出。

  3. AWS What's New59

    Amazon Route 53 Domains 開放自行還原過期或誤刪網域

    網域過期或不小心刪除,可能讓網站、電子郵件和應用程式無法使用。Amazon Route 53 Domains 現在支援透過 Route 53 控制台、AWS CLI 或 AWS SDK 提交還原申請;使用者可以先檢視價格、接受費用,再送出申請。Route 53 會與頂級網域註冊局合作,重新啟用網域並交還給你的 AWS 帳戶。大多數頂級網域支援還原,但可還原的期限由各註冊局決定,而且費用通常高於註冊或續約。

  4. AWS What's New59

    Amazon FSx for Lustre 將智慧分層的最低吞吐能力與中繼資料 IOPS 降低 75%

    使用 Lustre 智慧分層時,從小型資料集起步的工作負載原本也要配置較高的最低效能。AWS 將 Amazon FSx for Lustre 智慧分層檔案系統的最低吞吐能力從 4000 MBps 降到 1000 MBps,最低中繼資料 IOPS 則從 6000 降到 1500,兩者都降低 75%。這讓高效能運算與機器學習工作負載能以較低的起步門檻使用智慧分層;新設定已在提供該儲存類別的所有 AWS 區域推出。

  5. AWS What's New52

    Amazon RDS for SQL Server 支援 M8id 和 R8id 執行個體

    資料庫處理暫存資料時,讀寫速度和備份大小都會受到儲存位置影響。Amazon RDS for SQL Server 現在支援 M8id 和 R8id 執行個體,建立或修改執行個體時,系統會自動把 tempdb 的資料和記錄檔放在本機 NVMe SSD,原本的資料庫資料和記錄檔則繼續放在 Amazon EBS。這能讓 tempdb 讀寫延遲低於使用 Amazon EBS,備份快照也不會包含這些暫存檔,因此佔用的免費備份空間較少。新執行個體已在多個 AWS 區域推出。