跳到正文

#部署/工程

RSS
今日 0 則
10月12日週一
10月11日週日
10月10日週六
10月9日週五
  1. Hugging Face Blog60

    GPU叢集的高影響力排程

    GPU叢集的高影響力排程:Ai2 研究團隊提出以 GPU 時間預算、分層公平共享與時間切片合約為核心的排程系統,提升 GPU 利用率並縮短排隊延遲。 - 系統核心:GPU 時間預算 + 分層公平共享 + 最小執行時間合約,確保工作負載在預算內不被中斷。

  2. LMSYS Org Blog82

    SGLang 和 Miles 如何在 NVIDIA Vera Rubin 上加速模型推論與訓練

    新一代 GPU 換了硬體,原本的模型服務和訓練程式也得重新調整,才能把運算資源用得更好。SGLang 團隊在 NVIDIA Vera Rubin 上測試推論與訓練:他們調整注意力、專家模型和資料傳送等程式,讓 Kimi K3 在特定設定下跑得更快;例如,合併多個小步驟後,每次生成少了 276 次程式啟動,整體速度提升 5.9%。Miles 也能在這套硬體上進行強化學習訓練,包含讓 AI 助理在沙盒環境中解題。這些是初步測試,團隊接下來會擴大規模並繼續改善效能。

    推薦理由:這篇實測拆解 Vera Rubin 上的推論與訓練調整,並列出各項改動帶來的速度差異,可看出硬體資源如何影響 SGLang 的最佳化方向。

10月8日週四
  1. AWS Machine Learning Blog81

    使用 Lambda Durable Functions 與 Bedrock 自動化處理 DevOps Agent 事件,縮短 MTTR

    AWS DevOps Agent 事件調查完成後,系統利用 Lambda Durable Functions、EventBridge 與 Amazon Bedrock 建立自動化修復工作流,將調查摘要轉成可執行的修復方案,並在必要時透過人工批准完成變更。

    推薦理由:如何結合 Lambda Durable Functions 與 Bedrock,處理 DevOps Agent 事件,縮短 MTTR。

10月7日週三
  1. AWS Machine Learning Blog73

    在 AgentCore 與 OpenClaw 上構建具備上下文感知的 AI 助手

    AgentCore 與 OpenClaw 的結合,讓開發者能以單一 CloudFormation 模板在 AWS 上快速部署具備長期記憶的 AI 助手。

    推薦理由:本文示範如何利用 AgentCore 與 OpenClaw 建構可持續記憶的 AI 助手,並說明成本與部署方式,對想在 AWS 上快速落地個人化助手的開發者具有參考價值。

10月6日週二
10月5日週一
10月4日週日
10月3日週六
  1. OpenAI News39

    GPT-6 系列模型使用指南

    summary_zh: 這份指南說明瞭創業公司如何選擇 GPT-6 模型、調整推理力度、改進提示與技能、協調工具並為生產準備工作流程。 - 模型選擇:提供不同 GPT-6 版本的比較,協助決定最適合業務需求的模型。

  2. AWS Machine Learning Blog73

    Amazon Quick 與 Adjudicated Query 模式掃描數千份租約以符合合規要求

    Amazon Quick 與 Adjudicated Query 模式可讓合規團隊在數千份租約中進行可驗證且可防禦的掃描。 - 核心概念:Adjudicated Query 將自然語言查詢對映到固定操作,確保決策由 deterministic rules engine 做出。

    推薦理由:此文章示範如何使用 Amazon Quick 搭配規則引擎,實現可驗證的租約合規掃描,對於需要完整性與可防禦性的合規團隊具有參考價值。

10月2日週五
  1. cloudflare blog83

    Cloudflare 企業級功能全面開放:向所有客戶擴充套件可用性

    Cloudflare 近日將先前僅限企業方案的功能擴充套件至所有方案,並提升多項使用上限。 - Logpush & Transformers:從 Enterprise 方案擴至免費、Pro、Business,支援更廣泛的資料來源與 SQL 過濾。

    推薦理由:Cloudflare 讓企業級功能普及至所有方案,顯著提升小型客戶的使用效能與可擴充套件性