跳到正文

部署工程

把模型跑起來的工程實踐:推理最佳化、視訊記憶體與成本、Serving 架構與基礎設施選型。

最新精選

第 261–280 條 · 共 378 條
11月4日週三
  1. Hacker News (official RSS)79

    AmpUp 推出 Enterprise Brain,為企業AI 助理提供可版本控管的共享記憶

    AmpUp 推出 Enterprise Brain,讓AI 助理使用能根據工作結果改善的共享記憶,並將記憶版本與任務軌跡連結,以供評估與準備訓練資料。

    推薦理由:頁面以多項基準比較 Enterprise Brain 的記憶功能,並揭露成本變化與表現落差,可據此瞭解其適用任務與限制。

11月3日週二
  1. Dev.to Top Tech87

    使用 Terraform 為 12 組團隊打造多租戶 EKS 平臺:RBAC、網路政策與 Karpenter

    多租戶 EKS 平臺 透過 Terraform 架設,整合 RBAC、網路政策、Karpenter 與 Kyverno,解決共享叢集無治理的風險。 - 團隊數量:12 組,36 個名稱空間,三個環境(prod、staging、dev)。

    推薦理由:此篇深入說明如何以 Terraform 架構多租戶 EKS 平臺,並列出 RBAC、網路政策、Karpenter 與 Kyverno 等實作細節,對想降低共享叢集風險、提升開發效率與成本可控的 DevOps 團隊極具參考價值,並可快速上線。

  2. Rohan Paul78

    Anthropic 已承諾 895.4 億美元投資於計算與基礎設施,其中 447.5 億美元將於 2031 年前到期。 - 主要合作夥伴:Broadcom($161B 裝置租賃)、Google($121B)、SpaceX($120B)與 Amazon($110B)。

    推薦理由:Anthropic 巨額資金承諾揭示 AI 基礎設施投資趨勢,對企業資源規劃具有參考價值,深度洞察未來投資方向,市場前景。

  3. Hacker News (official RSS)79

    Oracle 計畫發行 200 億美元股票與債券,支應 AI 建設

    Oracle 已向美國證券交易委員會提交檔案,計畫發行 100 億美元普通股與 100 億美元優先票據,為 AI 建設提供資金。 - 資金用途:所得款項將用於一般公司用途,可能包括資本支出、償還債務及未來投資。

    推薦理由:這筆融資與 Oracle 的 AI 基礎建設支出及自由現金流目標相連,文中也列出債務與信用指標,呈現投資人關注的執行風險。

  4. ByteByteGo Newsletter (Alex Xu)61

    Nvidia 的 Nemotron 3 如何運作?解析 Mamba、MoE 與模型效率設計

    Nvidia 的 Nemotron 3 結合 Mamba、注意力與 MoE,並搭配多 token 預測及低精度權重,降低模型生成與儲存的成本。 - 架構:Mamba 以固定大小的狀態處理序列,注意力保留連結較遠位置的能力;MoE 路由器則為每個 token 選用部分專家。

    推薦理由:文章拆解 Nemotron 3 如何結合 Mamba、注意力與 MoE,並說明各方法對逐 token 計算、KV cache 和模型儲存成本的影響。

  5. aihot75

    OpenAI 推出 Grid Protectors 計畫,從 Georgia 校園開始支援電網削峰

    OpenAI 推出 Grid Protectors 計畫,將與公用事業公司、監管機構和政策制定者合作,讓未來計算園區在電網承壓時降低用電需求,並承擔自身電力與相關基礎設施成本。

    推薦理由:OpenAI 公佈 Georgia Power 協議的需求響應容量與預估使用者節省金額,呈現資料中心彈性用電如何納入電網成本安排。

11月2日週一
  1. Dev.to Top Tech87

    Mistral Large 4 開源模型:完整安裝與部署指南

    Mistral Large 4 是一個 1.05T 引數的多模態 Mixture‑of‑Experts 模型,於 2026‑10‑29 以 MIT 開源授權公開,本文提供從 Hugging Face 下載、量化檔案選擇、GPU 部署到 API 方案的完整流程。

    推薦理由:提供完整的安裝與部署指南,讓開發者可快速部署 Mistral Large 4,並掌握其硬體需求與成本。

  2. LMSYS Org Blog79

    SGLang 如何用 HiCache 在多種部署配置中重用模型快取

    長對話會反覆送出相同的前文,模型若每次重算或重新傳送資料,使用者就得等更久。這篇文章說明 HiCache 如何把可重用的模型快取放在 GPU、主機記憶體和外部儲存,並讓不同運算階段和多臺機器在同一個字首上做出一致決定。以 GLM-5.2-FP8 的多輪對話測試來看,解碼端也重用 GPU 與主機快取後,平均首次回應時間降低 25.4%,中位數降低 60.3%,輸出速度增加 2.9%。文章也說明,資料分散存放和非同步傳輸會增加協調難度,快取資料必須準備妥當才能省下計算與傳輸時間。

    推薦理由:文章拆解 HiCache 在多種平行配置與分離式服務中的快取協調方式,並用實際服務資料呈現字首重用對回應等待時間的影響。

11月1日週日
  1. LMSYS Org Blog77

    GLM-5.3-Flash 如何在 H200 上提升長文本服務吞吐量

    長文本請求會佔用大量記憶體,也可能讓模型忙著處理輸入,來不及持續產生答案。作者在 SGLang 上調整 GLM-5.3-Flash 的快取共用、推測解碼和資料傳送方式,並分開測試輸入與輸出速度。在 4 張 H200 上,輸入處理速度提高到每秒 48,064 個 token;有 99.9% 共用字首時,輸出速度提高到每秒 12,027 個 token。整體結果也顯示,共用字首較少時,輸入處理仍是瓶頸;共用較多時,解碼端的改善更能提高整體速度。

    推薦理由:這組測試呈現共享字首比例如何改變服務瓶頸:字首重用少時,輸入處理仍限制整體吞吐量;重用高時,解碼端的調校更能轉成效能提升。

10月31日週六
10月30日週五
  1. Databricks Blog77

    Databricks 宣佈 Spark Declarative Pipelines Real‑Time Mode 正式可用

    導語:Databricks 於 2026 年 10 月 29 日正式釋出 Spark Declarative Pipelines 的 Real‑Time Mode (RTM),允許在毫秒級別處理流式資料,並提供與 SDP 內建功能相同的治理與可靠性。

    推薦理由:RTM 以毫秒級延遲處理流式資料,顯著提升即時決策效能,對需要低延遲的業務場景具有重要價值

  2. AWS Machine Learning Blog72

    AWS Batch 配額管理:跨團隊借貸 GPU 資源以提升 SageMaker 訓練作業

    本文示範如何透過 AWS Batch 的配額管理,將多團隊的 GPU 資源動態分配,提升 SageMaker 訓練工作負載的利用率與優先順序。 - 配額管理:允許設定每個團隊/專案的 GPU 配額與資源共享策略。

    推薦理由:本文示範如何透過 AWS Batch 的配額管理,將多團隊的 GPU 資源動態分配,提升訓練工作負載的利用率與優先順序。

10月29日週四
  1. Databricks Blog79

    Databricks 推出伺服器無狀態計算成本控制功能

    Databricks 推出伺服器無狀態計算成本控制功能,讓使用者可透過標籤、許可權與速率限制精準掌握成本。 - 使用量成長:過去一年伺服器無狀態計算使用量已超過 3 倍。

    推薦理由:Databricks 釋出新功能,讓平臺團隊能以標籤、許可權與速率限制精準掌控伺服器無狀態計算成本。

10月28日週三
  1. Databricks Blog81

    不搬移資料即獲投資洞察:Lakehouse Federation

    Lakehouse Federation 讓您在不搬移資料的情況下,直接在 Databricks 中將本地 SQL Server 與雲端 FactSet 資料結合,完成即時分析與視覺化。

    推薦理由:此教學示範如何在不搬移資料的情況下,將本地與雲端第三方資料透過 Lakehouse Federation 直接結合,並在同一查詢中完成分析與視覺化,對需要保護敏感資料的金融機構具有實務參考價值,且可擴充套件至醫療、製造與零售等多種行業,提供一種降低成本、提升合規性與即時分析的解決方案,並可輕鬆整合至現有 Databricks 工作流程,讓使用者能以 SQL 或自然語言即時獲取洞察,進而加速投資決策,並減少資料治理的複雜度,提升整體資料運算效率,並促進跨部門協作。