跳到正文

#部署/工程

RSS
今日 0 則
11月11日週三
  1. AWS What's New58

    Amazon MWAA 無伺服器工作流程加入 DuckDB 運算元

    在工作流程中分析資料,常得先處理工具設定和 S3 存取憑證。Amazon MWAA 無伺服器現在支援 DuckDB 運算元,可直接在工作流程中查詢 S3 資料,或在本機分析和轉換資料,不必手動設定憑證;預設連線會使用工作流程的執行角色憑證。在 SageMaker 融通式合作開發工作室的視覺化工作流程中,也能從任務面板加入 DuckDB 運算元。

  2. Meta Engineering81

    Meta 如何打造 TLX,讓工程師更容易安排 GPU 工作

    GPU 硬體進步很快,但工程師常得在容易寫的程式工具和能細部控制硬體的寫法之間取捨。Meta 打造 TLX,讓工程師沿用 Triton 寫運算,再安排不同工作群組如何搬資料、計算和同步,讓資料搬移與運算能重疊進行。Meta 分享的案例包括推薦系統訓練、推論,以及大型語言模型訓練;其中一項推薦系統推論最佳化,讓特定模型的計算延遲最多降低三分之二。這些案例呈現 TLX 如何把新款 GPU 的功能用在實際工作中。

    推薦理由:TLX 的實際案例說明,讓工程師直接安排 GPU 工作與資料搬移,如何改善推薦系統推論和大型語言模型訓練。

  3. AWS What's New35

    Amazon RDS for MySQL 26.10 開放預覽測試

    想升級資料庫,又怕新版本讓工作變慢或不穩?Amazon RDS for MySQL 26.10 已在資料庫預覽環境開放測試,讓使用者先試用新版 MySQL。這次更新改善了繁忙工作時的效能,也會在清理工作累積、可能拖慢資料庫時,把警告寫進錯誤紀錄,方便及早處理。預覽環境中的資料庫最多保留 60 天,之後會自動刪除。

  4. NVIDIA Newsroom Press Releases83

    NVIDIA 捐贈 OpenShell 並推出 AI 工廠 Kubernetes 元件

    NVIDIA 將 OpenShell 捐贈給 CNCF,並公佈三項擴充 DSX AI Factory Platform 的開源元件,涵蓋AI 助理治理、Kubernetes 叢集管理與推論擴充套件。

    推薦理由:OpenShell、Agent Substrate 與三項 Kubernetes 元件分別處理AI 助理治理、工作負載擴充套件和推論容量,可看出 NVIDIA 推進 AI 基礎設施開源的不同切入點。

  5. LMSYS Org Blog83

    SGLang 團隊用 megakernel 讓 Muse Spark Open 在 Blackwell GPU 上達到每秒 1,109 個 token

    GPU 執行模型時,工作被拆成許多小步驟,步驟之間的等待會讓部分晶片閒著。LMSYS 團隊為 Muse Spark Open 寫了一種叫 megakernel 的大型 GPU 程式,把每一層的多項工作合在一起,讓不同部分能趁空檔先處理下一件事。在 Blackwell GPU 上,單次請求的解碼速度從每秒 517 個 token 提升到 1,109 個 token;團隊也把草稿模型的執行步驟從 175 次減到 8 次。這種做法目前只支援搭配猜測解碼的單一請求,團隊接下來打算擴充到多個請求。

    推薦理由:文章拆解 megakernel 如何合併 GPU 工作、減少等待,並以 Muse Spark Open 的實測展示效能變化,能看出低延遲推論的工程取捨。

  6. LMSYS Org Blog82

    SGLang 推出統一記憶體,讓混合模型按需求共用 GPU 空間

    混合模型會同時使用不同型別的記憶體,流量一變,原本分好的空間可能一邊用光、一邊閒置。SGLang 新增統一記憶體功能,讓各類資料共用一塊 GPU 空間,系統會依需求重新安排;即使資料大小和格式不同,也能一起管理。文章中的測試顯示,在 GPT-OSS-20B 的一種工作負載下,統一記憶體可同時處理約 1,000 個請求,原本的分池方式是 618 個,吞吐量也高 14%。這項功能目前仍屬實驗性,且有部分模型與功能限制。

    推薦理由:文章比較共用記憶體與固定分池在不同流量下的表現,並說明統一配置如何減少容量閒置與請求退回。

11月10日週二
  1. AWS What's New48

    Amazon S3 可一次檢視多個 AWS 帳戶的存取授權

    管理不同 AWS 帳戶的 S3 存取授權時,得一個帳戶一個帳戶查,才能知道誰能讀取哪些資料。現在,Amazon S3 存取許可權管理可以用一次 API 呼叫,列出自己帳戶和別人分享給你的帳戶中的所有授權,並標明每筆授權屬於哪個帳戶。例如,要查某個 S3 路徑的存取憑證,系統也能找到負責的帳戶並回傳符合授權的憑證。這項功能已在所有提供 S3 存取許可權管理的 AWS 區域推出,不另收費。

  2. AWS What's New65

    Amazon CloudWatch 推出 EKS AI 推論工作負載監控功能

    在 Amazon EKS 上執行 AI 推論時,團隊可能難以看出 GPU 是否閒置、工作負載有沒有充分使用資源,或推論為什麼變慢。Amazon CloudWatch 新增加速運算洞察功能,啟用 Amazon CloudWatch Observability 附加元件後,會自動找出叢集中的 NVIDIA GPU,並讓團隊從整個執行個體群逐層檢視到單一工作負載或加速器。畫面也會列出閒置或使用不足的工作負載、每個推論工作負載每個 Token 的估計成本,協助團隊排查首個 Token 等待過久等問題。這項功能不另收費,收集遙測資料仍依標準 CloudWatch 費率計價。

    推薦理由:這項功能把 GPU 使用情況、推論工作負載和每個 Token 的估計成本放在同一套監控檢視中,方便團隊找出閒置資源與效能問題。

  3. AWS What's New48

    Amazon GameLift Servers 新增遊戲連線安排診斷資訊

    遊戲連線安排不順時,開發者以前不容易知道是哪些伺服器地點出了問題。Amazon GameLift Servers 現在能記錄每個地點的評估結果,包含玩家連線延遲、成本如何影響安排,以及最後成功、失敗或逾時。開發團隊可以找出哪些地點總是安排得慢、常常失敗,或遊戲連線被安排到意料之外的地方,再調整設定。每個遊戲工作佇列都能開啟這項功能,並把紀錄存到 Amazon CloudWatch Logs、Amazon S3 或 Amazon Data Firehose。

  4. AWS What's New54

    Amazon CloudWatch PromQL 警報可觸發 EC2 與 Application Auto Scaling

    使用 OpenTelemetry 指標的團隊,過去可能得另外保留傳統指標警報,才能自動調整容量。現在 Amazon CloudWatch 的 PromQL 警報可觸發 EC2 Auto Scaling 和 Application Auto Scaling 的簡單及分步擴縮策略,讓團隊能用和儀錶板、警報相同的 PromQL 查詢來調整容量。分步擴縮會依查詢結果超過門檻的程度選擇步驟;查詢必須只回傳一組序列。此功能目前不支援目標追蹤策略,所有提供 CloudWatch PromQL 警報的 AWS 區域均可使用,並依一般 CloudWatch 警報價格計費。

  5. AWS What's New72

    Amazon OpenSearch Service 可先驗證新版本,再切換或回復舊版

    升級搜尋服務時,團隊可能擔心新版本出問題,影響正在使用的工作。Amazon OpenSearch Service 現在會把資料複製到執行新版本的另一個叢集,原本的叢集則繼續處理工作。團隊可以對新舊叢集執行相同的搜尋,並用 Amazon CloudWatch 指標比較表現;確認合適後再切換,若發現問題,也能在切換前取消,或在保留期限內回復舊版。這項功能適用於 OpenSearch 1.1 以上版本或 Elasticsearch 7.10 的網域,但部分 AWS 區域除外。

    推薦理由:基於克隆的升級讓團隊能在正式切換前,用相同搜尋查詢和 CloudWatch 指標比較新舊版本,降低升級時判斷新版本是否合用的難度。

  6. vLLM63

    vLLM 匯入 LibTorch Stable ABI 後,新的 PyTorch 版本不再強制要求重建 vLLM。 使用者可更早升級,發行者需要重建的次數減少,開發者則可在不重新編譯 vLLM 的情況下測試 PyTorch 變更。 遷移說明:https://t.co/bRhb5zK8Ez

    推薦理由:LibTorch Stable ABI 改變 PyTorch 與 vLLM 的升級和建置關係,文中列出使用者、發行者與開發者各自可減少的重建或重編譯負擔。

  7. ollama release44

    Ollama 發布 v0.40.16:支援專門寫程式的 65B 模型並大幅降低記憶體用量

    想要在自己的電腦上跑專門寫程式的 AI 助理,常常會遇到跑不動或吃掉太多記憶體的問題。Ollama 這次推出 v0.40.16 更新,正式支援來自 Ricursive Intelligence、專門用來讓 AI 助理寫程式的 65B 稠密模型 Ripple Preview,只要輸入指令就能直接執行。這次更新還帶來不少好處,例如讓 Qwen3.8 Flash Next 在 Apple silicon 晶片上足足省下約 27 GiB 記憶體,並且修正了 Claude Code 的模型導向與多項介面錯誤,讓大家用電腦跑 AI 工具時更順暢、更省資源。

  8. AWS What's New54

    Amazon CloudWatch Logs 推出帳戶級日誌保留策略

    日誌群組很多時,逐一設定資料要保留多久,容易讓規則不一致。Amazon CloudWatch Logs 現在可用帳戶級策略,替所有日誌群組,或名稱以特定字首開頭的群組設定保留時間;策略也能只套用到新群組,或一併套用到現有群組。若多個策略都符合某個群組,就採用保留時間較長的那個,例如一般日誌設為 90 天,/security 開頭的日誌設為 1 年。這項功能已在除中東(巴林)和中東(阿聯酋)以外的 AWS 商業區域推出,每個帳戶和區域最多可管理 20 種策略,且不額外收費。

  9. AWS What's New68

    AWS Glue 新增 100 款 SaaS 原生連接器,方便匯入應用程式資料

    要把 SaaS 應用程式的資料匯進 AWS,以前常得自己寫程式。AWS Glue 現在新增 100 款原生連接器,使用者可在 AWS Glue Data Catalog 建立連線,並在不同 ETL 工作中重複使用,沿用 AWS Glue 原本的許可權設定。連接器涵蓋財務、人資、工程等工具,資料可載入 Amazon S3 或 Amazon Redshift,用來分析和製作報表。這些連接器已在所有 AWS 商業區域提供,適用於 Glue 5.0 及更新版本。

    推薦理由:新增連接器涵蓋多種 SaaS 服務,並可在 ETL 工作中重複使用,有助於瞭解整合企業資料的做法。

  10. Vercel Blog41

    Vercel 建置磁碟空間提升至 64 GB

    Vercel 將 Basic 與 Standard 建置機器的磁碟空間從 32 GB 提升至 64 GB,與 Enhanced 和 Turbo 的容量一致,降低建置時磁碟空間不足的風險。 適用範圍與費用:變更自動套用至所有方案與建置機器型別,不額外收費,也不需要調整設定。