跳到正文

#部署/工程

RSS
今日 0 則
10月30日週五
  1. Databricks Blog77

    Databricks 宣佈 Spark Declarative Pipelines Real‑Time Mode 正式可用

    導語:Databricks 於 2026 年 10 月 29 日正式釋出 Spark Declarative Pipelines 的 Real‑Time Mode (RTM),允許在毫秒級別處理流式資料,並提供與 SDP 內建功能相同的治理與可靠性。

    推薦理由:RTM 以毫秒級延遲處理流式資料,顯著提升即時決策效能,對需要低延遲的業務場景具有重要價值

  2. AWS Machine Learning Blog72

    AWS Batch 配額管理:跨團隊借貸 GPU 資源以提升 SageMaker 訓練作業

    本文示範如何透過 AWS Batch 的配額管理,將多團隊的 GPU 資源動態分配,提升 SageMaker 訓練工作負載的利用率與優先順序。 - 配額管理:允許設定每個團隊/專案的 GPU 配額與資源共享策略。

    推薦理由:本文示範如何透過 AWS Batch 的配額管理,將多團隊的 GPU 資源動態分配,提升訓練工作負載的利用率與優先順序。

10月29日週四
  1. Databricks Blog79

    Databricks 推出伺服器無狀態計算成本控制功能

    Databricks 推出伺服器無狀態計算成本控制功能,讓使用者可透過標籤、許可權與速率限制精準掌握成本。 - 使用量成長:過去一年伺服器無狀態計算使用量已超過 3 倍。

    推薦理由:Databricks 釋出新功能,讓平臺團隊能以標籤、許可權與速率限制精準掌控伺服器無狀態計算成本。

  2. DuckDB Official Blog52

    資料工程師 Matt Martin 從試算表走向 DuckLake 與 DuckDB

    資料工程師 Matt Martin 分享從試算表、Spark 到 DuckDB 與 DuckLake 的工作經驗,說明他如何依工作負載選擇分析工具與基礎架構。 DuckDB 與 DuckLake:Matt 使用 DuckDB 查詢本機檔案、Amazon S3 上的資料,以及 CSV、Parquet 和 Iceberg 表;他表示,DuckLake 將中繼資料存入 SQL 資料庫後,部分在 Iceberg 需要數秒的目錄操作,在 DuckLake 可於不到 1 毫秒內完成。 DuckDB 2.0 alpha:Matt 測試的非同步 I/O 基準中,讀取 Amazon S3 上 1,000 與 10,000 個檔案的時間減少 67% 至 70%。他也提到動態 ATTACH 陳述式與 Quack 遠端通訊協定等功能。 工程取捨:Matt 認為應從工作負載需求出發,再決定是否需要額外的分散式基礎架構;他也指出,DuckDB 2.0 alpha 測試期間尚未遇到回歸問題。

10月28日週三