跳到正文

#資料/訓練

RSS
今日 0 則
11月11日週三
  1. AWS What's New35

    Amazon RDS for MySQL 26.10 開放預覽測試

    想升級資料庫,又怕新版本讓工作變慢或不穩?Amazon RDS for MySQL 26.10 已在資料庫預覽環境開放測試,讓使用者先試用新版 MySQL。這次更新改善了繁忙工作時的效能,也會在清理工作累積、可能拖慢資料庫時,把警告寫進錯誤紀錄,方便及早處理。預覽環境中的資料庫最多保留 60 天,之後會自動刪除。

11月10日週二
  1. Google DeepMind83

    Google DeepMind 開放 SatWeave 與 PARDIG 氣象資料集

    要預測天氣和水情,得先把各地衛星與地面儀器的觀測整理成完整、更新快的全球影像。Google DeepMind 開放 SatWeave 和 PARDIG,提供即時資料與歷史資料,讓研究者和開發者用來打造天氣、水文和氣候應用。SatWeave 每小時整合全球衛星影像;PARDIG 則用 AI 推估全球降雨,每 15 分鐘一筆,平均延遲約 5 小時。文中評估顯示,PARDIG 在小到中雨的每小時降雨偵測表現,比 IMERG-Final 高 30% 以上,也能協助研究洪水、土石流和乾旱。

    推薦理由:兩組資料分別補上全球衛星雲圖與降雨觀測,可供研究者評估天氣、水文與氣候應用,文中也比較了降雨偵測表現。

  2. DuckDB Official Blog60

    DuckDB 欄式查詢與 Parquet 資料整理實務教學

    DuckDB 官方文章以鴨類觀測資料示範欄式查詢,涵蓋直接查詢檔案、SQL 欄位操作、聚合、視窗函式,以及 Parquet 寫入與效能檢查。 - 讀取資料:可直接查詢 CSV、Parquet、HTTPS 或 S3 路徑;Parquet 查詢可只讀取指定欄位,並利用分割槽與統計資訊略過部分檔案或 row groups。

    推薦理由:文章以完整 SQL 範例串起 DuckDB 的欄式查詢與 Parquet 寫入,說明分割槽、排序和選取欄位如何減少讀取與整理資料的工作。

  3. Apple Machine Learning Research52

    Apple 研究說明 Private Evolution 如何改善隱私合成資料的分群

    用資料製作合成資料時,既要保護個人隱私,也要盡量保留原本資料的樣子。這項研究重新分析 Private Evolution,指出如果生成模型能掌握部分真實資料的分佈,所需樣本數可能只取決於資料本身的維度,而不是整個空間的維度。研究也發現,標準做法在簡單、分群明顯的資料上可能無法收斂,因此提出會考量資料幾何形狀的新版本;實驗中,新方法與常見基準相當,也能提高找回資料的比例。

  4. AWS What's New47

    Amazon MWAA 支援 DuckDB,能直接檢查和整理資料

    用 Amazon MWAA 跑資料工作時,想檢查或整理 Amazon S3 等來源的資料,現在可以直接使用 DuckDB。把環境更新到 Airflow 3.3.1,並讓執行角色有權存取資料儲存庫後,就能使用 DuckDBExecuteQueryOperator,不必另外設定。這項功能已在所有提供 Amazon MWAA 的 AWS 區域推出,讓使用者能更方便地把資料檢查、彙整和轉換工作排進流程裡。

  5. AWS What's New62

    AWS 推出開源介面,讓 Neptune Analytics 分析資料湖中的關聯

    要分析資料湖裡不同資料表的關聯,通常得先整理節點和關係資料,再建立圖表並處理匯入。AWS 推出一款在本機執行的開源介面,讓使用者選擇 Athena 目錄和資料庫,用 SQL/PGQ 定義圖表,並在匯入前預覽資料列。介面會把選定資料暫存到 Amazon S3,再匯入 Neptune Analytics;載入後也能查詢和檢視圖表中的關係,適合用來探索帳戶與交易等資料之間的連結。

  6. AWS What's New58

    Amazon Athena 推出系統表,方便查詢使用情況與稽核

    團隊想了解 Athena 的查詢使用情況,常得從不同服務收集資料,還要自己維護整理流程。現在可啟用 Athena 系統表,讓跨工作組的查詢使用資料在查詢完成數分鐘內,以唯讀 Iceberg 表的形式存放在 Amazon S3 表類資料儲存服務中;保留期限也能自行設定。平臺團隊可直接用 SQL 搜尋、篩選和彙整資料,例如檢視各工作組、使用者或資料表掃描了多少資料,進一步整理成本。AWS 會管理表格結構與維護工作,資料也能交給支援 Iceberg 的工具查詢。系統表已在提供 Athena 和 Amazon S3 表類資料儲存服務的 AWS 區域推出。

11月9日週一
  1. Databricks Blog64

    Databricks 推出 UCDataset Beta,直接從 Unity Catalog 表格加速 GPU 訓練

    Databricks 推出 UCDataset Beta,讓 PyTorch 訓練工作直接從 Unity Catalog 表格串流資料至 GPU,省去匯出資料與撰寫自訂載入器的步驟。

    推薦理由:UCDataset 直接從 Unity Catalog 表格串流資料至多 GPU 訓練;文中以 300 GB 特徵表的模擬工作負載比較 Parquet,呈現資料管線對訓練時間的影響。

11月7日週六
11月6日週五
  1. Hugging Face Blog83

    ToyBlocks:機器人學習與評估的可控世界

    ToyBlocks 是一個開源模擬框架,提供可控環境、任務與示範自動生成、以及評估指標,讓研究者能在統一平臺上探討機器人學習資料需求、泛化與高階推理能力。

    推薦理由:本文展示了 ToyBlocks 框架如何在可控環境下評估機器人學習的資料需求與泛化能力,並提供自動化任務與示範生成工具,為實驗設計與模型驗證提供可複製的基礎,促進機器人學習研究的可重現性與擴充套件性。

  2. AWS What's New67

    Amazon DynamoDB 推出批次寫入專案功能

    Amazon DynamoDB 推出批次寫入專案功能,可將 Amazon S3 中的資料寫入既有 DynamoDB 資料表,無須自建擷取管線或管理資料表容量。

    推薦理由:DynamoDB 可直接從 S3 將資料寫入既有資料表,並提供標準與升級套餐,適用情境涵蓋每日重新整理、目錄擴充、回填與遷移。

  3. Google Research75

    Google 研發 AI-PPG-ACC-HTN 手錶高血壓偵測系統

    AI-PPG-ACC-HTN 是 Google 研發的一套可於消費者智慧手錶上偵測高血壓的多模態 AI 系統,透過 PPG 與 ACC 兩種感測器,無需袖帶校正即可達到與傳統血壓測量相近的準確度。

    推薦理由:此研究展示了利用手錶感測器偵測高血壓的可行性,並在臨床測試中達到與傳統袖帶相近的準確度,為全球健康監測提供新方法。

  4. DuckDB Official Blog66

    JetBrains 在 DataGrip 中整合 DuckDB,支援跨資料庫查詢

    JetBrains 在資料庫 IDE DataGrip 中嵌入 DuckDB,讓使用者能在單一查詢中 JOIN 不同資料庫連線的資料。 整合方式:DuckDB 的自訂表格函式連線 DataGrip 既有的查詢執行功能;跨來源 JOIN 使用 DuckDB SQL 方言,DataGrip 也將 DuckDB 作為一級方言支援。 支援範圍與限制:使用者可查詢 PostgreSQL、MySQL、MongoDB 等支援的資料庫,不必設定額外基礎架構。這是初版,團隊計畫觀察實際使用情況後,再進一步採用 DuckDB 的查詢最佳化,並探索檔案資料來源。

    推薦理由:這項整合展示 DuckDB 如何透過自訂表格函式連線既有查詢功能,讓 DataGrip 使用者跨資料庫連線執行 JOIN,並免於額外設定基礎架構。

11月5日週四
11月4日週三
11月3日週二
  1. Databricks Blog76

    Lakebase Postgres 現已於 Google Cloud 正式上線

    Lakebase Postgres 現已於 Google Cloud 正式上線,提供無伺服器、即時擴縮與統一治理的 Postgres 資料庫。 - 無伺服器自動擴縮:計算資源按流量自動調整,停用時不再收費,降低成本。

    推薦理由:Lakebase Postgres 在 Google Cloud 上的 GA 版,提供無伺服器、即時擴縮與統一治理,讓 AI 團隊可快速部署生產級資料庫。

11月2日週一
11月1日週日
10月31日週六
10月30日週五