跳到正文

#資料/訓練

RSS
今日 8 則
11月10日週二
  1. DuckDB Official Blog60

    DuckDB 欄式查詢與 Parquet 資料整理實務教學

    DuckDB 官方文章以鴨類觀測資料示範欄式查詢,涵蓋直接查詢檔案、SQL 欄位操作、聚合、視窗函式,以及 Parquet 寫入與效能檢查。 - 讀取資料:可直接查詢 CSV、Parquet、HTTPS 或 S3 路徑;Parquet 查詢可只讀取指定欄位,並利用分割槽與統計資訊略過部分檔案或 row groups。

    推薦理由:文章以完整 SQL 範例串起 DuckDB 的欄式查詢與 Parquet 寫入,說明分割槽、排序和選取欄位如何減少讀取與整理資料的工作。

  2. Dev.to Top Tech37

    整理髒資料時,別吝惜模型算力與 Token

    面對大量缺乏規則、彼此關聯不明的雜亂檔案,作者主張先提供足夠強的模型、完整上下文與必要工具許可權,讓 AI 理解資料並建立分類架構,再視需要檢查整理結果。 - 適用方式:資料結構穩定、規則明確後,可把批次修改與格式轉換交給低成本模型或指令碼;最混亂、需要判斷的初始整理階段,則不必急著節省 Token。

  3. BlockTempo 動區動趨61

    摩根士丹利看好 AI 股:半導體個股中位數下跌 53%,部分資料中心專案延至 2029 年

    摩根士丹利認為市場對美國中期選舉結果反應過度,AI 資本開支總量未下調,部分資料中心專案延後至 2029 年,建設節奏改變但需求未變。 - 延後規模:約 20% 的美國專案(佔全球專案 10%)從 2028 年延至 2029 年;美國約 5GW IT 容量延後,已在建專案與 2027 年產能預測維持不變。

  4. Apple Machine Learning Research52

    Apple 研究說明 Private Evolution 如何改善隱私合成資料的分群

    用資料製作合成資料時,既要保護個人隱私,也要盡量保留原本資料的樣子。這項研究重新分析 Private Evolution,指出如果生成模型能掌握部分真實資料的分佈,所需樣本數可能只取決於資料本身的維度,而不是整個空間的維度。研究也發現,標準做法在簡單、分群明顯的資料上可能無法收斂,因此提出會考量資料幾何形狀的新版本;實驗中,新方法與常見基準相當,也能提高找回資料的比例。

  5. AWS What's New47

    Amazon MWAA 支援 DuckDB,能直接檢查和整理資料

    用 Amazon MWAA 跑資料工作時,想檢查或整理 Amazon S3 等來源的資料,現在可以直接使用 DuckDB。把環境更新到 Airflow 3.3.1,並讓執行角色有權存取資料儲存庫後,就能使用 DuckDBExecuteQueryOperator,不必另外設定。這項功能已在所有提供 Amazon MWAA 的 AWS 區域推出,讓使用者能更方便地把資料檢查、彙整和轉換工作排進流程裡。

  6. AWS What's New62

    AWS 推出開源介面,讓 Neptune Analytics 分析資料湖中的關聯

    要分析資料湖裡不同資料表的關聯,通常得先整理節點和關係資料,再建立圖表並處理匯入。AWS 推出一款在本機執行的開源介面,讓使用者選擇 Athena 目錄和資料庫,用 SQL/PGQ 定義圖表,並在匯入前預覽資料列。介面會把選定資料暫存到 Amazon S3,再匯入 Neptune Analytics;載入後也能查詢和檢視圖表中的關係,適合用來探索帳戶與交易等資料之間的連結。

  7. AWS What's New58

    Amazon Athena 推出系統表,方便查詢使用情況與稽核

    團隊想了解 Athena 的查詢使用情況,常得從不同服務收集資料,還要自己維護整理流程。現在可啟用 Athena 系統表,讓跨工作組的查詢使用資料在查詢完成數分鐘內,以唯讀 Iceberg 表的形式存放在 Amazon S3 表類資料儲存服務中;保留期限也能自行設定。平臺團隊可直接用 SQL 搜尋、篩選和彙整資料,例如檢視各工作組、使用者或資料表掃描了多少資料,進一步整理成本。AWS 會管理表格結構與維護工作,資料也能交給支援 Iceberg 的工具查詢。系統表已在提供 Athena 和 Amazon S3 表類資料儲存服務的 AWS 區域推出。

11月9日週一
  1. Databricks Blog64

    Databricks 推出 UCDataset Beta,直接從 Unity Catalog 表格加速 GPU 訓練

    Databricks 推出 UCDataset Beta,讓 PyTorch 訓練工作直接從 Unity Catalog 表格串流資料至 GPU,省去匯出資料與撰寫自訂載入器的步驟。

    推薦理由:UCDataset 直接從 Unity Catalog 表格串流資料至多 GPU 訓練;文中以 300 GB 特徵表的模擬工作負載比較 Parquet,呈現資料管線對訓練時間的影響。

  2. Dev.to Top Tech64

    ML 基礎設施是什麼?從資料管線到 AI 助理執行框架的完整解說

    ML 基礎設施涵蓋模型周邊的資料、訓練、部署與監控系統,讓模型能持續更新、可靠地服務使用者,並控制執行成本。 - 資料與訓練:資料蒐集、清理、標註與版本管理支援模型訓練;評估閘門可避免表現未改善的新模型上線,監控則用來偵測資料或預測結果隨時間漂移。

  3. Tom’s Hardware AI & Computing76

    中國 Envision 建設 800MW Galaxy AI 資料中心園區,首期 120MW 不到一年完工

    Envision 在內蒙古建設 Galaxy AI 資料中心園區,首期 120MW 不到一年完工;研究機構 SemiAnalysis 估算,其成本約為美國同類專案的五分之一。

    推薦理由:Galaxy 首期建設速度與成本估算呈現不同的資料中心建置經濟性;自建風電、儲能與 800V 直流供電也提供觀察其能源配置的具體案例。

  4. Tom’s Hardware AI & Computing78

    Science 調查指出睡眠追蹤器以腦波資料訓練 AI 模型,使用者未獲明確告知

    Science 的調查指出,多家穿戴式 EEG 公司累積數千萬小時的腦波紀錄,並將部分資料用於訓練 AI 模型,部分公司起初未在隱私政策中明確說明此用途。

    推薦理由:調查揭示消費級 EEG 資料被用於模型訓練時的告知與同意落差,也呈現去識別化、企業資料移轉及州級隱私法規的相關爭議。

  5. Dev.to Top Tech73

    足球分析平臺作者檢視預測資料表異動,提出不可變更與稽核方案

    作者檢視自家足球分析平臺的預測資料表,指出缺少異動前影像時,無法判定賽果結算後的資料變更是否改動了預測內容。 - 量測結果:資料表有 46,192 筆資料;其中 99.98% 在建立超過 60 秒後曾被修改,已結算資料中 75.8% 在結算後仍有異動,且沒有儲存異動前影像的稽核資料表。

  6. Dev.to Top Tech51

    《Mathematics for AI》第 6 章:數值方法,解析浮點誤差、最佳化與 AI 計算

    《Mathematics for AI》第 6 章整理數值方法如何支援 AI 計算,涵蓋浮點數、線性系統、最佳化、數值積分、亂數生成,以及穩定性與尺度調整。 - 浮點誤差與穩定性:說明有限精度、捨入、消去、溢位與下溢如何影響計算,並介紹穩定公式、補償加總與精度管理等方法。

  7. Hacker News (official RSS)67

    作者用 LakehouseBox 與 AI 助理打造可自主調整灌溉的花園

    作者 Javier de la Torre 分享如何在自家花園串接感測器、資料湖倉與 AI 助理,讓系統每天檢視土壤、天氣與影像,並依規則調整灌溉。 - 資料整合:Ecowitt 感測器每分鐘回傳資料,攝影機上傳影像,天氣預報與觀測資料也一併存入 Apache Iceberg 資料表;自 9 月 18 日起累積超過 400 萬筆讀數。

11月8日週日