Databricks 推出 Unity Catalog Metric Views 發布至 Power BI 功能
Databricks 推出將 Unity Catalog Metric Views 發布至 Power BI 的功能,讓 Power BI 語意模型使用 Databricks 中統一管理的指標定義。
推薦理由:將 Unity Catalog 指標檢視發布至 Power BI,可讓報表沿用同一套受治理定義;文中也說明 DirectQuery 與 Import 模式的許可權差異。
Databricks 推出將 Unity Catalog Metric Views 發布至 Power BI 的功能,讓 Power BI 語意模型使用 Databricks 中統一管理的指標定義。
推薦理由:將 Unity Catalog 指標檢視發布至 Power BI,可讓報表沿用同一套受治理定義;文中也說明 DirectQuery 與 Import 模式的許可權差異。
想升級資料庫,又怕新版本讓工作變慢或不穩?Amazon RDS for MySQL 26.10 已在資料庫預覽環境開放測試,讓使用者先試用新版 MySQL。這次更新改善了繁忙工作時的效能,也會在清理工作累積、可能拖慢資料庫時,把警告寫進錯誤紀錄,方便及早處理。預覽環境中的資料庫最多保留 60 天,之後會自動刪除。
Supabase 整合進 EAS CLI,執行 eas integrations:supabase:connect 即可建立 Supabase 專案、安裝 SDK,並將金鑰寫入 Expo 的各個環境。
推薦理由:這項整合把建立 Supabase 專案、安裝 SDK 與設定環境金鑰串成單一指令,並為 Preview 與 Production 分開配置資料,呈現跨環境部署的實務流程。
Amazon 推出第二代表格基礎模型 Mitra-v2,支援分類與迴歸,並在 TabArena 的單模型方法中領先。 - 預訓練變化:使用的合成表格列數是 Mitra-v1 的 10 倍,欄數約為 3 倍,並加入混合結構因果模型先驗。
要預測天氣和水情,得先把各地衛星與地面儀器的觀測整理成完整、更新快的全球影像。Google DeepMind 開放 SatWeave 和 PARDIG,提供即時資料與歷史資料,讓研究者和開發者用來打造天氣、水文和氣候應用。SatWeave 每小時整合全球衛星影像;PARDIG 則用 AI 推估全球降雨,每 15 分鐘一筆,平均延遲約 5 小時。文中評估顯示,PARDIG 在小到中雨的每小時降雨偵測表現,比 IMERG-Final 高 30% 以上,也能協助研究洪水、土石流和乾旱。
推薦理由:兩組資料分別補上全球衛星雲圖與降雨觀測,可供研究者評估天氣、水文與氣候應用,文中也比較了降雨偵測表現。
DuckDB 官方文章以鴨類觀測資料示範欄式查詢,涵蓋直接查詢檔案、SQL 欄位操作、聚合、視窗函式,以及 Parquet 寫入與效能檢查。 - 讀取資料:可直接查詢 CSV、Parquet、HTTPS 或 S3 路徑;Parquet 查詢可只讀取指定欄位,並利用分割槽與統計資訊略過部分檔案或 row groups。
推薦理由:文章以完整 SQL 範例串起 DuckDB 的欄式查詢與 Parquet 寫入,說明分割槽、排序和選取欄位如何減少讀取與整理資料的工作。
用資料製作合成資料時,既要保護個人隱私,也要盡量保留原本資料的樣子。這項研究重新分析 Private Evolution,指出如果生成模型能掌握部分真實資料的分佈,所需樣本數可能只取決於資料本身的維度,而不是整個空間的維度。研究也發現,標準做法在簡單、分群明顯的資料上可能無法收斂,因此提出會考量資料幾何形狀的新版本;實驗中,新方法與常見基準相當,也能提高找回資料的比例。
Google Language Explorer 是一個互動式網路平臺,讓研究者、教育工作者與語言愛好者探索並視覺化全球語言多樣性。 - 資料來源:平臺整合數千種語言的資料,並以開源 LinguaMeta 資料集為基礎,屬於 Google 1,000 Languages Initiative 的一部分。
用 Amazon MWAA 跑資料工作時,想檢查或整理 Amazon S3 等來源的資料,現在可以直接使用 DuckDB。把環境更新到 Airflow 3.3.1,並讓執行角色有權存取資料儲存庫後,就能使用 DuckDBExecuteQueryOperator,不必另外設定。這項功能已在所有提供 Amazon MWAA 的 AWS 區域推出,讓使用者能更方便地把資料檢查、彙整和轉換工作排進流程裡。
要分析資料湖裡不同資料表的關聯,通常得先整理節點和關係資料,再建立圖表並處理匯入。AWS 推出一款在本機執行的開源介面,讓使用者選擇 Athena 目錄和資料庫,用 SQL/PGQ 定義圖表,並在匯入前預覽資料列。介面會把選定資料暫存到 Amazon S3,再匯入 Neptune Analytics;載入後也能查詢和檢視圖表中的關係,適合用來探索帳戶與交易等資料之間的連結。
團隊想了解 Athena 的查詢使用情況,常得從不同服務收集資料,還要自己維護整理流程。現在可啟用 Athena 系統表,讓跨工作組的查詢使用資料在查詢完成數分鐘內,以唯讀 Iceberg 表的形式存放在 Amazon S3 表類資料儲存服務中;保留期限也能自行設定。平臺團隊可直接用 SQL 搜尋、篩選和彙整資料,例如檢視各工作組、使用者或資料表掃描了多少資料,進一步整理成本。AWS 會管理表格結構與維護工作,資料也能交給支援 Iceberg 的工具查詢。系統表已在提供 Athena 和 Amazon S3 表類資料儲存服務的 AWS 區域推出。
Databricks 推出 UCDataset Beta,讓 PyTorch 訓練工作直接從 Unity Catalog 表格串流資料至 GPU,省去匯出資料與撰寫自訂載入器的步驟。
推薦理由:UCDataset 直接從 Unity Catalog 表格串流資料至多 GPU 訓練;文中以 300 GB 特徵表的模擬工作負載比較 Parquet,呈現資料管線對訓練時間的影響。
Elith 與 NVIDIA 推出 Nemotron-Personas-Finance-Japan,以日本人口統計與家庭金融情境建立合成人物資料集,供金融 AI 開發與評估使用。
推薦理由:資料以日本官方統計為基礎,結閤家庭財務與金融素養資訊,提供金融 AI 開發與評估可用的合成資料。
AgensGraph 2.18 以 ISO GQL 支援與效能最佳化,讓圖資料庫與 PostgreSQL 結合,為處理關係與圖形查詢的場景提供落地方案。
OpenSharing 讓 Databricks 之間的資料共享不需複製檔案,直接以 Delta 表格做即時流式讀取。
Serverless MCP 服務 讓 AI 助手能以統一的入口即時存取企業資料湖,無需為每個資料集寫重複的整合程式。 - 架構:四層分離(客戶端、MCP 伺服器、工具、資料庫更新),全部部署於 Amazon ECS Fargate,實現自動擴縮。
Feature Views 讓你在 Databricks Feature Store 上一次定義特徵,便可同時用於訓練與即時推論,消除訓練‑推論偏差。 - 資料洩漏防護:使用點對點正確特徵,確保訓練資料不含未來事件。
Snorkel 透過 Modal 的 GPU/CPU 沙盒與彈性記憶體,能在數百萬次模擬中重現真實環境,提升代理模擬的準確性與成本效益。 - 沙盒功能:支援多容器基礎設施與 GPU 加速深度學習環境,並可彈性擴充 CPU/記憶體。
ToyBlocks 是一個開源模擬框架,提供可控環境、任務與示範自動生成、以及評估指標,讓研究者能在統一平臺上探討機器人學習資料需求、泛化與高階推理能力。
推薦理由:本文展示了 ToyBlocks 框架如何在可控環境下評估機器人學習的資料需求與泛化能力,並提供自動化任務與示範生成工具,為實驗設計與模型驗證提供可複製的基礎,促進機器人學習研究的可重現性與擴充套件性。
本文說明 Databricks 提供的三種資料共享工具,協助企業根據合作關係選擇最合適方案,降低工程成本與資料風險。\n\n• OpenSharing 簡易建立分享,直接讀取原始資料,無需管道;支援 Power BI、Tableau 等 BI 工具,可共用表格、檢視、卷、筆記本、UDF 與 AI 模型。
Amazon DynamoDB 推出批次寫入專案功能,可將 Amazon S3 中的資料寫入既有 DynamoDB 資料表,無須自建擷取管線或管理資料表容量。
推薦理由:DynamoDB 可直接從 S3 將資料寫入既有資料表,並提供標準與升級套餐,適用情境涵蓋每日重新整理、目錄擴充、回填與遷移。
AI-PPG-ACC-HTN 是 Google 研發的一套可於消費者智慧手錶上偵測高血壓的多模態 AI 系統,透過 PPG 與 ACC 兩種感測器,無需袖帶校正即可達到與傳統血壓測量相近的準確度。
推薦理由:此研究展示了利用手錶感測器偵測高血壓的可行性,並在臨床測試中達到與傳統袖帶相近的準確度,為全球健康監測提供新方法。
JetBrains 在資料庫 IDE DataGrip 中嵌入 DuckDB,讓使用者能在單一查詢中 JOIN 不同資料庫連線的資料。 整合方式:DuckDB 的自訂表格函式連線 DataGrip 既有的查詢執行功能;跨來源 JOIN 使用 DuckDB SQL 方言,DataGrip 也將 DuckDB 作為一級方言支援。 支援範圍與限制:使用者可查詢 PostgreSQL、MySQL、MongoDB 等支援的資料庫,不必設定額外基礎架構。這是初版,團隊計畫觀察實際使用情況後,再進一步採用 DuckDB 的查詢最佳化,並探索檔案資料來源。
推薦理由:這項整合展示 DuckDB 如何透過自訂表格函式連線既有查詢功能,讓 DataGrip 使用者跨資料庫連線執行 JOIN,並免於額外設定基礎架構。
本博文示範如何以 Debezium 與 Zerobus Ingest 直接將 PostgreSQL 變更推送至 Unity Catalog,省去 Kafka,對於私有網路環境的資料工程師具實務參考價值。
北韓駭客利用假面試方式侵入幣安工程師端點,成功盜取 63 億美元加密貨幣;Anthropic 釋出可證明推論技術 FlashProve,提升 AI 系統可信度;Nvidia 筆電在 Linux 下因韌體限制而遭降頻。
Dharma Field Extractor 推出檔案欄位抽取模型,可從檔案影像擷取欄位並輸出結構化 JSON,支援開放抽取與依指定結構抽取兩種模式。 - 抽取方式:可不提供結構,由模型找出檔案中的欄位;也可指定欄位名稱與型別。
Unsloth AI 釋出 Qwen3.8-Flash-Next Dynamic V3.1,帶來 10-15% 準確度提升、玻璃主題改進與瀏覽器互動功能。 - 準確度:Qwen3.8-Flash-Next Dynamic V3.1 相較舊版提升 10‑15%。
summary_zh: 每日論文雷達於 2026-11-04 精選 19 篇具身智慧領域的突破性研究論文,涵蓋雙臂操作、觸覺反射、手術室自主、都市導航等多項技術。
摘要:Databricks 在 Unity Catalog Delta 表上推出 PUBLIC PREVIEW 的 UNIQUE 約束,允許表宣告多個可為 NULL 的唯一性規則,並可透過 RELY 讓查詢最佳化器利用這些約束消除不必要的 JOIN 與 DISTINCT,實際測試在 10TB TPC‑DS 資料集上可達 7.9 倍至 12 倍的執行時間縮短。
Tutor Intelligence 的機器人在美國 20 州的工廠與倉庫工作,協助製造及出貨超過 2.5 億件產品;公司並完成由 a16z 領投的 $75M Series B 融資。
Lakebase Postgres 現已於 Google Cloud 正式上線,提供無伺服器、即時擴縮與統一治理的 Postgres 資料庫。 - 無伺服器自動擴縮:計算資源按流量自動調整,停用時不再收費,降低成本。
推薦理由:Lakebase Postgres 在 Google Cloud 上的 GA 版,提供無伺服器、即時擴縮與統一治理,讓 AI 團隊可快速部署生產級資料庫。
summary_zh: 本期《每日論文雷達》挑選18篇具身智慧研究論文,聚焦人形機器人控制、擴散模型全身控制、跨本體動態規劃等領域的突破性進展。 - 選稿流程:共爬取 1,206 篇論文 → 966 篇候選 → 250 篇評估 → 18 篇高相關精選。
Lakebase 的 copy‑on‑write 分支功能能在秒級時間內為每個 PR 建立獨立的資料庫環境,讓測試能在真實資料上執行,並且保持安全與可擴充性。
summary_zh: Microsoft Copilot 透過新開發的 Industry Evaluation Data Generation Platform,利用公開資料生成合成企業環境,測試 AI 在真實企業工作流程中的表現,提升評估準確度與安全性。
推薦理由:原文展示 75 步 LoRA RL 可將 Mistral Large 4 的 AIME 2024 avg@8 從 64% 提升至 75%,凸顯強化學習價值。