巴西民眾拍攝家務影片供 AI 與機器人訓練,時薪最高 37.5 雷亞爾
巴西民眾將手機固定在額頭或胸前,拍攝家務與工作場景影片,交給蒐集 AI 與機器人訓練資料的平臺;報導列出家務任務時薪約 10 至 12.5 雷亞爾,商用任務最高 37.5 雷亞爾。
巴西民眾將手機固定在額頭或胸前,拍攝家務與工作場景影片,交給蒐集 AI 與機器人訓練資料的平臺;報導列出家務任務時薪約 10 至 12.5 雷亞爾,商用任務最高 37.5 雷亞爾。
Illia Khorunzhyi 發現,開放資料中付費直播工作階段的 11.3 小時中位數主要反映單一客戶的排程,並據此改用每個帳戶計算付費方案與試用方案的比較。
作者以部落格首頁為例,說明 N+1 查詢如何讓載入 50 篇文章及作者名稱的頁面,從同機約 2 ms 慢到約 92 ms。文章比較三種查詢方式,並說明平行查詢在多人同時使用時仍會競爭連線池。
DuckDB 官方文章以鴨類觀測資料示範欄式查詢,涵蓋直接查詢檔案、SQL 欄位操作、聚合、視窗函式,以及 Parquet 寫入與效能檢查。 - 讀取資料:可直接查詢 CSV、Parquet、HTTPS 或 S3 路徑;Parquet 查詢可只讀取指定欄位,並利用分割槽與統計資訊略過部分檔案或 row groups。
推薦理由:文章以完整 SQL 範例串起 DuckDB 的欄式查詢與 Parquet 寫入,說明分割槽、排序和選取欄位如何減少讀取與整理資料的工作。
Xata 宣佈加入 ClickHouse,將把即時資料庫分支與 scale-to-zero 運算等能力整合至 ClickHouse Managed Postgres。
作者以德州地方稅率資料為例,展示三種檢查如何發現資料錯誤,以及為何仍須用外部來源逐筆確認。\n\n- 檢查結果:五筆錯誤都通過「組成項加總」檢查;年度變化檢查標出四筆,與無新收入稅率的比值檢查標出兩筆。
面對大量缺乏規則、彼此關聯不明的雜亂檔案,作者主張先提供足夠強的模型、完整上下文與必要工具許可權,讓 AI 理解資料並建立分類架構,再視需要檢查整理結果。 - 適用方式:資料結構穩定、規則明確後,可把批次修改與格式轉換交給低成本模型或指令碼;最混亂、需要判斷的初始整理階段,則不必急著節省 Token。
摩根士丹利認為市場對美國中期選舉結果反應過度,AI 資本開支總量未下調,部分資料中心專案延後至 2029 年,建設節奏改變但需求未變。 - 延後規模:約 20% 的美國專案(佔全球專案 10%)從 2028 年延至 2029 年;美國約 5GW IT 容量延後,已在建專案與 2027 年產能預測維持不變。
Airtable 同步至資料倉儲時,連結記錄欄位會帶入 rec 開頭的記錄 ID,而非介面顯示的名稱;若要還原名稱,需一併同步連結另一端的資料表,再於下游重新關聯。
用資料製作合成資料時,既要保護個人隱私,也要盡量保留原本資料的樣子。這項研究重新分析 Private Evolution,指出如果生成模型能掌握部分真實資料的分佈,所需樣本數可能只取決於資料本身的維度,而不是整個空間的維度。研究也發現,標準做法在簡單、分群明顯的資料上可能無法收斂,因此提出會考量資料幾何形狀的新版本;實驗中,新方法與常見基準相當,也能提高找回資料的比例。
Google Language Explorer 是一個互動式網路平臺,讓研究者、教育工作者與語言愛好者探索並視覺化全球語言多樣性。 - 資料來源:平臺整合數千種語言的資料,並以開源 LinguaMeta 資料集為基礎,屬於 Google 1,000 Languages Initiative 的一部分。
作者分享如何為傳承語言復振計畫建置隱私保護的聯邦主動學習系統,讓多個社群在資料留存本地的情況下協作標註與訓練模型。 - 系統設計:結合聯邦學習、差分隱私、安全聚合與逐筆同意政策;查詢在社群端進行,伺服器只取得樣本索引與經隱私處理的更新。
4-bit Naive Bayes 在二元分類的 SMS 任務上能維持準確率,但對稱量化用於四分類的 AG News 時準確率大幅下滑;改用 zero-point int4 後,準確率回升至接近 int8。
用 Amazon MWAA 跑資料工作時,想檢查或整理 Amazon S3 等來源的資料,現在可以直接使用 DuckDB。把環境更新到 Airflow 3.3.1,並讓執行角色有權存取資料儲存庫後,就能使用 DuckDBExecuteQueryOperator,不必另外設定。這項功能已在所有提供 Amazon MWAA 的 AWS 區域推出,讓使用者能更方便地把資料檢查、彙整和轉換工作排進流程裡。
Handshake 的 AI 訓練業務約在一年內從推出成長至 10 億美元年化總營收;本集透過金融、生命科學與安全模擬,展示前沿實驗室評估資料與 Agent 的方式。
Batch Normalization 在每層加權總和之後、啟用函式之前,依迷你批次正規化數值,並透過可學習的縮放與平移維持各層所需範圍。 - 訓練與測試:訓練時使用迷你批次的平均值與標準差並儲存移動平均;測試時使用儲存的移動平均。
要分析資料湖裡不同資料表的關聯,通常得先整理節點和關係資料,再建立圖表並處理匯入。AWS 推出一款在本機執行的開源介面,讓使用者選擇 Athena 目錄和資料庫,用 SQL/PGQ 定義圖表,並在匯入前預覽資料列。介面會把選定資料暫存到 Amazon S3,再匯入 Neptune Analytics;載入後也能查詢和檢視圖表中的關係,適合用來探索帳戶與交易等資料之間的連結。
文章示範如何為 AI 能見度建立資料模型,分別追蹤品牌提及、引用、資訊正確性與來源品質,避免把不同指標合併成單一數字。 - 資料設計:將提示詞版本化,逐次儲存各 AI 助理的回答摘錄與引用來源,並由人工審查正確性及來源品質。
團隊想了解 Athena 的查詢使用情況,常得從不同服務收集資料,還要自己維護整理流程。現在可啟用 Athena 系統表,讓跨工作組的查詢使用資料在查詢完成數分鐘內,以唯讀 Iceberg 表的形式存放在 Amazon S3 表類資料儲存服務中;保留期限也能自行設定。平臺團隊可直接用 SQL 搜尋、篩選和彙整資料,例如檢視各工作組、使用者或資料表掃描了多少資料,進一步整理成本。AWS 會管理表格結構與維護工作,資料也能交給支援 Iceberg 的工具查詢。系統表已在提供 Athena 和 Amazon S3 表類資料儲存服務的 AWS 區域推出。
Databricks 推出 UCDataset Beta,讓 PyTorch 訓練工作直接從 Unity Catalog 表格串流資料至 GPU,省去匯出資料與撰寫自訂載入器的步驟。
推薦理由:UCDataset 直接從 Unity Catalog 表格串流資料至多 GPU 訓練;文中以 300 GB 特徵表的模擬工作負載比較 Parquet,呈現資料管線對訓練時間的影響。
Elith 與 NVIDIA 推出 Nemotron-Personas-Finance-Japan,以日本人口統計與家庭金融情境建立合成人物資料集,供金融 AI 開發與評估使用。
推薦理由:資料以日本官方統計為基礎,結閤家庭財務與金融素養資訊,提供金融 AI 開發與評估可用的合成資料。
ML 基礎設施涵蓋模型周邊的資料、訓練、部署與監控系統,讓模型能持續更新、可靠地服務使用者,並控制執行成本。 - 資料與訓練:資料蒐集、清理、標註與版本管理支援模型訓練;評估閘門可避免表現未改善的新模型上線,監控則用來偵測資料或預測結果隨時間漂移。
文章提出一套視覺資料集離群值偵測流程,結合基礎視覺模型的 embedding、Local Outlier Factor(LOF)與 UMAP,找出訓練前不易察覺的異常樣本。
Said It Here 建立知識引擎,從 Reddit、Hacker News 與 StackExchange 的 328,420 場討論中整理出 100,003 個社群驗證的解決方法,歸納為 6,359 種常見問題。
Envision 在內蒙古建設 Galaxy AI 資料中心園區,首期 120MW 不到一年完工;研究機構 SemiAnalysis 估算,其成本約為美國同類專案的五分之一。
推薦理由:Galaxy 首期建設速度與成本估算呈現不同的資料中心建置經濟性;自建風電、儲能與 800V 直流供電也提供觀察其能源配置的具體案例。
Science 的調查指出,多家穿戴式 EEG 公司累積數千萬小時的腦波紀錄,並將部分資料用於訓練 AI 模型,部分公司起初未在隱私政策中明確說明此用途。
推薦理由:調查揭示消費級 EEG 資料被用於模型訓練時的告知與同意落差,也呈現去識別化、企業資料移轉及州級隱私法規的相關爭議。
Carbon-X 將 DNA 序列與自然語言結合,讓使用者透過對話取得基因的生物學解讀,並以本機執行設計處理基因資料。
RevOS 提出在 Microsoft Fabric 上實作 Medallion Architecture 的資料平臺藍圖,涵蓋資料分層、環境隔離、容量規劃與治理方式。
文章從零實作 BPE,並比較自建 tokenizer 與 OpenAI 的實際 tokenizer,說明文字切分方式如何影響 token 數量、成本與模型輸入表徵。
TraceX 以程式控制資料庫許可權、查詢範圍與修正流程,讓 AI 協助調查正式環境資料,同時限制模型能執行的操作。 - 查詢防護:連線時檢查帳號是否具有寫入許可權;模型只能提出經結構驗證的表格、篩選條件、欄位與筆數,再由系統編譯成引數化查詢。
作者分析 311 個中國城市、涵蓋 2021–2025 年的月降雨資料,指出年雨量不足以判斷旅行時遇雨的風險:北京年雨量為 796 mm,約為廈門 1,572 mm 的一半,但北京 62% 的全年雨量集中在 7 月和 8 月;廈門最濕的兩個月則只佔全年 29%。
作者檢視自家足球分析平臺的預測資料表,指出缺少異動前影像時,無法判定賽果結算後的資料變更是否改動了預測內容。 - 量測結果:資料表有 46,192 筆資料;其中 99.98% 在建立超過 60 秒後曾被修改,已結算資料中 75.8% 在結算後仍有異動,且沒有儲存異動前影像的稽核資料表。
《Mathematics for AI》第 6 章整理數值方法如何支援 AI 計算,涵蓋浮點數、線性系統、最佳化、數值積分、亂數生成,以及穩定性與尺度調整。 - 浮點誤差與穩定性:說明有限精度、捨入、消去、溢位與下溢如何影響計算,並介紹穩定公式、補償加總與精度管理等方法。
summary_zh: 作者利用自監督式時間對比損失,從火星車的遙測資料中自動辨識「復原相關」時間視窗,證明即使在標籤稀缺的任務關鍵復原視窗,模型亦能捕捉故障到正常運作的時間簽名。
本文以實務教學方式,說明如何在物件儲存中設計影像縮圖檔名,確保 WebP/AVIF 版本與備份安全。 - 命名結構:使用 artifacts/{project}/{asset}/{generation}/derived/{width}x{height}/{fit}/{spec-digest}.{format},確保每次重製為不可變生成,避免覆寫衝突。
作者 Javier de la Torre 分享如何在自家花園串接感測器、資料湖倉與 AI 助理,讓系統每天檢視土壤、天氣與影像,並依規則調整灌溉。 - 資料整合:Ecowitt 感測器每分鐘回傳資料,攝影機上傳影像,天氣預報與觀測資料也一併存入 Apache Iceberg 資料表;自 9 月 18 日起累積超過 400 萬筆讀數。
summary_zh: Andrej Karpathy 用 Claude 的 Opus 5.5 在一個週末打造了 HackerTube,將 20 年 Hacker News 的 43 M 評論濾製成 6,454 支影片,並宣稱推薦體驗比 YouTube 更佳。
summary_zh: 在機器學習工程中,過度清洗資料集會讓視覺模型在實際部署時失效。 - Clean Data Paradox:清理所有瑕疵會假設生產環境也乾淨,結果模型在實際光照、雨滴、震動等噪聲下表現崩潰。
每日按揭匯入可能洩漏歷史資料於評估,作者展示如何在構建金融資料嵌入語料時避免歷史資料重複與版本衝突。 - 資料量:4000 天日資料回傳 4001 點,月資料回傳 132 點,導致時間視窗重疊。
模型數量:10 個開源 MoE 模型,從 Qwen3.6‑35B‑A3B(35B 引數,3B 活躍)到 DeepSeek‑V4‑Pro(1.6T 引數,49B 活躍)。