跳到正文

資料與訓練

訓練側的門道:資料集構建、合成數據、預訓練與後訓練方法、算力與訓練成本。

103條精選相關主題論文研究部署工程模型發布

最新精選

第 21–40 條 · 共 103 條
11月18日週三
  1. The Decoder76

    美國擬管制海外資料中心買 AI 晶片,中國業者靠模型蒸餾降低算力需求

    美國想堵住中國透過海外資料中心取得 AI 算力的路,商務部提出新規,要求新加坡、馬來西亞、泰國、印尼和巴西的資料中心購買美國先進 AI 晶片前先取得許可,申請會逐案審查。報導也整理路透社調查:中國業者把美國大型模型的回答、程式碼和解題結果整理成訓練資料,再拿來訓練成本較低的小模型,藉此減少自家運算需求。模型蒸餾本身不違法,但可能違反 OpenAI 和 Anthropic 的服務條款;美方官員也警告,若相關行為涉及竊取智慧財產,可能祭出制裁。

    推薦理由:報導串起美國擬管制海外資料中心購買先進 AI 晶片,以及中國業者以模型蒸餾降低訓練成本的兩條供應路徑,呈現管制與算力需求的拉扯。

11月17日週二
  1. Lobste.rs (Engineering Discussion)66

    Oracle 說明 MySQL 如何開發向量索引,並比較多種搜尋方法

    資料庫要替 AI 找出相近的文字或資料,得先把內容轉成一串數字,再快速找出彼此接近的專案。Oracle 的 MySQL 工程師用文章說明向量和向量索引的概念,並比較 HNSW、IVF、ScaNN 和 Vamana 等搜尋方法:有些方法用圖形連起相近資料,有些先把資料分群。MySQL 原生向量索引仍在開發與評估中,團隊正研究採用哪些方法,以及是否提供可替換不同索引方法的介面。文章也介紹已可下載試用的 MyVector 外掛,支援 HNSW 和 IVF 搜尋。

    推薦理由:文章用文字相似度的例子說明向量索引如何找出相關資料,並比較 HNSW、IVF 等做法,呈現 MySQL 原生支援仍在開發中的選擇。

  2. Dev.to Top Tech81

    IFM 公開 K2-Horizon 六款模型及訓練資料,最大款有 375B 引數

    許多開放模型只提供權重,外界很難知道訓練資料怎麼來、模型又是怎麼做出來的。IFM 公開了 K2-Horizon 六款模型的權重、訓練資料、中途檢查點、訓練紀錄和製作資料的流程,也提供訓練與評估用的程式碼。模型從 0.9B 到 375B-A23B,適合不同規模的工作;其中 36B-A4B 使用的啟用引數較少,論文稱它的表現接近用相同資料訓練的 32B 模型。這些效能說法尚未經獨立測試,作者也沒有親自試用;公開資料讓人能研究和微調,但從頭重訓需要大量運算資源。

    推薦理由:K2-Horizon 同時公開權重、訓練資料與製作流程,讓人能檢視模型如何建成,也能比較不同規模的模型。

  3. PostgreSQL Official News62

    pg_fastload 1.0.0 用平行處理加快 PostgreSQL 大量資料載入

    大量資料載入 PostgreSQL 時,原本的工具會在單一工作程式裡讀取、解析和寫入,讓多核心電腦的其他核心閒著。pg_fastload 1.0.0 把讀取和解析分給背景工作者,再由原本的工作程式負責寫入;整次載入仍是一筆交易,遇到錯誤資料就會取消整次載入。文中的測試以 1 GiB CSV 資料進行,預設設定比 COPY 快 6.07 倍,比上游 pg_bulkload 最快的模式快 1.58 倍。部分設定不適用平行處理時,程式會自動改用單一工作程式。

    推薦理由:pg_fastload 把讀取和解析工作分給背景工作者,同時保留單一交易;文中也比較了它和上游工具及 COPY 的測試結果。

  4. The Economic Times · ETtech78

    中國業者用美國 AI 模型的回答訓練本土模型

    中國業者受到晶片取得限制,正設法用較少的運算資源發展本土 AI 模型。Reuters 檢視論文、專利、企業資料和政府檔案後發現,這類做法已從學術實驗擴充套件到產業應用:先讓美國大型模型回答問題或示範解法,再把結果整理成訓練資料,教較小的本土模型完成特定工作。檔案也記載,研究團隊曾用 OpenAI 模型產生的回答來訓練 Qwen。蒸餾能降低部分模型的訓練與使用成本,但無法複製大型模型的全部能力,也不能免除對先進運算資源的需求。美方擔心大規模蒐集輸出可能涉及智慧財產權問題,中方則稱蒸餾是常見的 AI 開發技術;報導也提到,模型進步還受到工程、演演算法、資料與設計等因素影響。

    推薦理由:Reuters 檢視多種檔案,呈現蒸餾如何從學術實驗走向產業使用,也整理美中雙方對其影響與界線的不同看法。

  5. Databricks Blog72

    IFS Copperleaf 如何用 Databricks Genie One 讓 AI 助理理解公司業務

    公司資料分散在近 30 個系統時,不同部門可能連「有多少客戶」都算出不同答案,光把資料整理好還不夠。IFS Copperleaf 用 Databricks Genie One 打造內部 AI 平臺 IONA,先整理財務等重要資料,其他資料則讓 AI 直接讀取,再由業務人員在對話中補充公司的定義。每項定義都有負責人,並由 AI Council 審核;許可權仍依照公司原有設定。文章也分享行銷分析、財務換算和客戶會議準備等用途,以及 70% 的啟用率,說明共同的業務定義如何讓不同團隊更容易取得一致答案。

    推薦理由:IFS Copperleaf 說明如何把高風險資料先整理好,再讓業務人員補充其他資料的意思,呈現企業匯入 AI 助理時治理與彈性的取捨。

  6. Rohan Paul76

    機器人在實驗室學會工作後,到了陌生房間可能就不會做了。Hubdotxyz 開放了一批機器人訓練資料,包含人們在工作坊或家中完成熟練工作的第一人稱影片,目前有 10,000 小時,未來幾週還會再提供 90,000 小時。這些影片來自 12,227 人,讓資料涵蓋不同人的工作環境;資料可免費用於商業用途。

    推薦理由:這批來自不同工作場所的第一人稱影片,呈現機器人訓練資料如何納入更多真實環境與熟練工作的情境。

  7. The New Stack77

    DuckDB 2.0 改成可供其他電腦連線,並加入 AI 助理模式

    DuckDB 以前通常直接放程序式裡使用,現在 2.0 也能當伺服器,讓其他電腦連線查詢。這次更新還加入 AI 助理模式,會用精簡表格和 JSON 格式錯誤訊息,幫助 Claude Code、Codex 和 Cursor 看懂查詢問題並修正 SQL;也能防止查詢一直跑下去。要留意的是,2.0 建立的資料庫檔案不能用舊版開啟,但 2.0 仍能讀寫舊版檔案。受訪者建議正式環境等 2.0.1 或 2.0.2 再升級,團隊目前正準備 2.0.1 修正錯誤。

    推薦理由:DuckDB 2.0 同時改變連線方式與資料格式,並加入適合 AI 助理讀取的查詢輸出;文中也提醒正式環境應等修正版再升級。

  8. Databricks Blog68

    Databricks 示範用 Feature Views 打造即時金融產品推薦系統

    銀行想在客戶瀏覽信用卡或使用貸款試算時推薦合適的產品,得趕在對方離開前算出結果。Databricks 的 Solution Accelerator 示範如何用 Feature Views 共用訓練和上線服務的特徵定義,並把客戶平常的資料和剛發生的瀏覽行為一起交給排序模型。範例中,完整推薦請求的延遲符合 50 ms 預算,串流事件約 0.1 秒後就能供模型使用;不過資料是合成的,不能據此宣稱推薦會提高營收。實際上線前,團隊還得自行加入資格、同意、適用性和抑制規則。

    推薦理由:範例說明批次與串流特徵如何共用定義,並在 50 ms 服務預算內完成排序,可作為評估即時推薦架構的參考。

  9. Dev.to Top Tech82

    Google DeepMind 發布 AlphaGenome 2,找出 DNA 變異影響哪種細胞

    研究人員常知道某段 DNA 和疾病有關,卻不知道它會在哪種細胞裡發揮作用。Google DeepMind 的 AlphaGenome 2 會把 DNA 序列和指定的細胞型別或狀態一起分析,預測基因表現、染色質可及性、剪接等變化,也能用少量單細胞資料推測沒看過的新狀態。在 TenK10K 測試中,它找出的因果變異比前代模型多近一倍;IBD 案例中,模型約 30 分鐘就找出相關變異和腸道巨噬細胞。它目前只開放非商業研究使用,不能取代實驗,也尚未驗證為臨床或診斷工具。

    推薦理由:原文整理 AlphaGenome 2 如何用細胞狀態解讀 DNA 變異,並比較它和前代模型在疾病研究上的實際差異。

  10. NVIDIA Newsroom Press Releases78

    NVIDIA 推出 Nemotron for Science,協助研究人員打造科學用 AI 助理

    研究人員要讓模型處理化學、生物等專門問題,得準備合適的資料,還要確認模型能不能做好。NVIDIA 推出 Nemotron for Science,整合 Nemotron 3.5 Super VL、新的化學資料集和微調配方,讓研究人員能調整模型、打造科學用 AI 助理。資料集 LitmusBench v0.2 收錄近 50,000 個化學問題,可用來訓練和評估模型;研究人員也能讓 AI 助理解讀科學資訊、撰寫程式碼並使用計算工具。Nemotron 3.5 Super VL 和資料集目前已可在 Hugging Face 取得。

    推薦理由:LitmusBench v0.2 同時提供化學推理的評估資料與訓練用途,搭配微調配方,讓研究人員能檢查模型能力並調整模型來處理科學任務。

11月15日週日
  1. The New Stack80

    DuckLake 1.1 如何用 SQL 資料庫簡化資料湖倉

    資料湖倉常把表格資訊散放在許多檔案裡,資料一多,查詢前就得先找出要讀哪些檔案,還可能被大量小檔案拖慢。DuckLake 1.1 把表格中繼資料放進一般 SQL 資料庫,讓查詢能直接找到要讀的 Parquet 檔案;它也能把多個檔案合在一起,減少檔案數量和讀取請求。DuckLake 1.1 在 10 月推出,並附帶 200 多項錯誤修正。這次訪談由 The New Stack 訪問 DuckLake 開發者,說明這套開源格式如何用熟悉的資料庫方式管理湖倉資料。

    推薦理由:訪談把資料湖倉的檔案與中繼資料管理問題,連到 DuckLake 1.1 的做法,能看出 SQL 資料庫目錄如何減少查詢前的整理工作。

11月14日週六
  1. AWS Machine Learning Blog74

    AWS SageMaker HyperPod 示範如何用線上資料找出模型盲點並微調

    新產品上市後,分類模型可能沒有對應的類別,讓客服工單被分錯或只能送進通用佇列。AWS 示範用 SageMaker HyperPod Data Capture 把線上請求與回答存到 S3,再用 Athena 找出新產品造成的分類變化,透過 SQL 規則整理訓練資料,並在同一個叢集上微調模型。示範使用合成資料;測試集準確率從 83.9% 提升到 100%,但手寫測試為 20/24,也暴露出模型把「提到產品名稱」直接當成產品分類的問題。文章提醒,完整請求可能含個資,收集前應設定抽樣、加密與去識別處理。

    推薦理由:文章示範如何從線上請求找出新產品分類缺口,再用 SQL 標記資料並微調模型,呈現一套可重做的改善流程。

11月13日週五
  1. Databricks Blog70

    Databricks Genie Migrate 正式推出,支援將七種資料倉儲的 SQL 轉到 Lakehouse

    企業把舊資料倉儲搬到 Databricks Lakehouse,常得花很多時間改寫 SQL、查檔案之間的關係,還要逐一找出轉換錯誤。Databricks 的 Genie Migrate 現已正式推出,可處理 Microsoft SQL Server、Azure Synapse、Teradata、Oracle、Snowflake、Amazon Redshift 和 Google BigQuery 的 SQL。它會整理檔案與資料表的依賴關係、同時轉換多個檔案,並檢查和修正產出的程式碼,讓工程師比對新舊版本後核准結果。Databricks 表示,七種來源的基準測試中,每種都有超過 90% 的檔案轉換正確;MIXI 測試的 BigQuery 檔案則約有 85% 不必手動修改即可執行。

    推薦理由:文章以七種資料倉儲的轉換基準與 MIXI 實例,呈現 Genie Migrate 的轉換成果及工程師仍需檢查的工作。

  2. Databricks Blog71

    Databricks 解析 Lakebase LTAP 的四種常見誤解

    Databricks 逐一回應 LTAP 的四種常見質疑,說明 Lakebase 如何以單一邏輯資料表支援 Postgres 交易處理與湖倉分析。 - 資料儲存:LTAP 將湖端作為耐久資料層,並以快取與 pageserver 支援讀取;文章主張這些層級不構成可獨立查詢的第二個資料庫。

    推薦理由:文章以儲存層級、雙格式與 LSN 快照逐一拆解 LTAP 的四種常見誤解,呈現 Lakebase 如何兼顧 OLTP 存取與一致性分析。

  3. Hacker News (official RSS)78

    Leeroo 開源 Kapso,透過迭代實驗累積企業資料環境知識

    Leeroo 開源 Kapso,這是一套能執行實驗、部署最佳方案,並從每次執行中累積經驗的企業資料工程引擎。 - 運作方式:經驗庫儲存過往實驗歸納的經驗,包含可信度分數、適用條件與證據;系統依此提出並排序實驗構想,再由驗證模組檢查結果。

    推薦理由:Kapso 把實驗結果整理成帶有適用條件與證據的經驗庫,並支援版本比較,呈現一種讓企業資料工作累積環境知識的做法。

  4. Databricks Blog76

    Databricks Genie for Slack 正式推出,支援受治理的資料問答與工具操作

    Databricks 宣佈 Genie for Slack 正式開放使用,讓使用者在 Slack 頻道、討論串或私訊中取得依照既有許可權提供的資料與知識庫答案,並可接續執行工作。

    推薦理由:Genie 將受治理的資料查詢與跨工具操作帶進 Slack,並沿用提問者許可權;各頻道也可設定回覆可見範圍與指定 Genie Agent。

11月12日週四
  1. Hugging Face Blog74

    TRELLIS.2 3D 生成模型微調完整指南

    Hugging Face 提供 TRELLIS.2 微調指令碼與 Docker 容器,示範如何使用自備的 3D 資產訓練 LoRA,並可透過 Hugging Face Jobs 或本機執行。

    推薦理由:文章以鞋類資料集示範如何依任務需求選擇微調元件,並比較留出物件的幾何指標,呈現從資料準備到評估的可遷移流程。

  2. PostgreSQL Official News86

    PostgreSQL 發布 18.7、17.12、16.16、15.20、14.25 與 19 RC 2

    PostgreSQL Global Development Group 發布 PostgreSQL 18.7、17.12、16.16、15.20、14.25 更新版及 PostgreSQL 19 RC 2,修補 52 個安全漏洞與 140 多項錯誤。

    推薦理由:此次更新同時修補多項安全漏洞並處理索引損毀、備份與查詢結果等問題,更新後的重建索引及全量備份需求也有明確說明。

  3. The Decoder78

    Google DeepMind 發布 AlphaGenome 2,將基因組預測細化至單一細胞型別

    Google DeepMind 發布基因組研究模型 AlphaGenome 2,以特定細胞狀態為條件預測基因變異的影響,將分析從多組織概覽轉向單一細胞型別。

    推薦理由:模型以特定細胞狀態作為條件輸入,並在免疫細胞基準與疫苗資料上展示預測結果,呈現基因變異研究從組織尺度轉向細胞型別分析的做法。