跳到正文

#資料/訓練

RSS
今日 7 則
11月13日週五
  1. Hacker News (official RSS)48

    Data Intelligence Engineer 如何讓 AI 助理幫忙分析資料、加快做決策

    資料團隊常要接手一張張工作單,查資料、改管線、做儀錶板;每次交接都得等,也容易忘記一開始想解決什麼問題。現在,AI 助理已能試著寫 SQL、做圖表和整理資料,但仍可能用錯資料或誤解公司怎麼計算營收,因此需要人把關。作者把負責這件事的新角色稱為 Data Intelligence Engineer:整理清楚資料和公司用語、檢查 AI 助理給的答案,並依照出錯可能造成的影響安排監督。這樣,員工能更快自己查資料、追問問題;重要的營收數字則仍由資料團隊仔細確認。

  2. Dev.to Top Tech52

    Kronos 如何以 K 線資料預測價格與成交量

    Kronos 是以金融 K 線資料訓練的開源基礎模型,可預測價格與成交量,並提供 BTC/USDT 未來 24 小時的即時示範。 運作方式:專用 tokenizer 先將 OHLCV K 線資料轉為階層式離散 token,再由自回歸 Transformer 預測未來數值;訓練資料來自 45+ 個交易所。 模型與限制:Kronos-mini 有 4.1 million 個引數與 2,048 的上下文長度;Kronos-small 有 24.7 million 個引數,Kronos-base 有 102.3 million 個引數,兩者上下文長度皆為 512。Kronos-large 有 499.2 million 個引數,但未開源。 使用與風險:專案提供預訓練模型、批次預測與微調範例;文章提醒 Kronos 是研究模型,預測不是買賣建議,回測範例也不是可直接用於實際交易的系統。

  3. Dev.to Top Tech59

    如何工程化建立紐約市級 3D 建築量體模型

    作者以紐約市級建築量體模型為例,說明如何把建築輪廓、高度資料與地形整合成可用於分析的 3D 模型。 資料與高度:建築輪廓、高度和地形來自不同資料源;高度定義、來源和誤差範圍都應記錄,紐約案例使用 US survey feet 與 feet。 模型與檢核:將模型分格並建立不同細節層級,依用途輸出 3D Tiles、glTF 或空間資料庫;檢查高度範圍、重複識別碼及建築與地形的交疊,並抽樣實地檢視。 用途界線:生成的量體可用於初步篩選,應獨立存放,不能當作實際建物測量結果。

  4. Dev.to Top Tech58

    LoRA 與全引數微調如何選擇?Nodus 教學比較適用情境與成本

    LoRA 在一般規模的指令微調、推理資料集與強化學習中,採用合適設定時可達到與全引數微調相近的表現;大量新增知識時,全引數微調可能更適合。 - 研究結果:文章整理兩項研究,指出 LoRA 應涵蓋所有權重矩陣,並使用約為全引數微調 10 倍的學習率;資料超出 adapter 容量時,LoRA 可能落後。

  5. Databricks Blog71

    Databricks 解析 Lakebase LTAP 的四種常見誤解

    Databricks 逐一回應 LTAP 的四種常見質疑,說明 Lakebase 如何以單一邏輯資料表支援 Postgres 交易處理與湖倉分析。 - 資料儲存:LTAP 將湖端作為耐久資料層,並以快取與 pageserver 支援讀取;文章主張這些層級不構成可獨立查詢的第二個資料庫。

    推薦理由:文章以儲存層級、雙格式與 LSN 快照逐一拆解 LTAP 的四種常見誤解,呈現 Lakebase 如何兼顧 OLTP 存取與一致性分析。

  6. Dev.to Top Tech52

    Nexscient 分析小型機器人策略模型的資料需求與基準指令錯誤

    Nexscient 指出,La-JEPA 等小型機器人策略模型的結果凸顯,模型縮小後,任務能力更仰賴示範資料,基準測試指令的正確性也會影響評估。 - La-JEPA:作者稱,該方法使用凍結的預訓練視覺編碼器,從頭訓練小型策略網路;在訓練時預測未來畫面與下一個動作,實際執行時只輸出動作。

  7. Hacker News (official RSS)78

    Leeroo 開源 Kapso,透過迭代實驗累積企業資料環境知識

    Leeroo 開源 Kapso,這是一套能執行實驗、部署最佳方案,並從每次執行中累積經驗的企業資料工程引擎。 - 運作方式:經驗庫儲存過往實驗歸納的經驗,包含可信度分數、適用條件與證據;系統依此提出並排序實驗構想,再由驗證模組檢查結果。

    推薦理由:Kapso 把實驗結果整理成帶有適用條件與證據的經驗庫,並支援版本比較,呈現一種讓企業資料工作累積環境知識的做法。

  8. Databricks Blog76

    Databricks Genie for Slack 正式推出,支援受治理的資料問答與工具操作

    Databricks 宣佈 Genie for Slack 正式開放使用,讓使用者在 Slack 頻道、討論串或私訊中取得依照既有許可權提供的資料與知識庫答案,並可接續執行工作。

    推薦理由:Genie 將受治理的資料查詢與跨工具操作帶進 Slack,並沿用提問者許可權;各頻道也可設定回覆可見範圍與指定 Genie Agent。

11月12日週四
  1. Hugging Face Blog74

    TRELLIS.2 3D 生成模型微調完整指南

    Hugging Face 提供 TRELLIS.2 微調指令碼與 Docker 容器,示範如何使用自備的 3D 資產訓練 LoRA,並可透過 Hugging Face Jobs 或本機執行。

    推薦理由:文章以鞋類資料集示範如何依任務需求選擇微調元件,並比較留出物件的幾何指標,呈現從資料準備到評估的可遷移流程。

  2. PostgreSQL Official News86

    PostgreSQL 發布 18.7、17.12、16.16、15.20、14.25 與 19 RC 2

    PostgreSQL Global Development Group 發布 PostgreSQL 18.7、17.12、16.16、15.20、14.25 更新版及 PostgreSQL 19 RC 2,修補 52 個安全漏洞與 140 多項錯誤。

    推薦理由:此次更新同時修補多項安全漏洞並處理索引損毀、備份與查詢結果等問題,更新後的重建索引及全量備份需求也有明確說明。

  3. The Decoder78

    Google DeepMind 發布 AlphaGenome 2,將基因組預測細化至單一細胞型別

    Google DeepMind 發布基因組研究模型 AlphaGenome 2,以特定細胞狀態為條件預測基因變異的影響,將分析從多組織概覽轉向單一細胞型別。

    推薦理由:模型以特定細胞狀態作為條件輸入,並在免疫細胞基準與疫苗資料上展示預測結果,呈現基因變異研究從組織尺度轉向細胞型別分析的做法。

  4. Dev.to Top Tech48

    DINOv2 適應醫療影像分割與專用模型進行比較測試

    研究人員比較將以自然影像預訓練的基礎模型 DINOv2 調整後用於醫療影像分割,與針對特定任務訓練的模型之表現,並測試模型在新臨床據點的泛化能力。 評估方式:研究改變模型的調整範圍,並在新臨床據點測試,而非只使用與訓練資料分佈相同的資料。 研究重點:評估基礎模型能否泛化至新醫院,以及醫療 AI 是否應重視目標式調整與跨據點穩健性評估。

  5. MIT News · AI60

    MIT 研究團隊用較少資料訓練更能應付新情境的氣候 AI 模型

    完整氣候模型很精細,但跑一次可能要花數月,難以快速比較許多未來情境。MIT 研究團隊提出一種訓練方法,先用簡化模型產生合成的排放情境,再反覆挑選能幫助 AI 氣候模型降低預測誤差的資料。這些情境可能不像真實未來,卻能讓模型更有能力預測訓練時沒看過的情況;研究中的傳統模型在測試地方汙染管制、其他排放仍持續上升時,未能做到這點。團隊表示,這種方法也只需用完整氣候模型產生一次資料,可望縮短訓練時間。

  6. Dev.to Top Tech76

    如何在 Notion 與 Fireworks AI 事件後稽核 AI 供應商的資料流向

    文章以 Notion 與 Fireworks AI 事件說明,稽核 AI 供應商時應逐項追蹤資料經過的服務、用途、接收方與保留方式。 - 事件範圍:Notion 表示,Fireworks AI 分類 Insights 功能資料時使用的 AI 聊天紀錄涉及不到 1% 的 Notion 工作區;調查仍在進行。

    推薦理由:文章以 Notion 與 Fireworks AI 事件說明,推論、分類和分析等不同資料路徑可能適用不同的保留規則,並提供逐路徑盤點方法。

  7. Dev.to Top Tech68

    Python 電商 PDF 圖說檢索教學:以圖片為中心切分並管理版本新鮮度

    文章示範如何為電商 PDF 建立以圖片為中心的圖說檢索紀錄,並透過檔案修訂版管理,避免舊型錄資料出現在一般搜尋結果中。 - 紀錄設計:每筆紀錄包含檔案識別碼、修訂版、頁碼、圖片識別碼、擷取圖說與範圍受限的周邊文字;SKU 或地區等欄位僅在來源實際提供時加入。

  8. Dev.to Top Tech69

    從零訓練 757M LLM,再改為微調 Qwen:作者的實作與比較心得

    作者以同一項支援性對話任務比較從零訓練語言模型與微調 Qwen2.5-0.5B-Instruct,分享模型建置、資料修正、效能比較與評測過程中的經驗。 - 從零訓練:作者以 PyTorch 訓練 253M 與 757M 引數模型,發現缺少說話者標記、連續同角色對話等資料問題,會讓輸出偏離對話脈絡。

  9. Rohan Paul68

    Microsoft計畫以 Chevron 的 2.67GW 天然氣電廠直接供電資料中心,並承諾不由納稅人或其他公用事業使用者負擔電費。 供電安排:電廠將透過表後發電模式,直接向 Microsoft 資料中心售電 20 年。 審批變數:德州新資料中心許可曾因州長 Greg Abbott 的禁令暫停;其民主黨繼任者已表示立場可能更嚴格。

    推薦理由:材料呈現資料中心自建供電的合作安排與政治審批變數,可供理解大型算力擴建如何牽動能源供應與地方許可。

  10. Dev.to Top Tech78

    Databricks 將 Genie 擴充套件為可持續執行工作的 AI 助理

    Databricks 將 Genie 擴充套件為可排程或由事件觸發、能追查缺漏資訊並同時管理多項工作的 AI 助理,使用者可設定哪些動作須先經核准。

    推薦理由:Genie 把資料問答延伸為可持續執行的工作,文中也區分正式推出與預覽功能,並說明 91% 基準測試適用於既有 Databricks 部署的條件。