跳到正文

#資料/訓練

RSS
今日 7 則
11月18日週三
  1. Hacker News (official RSS)58

    Geoscience Australia 開放全澳洲 AUSTopo 地形圖下載

    需要規劃工程、管理緊急事件或到野外工作時,常得先找到涵蓋範圍完整、資料可靠的地圖。Geoscience Australia 已完成 AUSTopo 1:250,000 數位地形圖系列的全國發布,地圖可免費下載、列印,也能存到手機或平板離線檢視。使用者可以選擇最新版本或過去的版本;自 2023 年起,系列中已有超過 500 張地圖更新,舊版也保留下來供比較、教學和研究。

  2. Hacker News (official RSS)82

    研究發現 Claude 能預測少人研究的蛋白質序列

    模型答得出常見蛋白質,不一定代表它學會了蛋白質序列的規律,因為這些資料也常出現在論文和網路上。研究者改用少人研究的細菌與古菌蛋白質,請模型根據序列前段預測下一個胺基酸,再和打亂順序的序列比較。Claude Fable 5.2 在原始序列上答對 54%,打亂後則是 9%;其他受測的一般模型幾乎沒有這種差距。研究結果顯示,Claude 最新模型可能在訓練時接觸過大量蛋白質序列;不過,這項測試只檢查下一個胺基酸,不能直接說明模型能否預測蛋白質結構或突變影響。

    推薦理由:研究用冷門蛋白質序列測試模型是否學到序列規律,並比較 Claude 與專門蛋白質模型的預測表現。

  3. Dev.to Top Tech59

    印度 DPDP 第二階段啟動,檔案團隊可用六個月檢查個資流程

    印度個資保護規定分階段上路,處理大量檔案的團隊得先找出個資藏在哪裡,並準備好說明如何保護。作者整理出六個月的實務清單:盤點檔案裡的個資和流向、只留下工作需要的資料、分享給廠商或 AI 工具前先遮掉不需要的內容,並記錄每次處理和核準情形。規定要求發生個資外洩時通知主管機關和受影響的人,並在 72 小時內提交詳細報告;若不知道哪些檔案含有個資,就很難及時處理。作者也提醒,遮蔽只是保護措施之一,不能取代告知、同意、儲存期限和存取許可權等決定。

  4. BlockTempo 動區動趨47

    Qwen4-Max 第三方評分落後 Claude,蒸餾是否受阻還沒有定論

    阿里自家測試說,Qwen4-Max 的表現和 Claude Opus 5.5 差不多;但在 Artificial Analysis 的榜單上,Qwen4-Max 得 43 分,低於 Opus 5.5 的 59 分,也比 Claude Fable 5.2 的 65 分少。有人猜,Anthropic 把 Claude 的思考過程藏起來後,其他模型更難拿這些資料來訓練、追上 Claude;不過這目前只是社群的說法,還不能當成定論。 Anthropic 表示,完整的思考過程比摘要更適合拿來訓練模型,也說新防護讓可能被取走的推理內容減少約 90% 到 99%。文章提到阿里是 Anthropic 指控的物件之一,但阿里沒有公開回應;目前沒有證據證明 Qwen4-Max 分數較低就是蒸餾受阻造成的。

  5. Databricks Blog77

    Databricks 如何把叢集建立的預設請求速率上限提高 7.5 倍

    雲端服務變慢時,建立叢集的工作會拖更久;固定每分鐘接受多少請求,可能讓工作堆在系統裡,也可能在系統有空間時擋掉請求。Databricks 改用會看系統狀況調整的同時工作上限,讓排隊中的請求等到有空位再開始;系統吃緊時減少新工作,恢復後再慢慢增加。它仍保留固定請求上限,作為流量特別高時的防線。Databricks 表示,這套做法讓預設叢集建立請求上限提高 7.5 倍,報告範圍內的限流錯誤減少超過 99.99%,並移除了 100 多個客戶專屬上限。

    推薦理由:固定請求速率難以應付雲端依賴變慢帶來的長時間工作堆積;文章說明 Databricks 如何按系統健康調整同時進行的工作數量,並分享實際成效。

  6. Dev.to Top Tech60

    SaaS 圖片怎麼存?作者比較物件儲存、資料庫與本機硬碟

    SaaS 把圖片存在哪裡,會影響服務擴充時能不能找到檔案,也會增加資料庫和備份的負擔。作者以物流服務儲存 AI 生成訓練圖片為例,建議把圖片檔放在物件儲存,並在資料庫記下工作編號、格式、期限和檔案位置;讀取時先找資料,再串流載入圖片。多臺伺服器共用物件儲存,比把檔案留在單一機器上可靠;資料量很少且需要和資料庫紀錄一起完成交易時,資料庫 Blob 也可能合適。本機硬碟則適合測試或可丟棄的快取。作者也提醒,保留期限要明確設定,大檔案的上傳表現要在實際工作量下測量。

  7. Dev.to Top Tech59

    ERP Architect's Notes 教你設計稽核紀錄,保留資料變更前後內容

    事後要追查誰改了哪筆資料,常會發現當時的畫面和系統版本都已經不在了。Jeff Tsai 用 ERP 框架的設計說明,如何分別記錄登入、讀取單筆資料和修改資料:每筆異動會儲存操作者、時間、資料內容,以及欄位修改前後的值。作者也解釋,紀錄會存下當時的名稱與欄位結構,讓資料多年後仍看得懂;異動紀錄寫入失敗時,系統會改走其他寫入方式,避免直接丟掉紀錄。

  8. Dev.to Top Tech57

    用 dbt 和 DuckDB 把感測器 CSV 整理成每日分析摘要

    感測器 CSV 裡有一筆筆讀數,還得整理後才能拿來分析。作者示範用 dbt 整理日期、溫度和感測器位置,再依日期、房間和位置計算讀數筆數,以及最低、平均和最高溫度;資料格式不合或欄位缺漏時,也能用檢查找出問題。DuckDB 儲存整理後的資料,GitHub Actions 會在更新時執行流程並發布網頁看板。公開展示使用的是合成資料,共有 16 筆讀數、涵蓋兩天,平均溫度為 23.69;這些數字不是實驗室原始感測器的結果。

  9. Dev.to Top Tech42

    用 ClickHouse 分析停車場各時段的車位佔用情況

    想知道停車場哪些車位有被佔用,可以從不同角度整理同一批攝影機讀取的資料,例如看哪臺攝影機、哪一天或哪個時段。這個專案用 ClickHouse 存放資料,再用 SQL 算出每臺攝影機和每個小時的佔用比例,並把結果做成可以依攝影機篩選的網頁。公開展示用的是合成資料,共有 16 筆讀取紀錄,其中 9 筆顯示車位有人使用、7 筆顯示空著;佔用比例是 56.25%。這只是示範計算方式,不能直接代表真實停車場的使用情況。

  10. Dev.to Top Tech58

    VIDRAFT 的 Darwin-180B 在 Hugging Face 官方排行榜拿下 12 項第一

    模型在排行榜上的名次常被拿來比較,但只看第一名數量,可能看不出它參加了哪些專案。VIDRAFT 盤點 Hugging Face 標有「benchmark:official」的公開資料,截至 2026 年 11 月 17 日,Darwin-180B 參加了 57 個排行榜中的 15 個,15 項都進入前三名,其中 12 項拿下第一。成績涵蓋科學、數學、檔案辨識與法律等領域;部分第一名是多人並列。它沒有參加另外 42 個排行榜,因此這些成績只反映已參賽專案的表現,不能代表所有領域。

  11. elvis56

    AI 助理要持續學習,就得知道哪些資訊該記下來、怎麼記,以及之後何時取用。Elvis Saravia 整理了 Meta 與 RIME 的不同做法:Meta 先找出較好的記憶提示詞,再用相關資料微調模型;RIME 則用強化學習,讓模型一邊解題、一邊寫下記憶,並獎勵日後能幫上忙的筆記。這篇整理也列出 Google 等相關研究連結,呈現這個研究方向的不同路徑。

  12. Dev.to Top Tech40

    RecipeHub 如何用食譜資料模型打造更好用的烹飪體驗

    做菜時,食譜常把好幾種食材寫在同一個步驟裡,忙著下廚的人得自己記住每樣要放多少。RecipeHub 把食譜拆成更清楚的資料:分開記錄食材名稱和用量,也替食材分類,讓人能把份量調成一半或兩倍,並在每個步驟中快速看出要用哪些食材,以及時間、溫度等重點。這就像把食譜整理成電腦看得懂的格式,讓 App 更容易提供實用功能,也能幫助人在廚房裡少漏放食材。

  13. Publickey (日系頂級架構誌)72

    Microsoft 推出 Azure SQL Database 本機開發容器公開預覽

    開發者在本機測試資料庫功能時,常需要確認它和雲端環境是否相同。Microsoft 公開預覽 Azure SQL Database 本機開發容器,讓開發者在自己的電腦上使用與 Azure SQL Database 相同的資料庫引擎、T-SQL 和連線方式,也能沿用原本的框架、程式庫與 Visual Studio Code 進行開發、除錯、建置和測試。搭配 MSSQL extension for VS Code 的 Local-to-Cloud Deployment Wizard,還可把本機資料庫部署到雲端。

    推薦理由:這項預覽讓開發者能在本機使用與 Azure SQL Database 相同的資料庫引擎與工具,方便了解本機開發和雲端部署如何銜接。

  14. Publickey (日系頂級架構誌)68

    Microsoft 推出 PostgreSQL 相容的無伺服器資料庫 Fabric HorizonDB 預覽版

    開發環境有時需要很快開好資料庫,也希望能用同一份資料做日常交易和分析。Microsoft 發布 Fabric HorizonDB 公開預覽版,這款 PostgreSQL 相容的無伺服器資料庫可在幾秒內準備好;閒置 5 分鐘後會暫停運算資源,有查詢時再自動啟動。資料表預設會複製到 Microsoft Fabric 的 OneLake,因此除了交易處理,也能進行分析,並支援向量搜尋和全文搜尋。

    推薦理由:Fabric HorizonDB 把交易資料預設同步到 OneLake,讓同一份資料能同時支援日常操作與分析,也能用於向量搜尋。

  15. Dev.to Top Tech53

    TRUSTED PETS 用本機流程保護資料隱私,也保留資料用途

    分享資料時,遮掉太少可能讓人認出當事人,遮掉太多又會讓資料失去用途。TRUSTED PETS 是一套在本機執行的隱私處理流程,會辨認欄位和文字中的個人資料,再依分享情境選擇處理方式,逐步調整資料,並檢查隱私目標和原本的用途是否都達標;不合格的結果不會發布。作者以合成資料測試,TRUSTED PETS v3 的欄位分類宏平均 F1 為 0.774,文字個資辨識 F2 為 0.998;客戶服務資料的測試中,列出的身分證號、付款卡號、IBAN、電話和電子郵件殘留比例皆為 0%。

  16. Dev.to Top Tech56

    Ava SDR 分享 Android 離線銷售 AI 助理的架構經驗

    讓銷售 AI 助理在 Android 手機離線回覆,麻煩的不只是模型跑得動,還得避免它亂報價格、漏掉新資料或重複傳訊息。Ava SDR 的開發者分享,他們用約 1.2B 引數、四位元量化的模型,在一臺 POCO 手機上測得部分推論約需 4.8 到 10.4 秒;這只是特定設定的內部測試。價格和庫存要回頭查商家提供的資料,缺少資訊時應先說需要確認,必要時交由人核准。即使回覆能離線產生,訊息能否持續送出仍受網路、手機許可權和電量影響。

  17. Dev.to Top Tech55

    BugSigDB 新手教學:如何從論文整理微生物資料

    整理微生物研究時,光看摘要容易漏掉比較組別、樣本來源和菌種變化方向。作者分享自己第一次使用 BugSigDB 的經驗,帶新手從研究方法和結果找出需要的資料,再依照整理規則填入資料庫。像是看到某種細菌在 HIV 組較少,就要確認資料記錄的也是「在 HIV 組減少」,不能把方向寫反。遇到論文用詞和資料庫選項不同時,應查閱整理規則與相關詞彙,也可以向社群請教;慢慢核對,比急著完成更重要。

  18. Dev.to Top Tech81

    Redshift 如何讓 Iceberg 資料表一次完成多個載入步驟

    資料湖的批次載入若只完成一半,報表可能短暫顯示錯誤數字;批次工作和即時寫入同時碰到同一張表,也可能互相衝突。Redshift 現在能把多個 INSERT、UPDATE、DELETE 或 MERGE 放在同一筆交易裡,完成後才一次發布資料,也會嘗試處理同時寫入的衝突。若兩次修改碰到同一個資料檔,仍可能失敗,需要保留重試機制。文中也提醒,Iceberg 的時間回溯只適合讀取仍保留的快照,不能當成長期稽核紀錄;使用前還要設定快照保留、清除孤立檔案等維護工作。

    推薦理由:Redshift 的交易與衝突處理能減少單一 Iceberg 資料表載入時的中間狀態;文中也整理了分割方式、重試和維護設定的影響。

  19. AWS Machine Learning Blog67

    Amazon SageMaker AI 推出資料準備功能,協助整理訓練資料

    訓練和評估模型時,整理出夠用又可靠的資料常常很花時間,標籤錯誤、重複內容也可能拖到訓練後才被發現。Amazon SageMaker AI 推出一組資料準備功能,可自動標註資料、產生合成資料、檢查資料品質,也能依訓練方法整理資料格式;信心較低的標註還能交給人在 SageMaker Studio 檢查。團隊可用 Python SDK 或 AI-ML skill 操作,並檢視、修改產生的規格和程式碼。這些功能已在美東(維吉尼亞北部)和美西(奧勒岡)正式推出。

    推薦理由:原文說明如何把自動標註、人工檢查、合成資料與品質檢查串成準備流程,可瞭解資料整理如何接上模型訓練與評估。

  20. Databricks Blog54

    Databricks 分享 Lakebase 駭客松如何用資料庫分支與同步打造應用

    開發應用時,團隊常得在共用測試資料庫和替每位開發者複製一份資料之間取捨;把湖倉資料送進應用,也常要另外建同步流程。Databricks 分享 11 個客戶團隊如何用 Lakebase 嘗試解決這些問題:資料庫分支能快速建立測試環境,修改不會直接影響正式資料;同步功能則讓湖倉資料供應應用查詢,也能把資料庫變更送回湖倉。像 Lyft 的團隊讓 AI 助理在資料庫分支上測試客服處理方式,再讀取資料庫的實際結果調整。這些案例展示 Lakebase 如何支援應用開發、搜尋和即時機器學習。

  21. Dev.to Top Tech71

    PostgreSQL 巢狀檢視表查詢變慢,作者追出原因並驗證 Tom Lane 的修正

    檢視表一層套一層時,PostgreSQL 可能把查詢需要的資料表分到不同組,讓原本能快速查資料的方式用不上。作者先替 PostgreSQL 15.8 寫修正,讓一份報表查詢從 194,910 毫秒降到 114 毫秒,卻也在自己的程式碼裡找到 8 個錯誤,其中一個會悄悄回傳錯誤資料。後來他測試 Tom Lane 已提交的修正,在 PostgreSQL 18.6 的同資料測試中,加入該修正後查詢從超過 2 分鐘降到秒以下;這是單一查詢的結果,不能代表所有巢狀檢視表都會變快。

  22. Dev.to Top Tech71

    EveryInfra 分析產品召回通知怎麼比對,避免把相似商品誤報成召回品

    產品召回資料常缺少條碼或型號等欄位,光看商品名稱,很容易把相似商品也誤報成召回品。EveryInfra 檢查美國消費品安全委員會與 FDA 的公開資料,也實際搜尋多個購物平臺,發現型號常藏在文字說明裡,食品召回資料的公佈時間也可能比召回開始晚上好幾週。作者建議依召回通知需要的型號、日期碼、批號或序號來比對;資料不足時,提醒使用者檢視商品標籤,不要直接判定商品已召回或安全。這篇是在介紹資料產品的設計,EveryInfra 並未表示已推出召回通知服務。

  23. Tomasz Tunguz Blog60

    LanceDB 募得 $57.5m,多家 AI 公司用 Lance 管理訓練資料

    AI 公司要用大量圖片、影片和程式碼訓練模型,得先有方法管理龐大的資料。Tomasz Tunguz 介紹 Lance 這種資料格式,以及 LanceDB 在多家公司的使用情況:Exa 用它管理網頁資料,Runway 用在影片生成,Microsoft AI 則用它處理訓練和推論資料。Adobe 管理的資料規模達 40pb 到 50pb,NVIDIA 也用 Lance tables 進行大規模訓練。文章也宣佈 LanceDB 募得 $57.5m Series B,並提到公司營收年增超過 10 倍、開源下載量超過 120m。

  24. Dev.to Top Tech54

    Lakehouse Field Notes:先把資料平臺的問題寫成可檢查的需求

    舊資料平臺雖然能正常產生報表,卻有閒置成本、數字難追查和同一指標各處算得不同等問題。作者先把這些麻煩改寫成能檢查的需求,再讓新平臺和舊平臺並行,逐月比對總數,接著逐筆核對資料。比對時發現,有些差異來自大家早已忘記的舊規則;團隊決定保留或修正時,也把原因記下來。這種做法能在換平臺時看清數字為何改變,避免只比欄位名稱就以為結果相同。

  25. Dev.to Top Tech70

    作者回顧資料平臺架構上線後,哪些設計留下、哪些改了

    資料平臺的架構計畫到了實際使用時,可能遇到引擎不支援、工作重複或維護方式不合適等問題。作者回顧團隊原先選用 Airbyte、Airflow、dbt、Athena、Iceberg 和 Metabase 的決策,以及上線後的調整:把資料匯入工具換成 OLake,將部分資料層合併,也依 Athena 支援的寫入方式重新設計資料更新。團隊還把資料表維護交給 Amazon S3 Tables,並把描述留在 dbt,再同步到 BI 工具。作者建議,每項架構決策都寫下驗證條件,並先確認引擎和儲存服務實際支援哪些做法。

  26. The Decoder76

    美國擬管制海外資料中心買 AI 晶片,中國業者靠模型蒸餾降低算力需求

    美國想堵住中國透過海外資料中心取得 AI 算力的路,商務部提出新規,要求新加坡、馬來西亞、泰國、印尼和巴西的資料中心購買美國先進 AI 晶片前先取得許可,申請會逐案審查。報導也整理路透社調查:中國業者把美國大型模型的回答、程式碼和解題結果整理成訓練資料,再拿來訓練成本較低的小模型,藉此減少自家運算需求。模型蒸餾本身不違法,但可能違反 OpenAI 和 Anthropic 的服務條款;美方官員也警告,若相關行為涉及竊取智慧財產,可能祭出制裁。

    推薦理由:報導串起美國擬管制海外資料中心購買先進 AI 晶片,以及中國業者以模型蒸餾降低訓練成本的兩條供應路徑,呈現管制與算力需求的拉扯。

  27. Databricks Blog56

    Databricks 在 Azure Government 開放新版平臺 Beta

    政府機關要使用新的資料與 AI 工具,常得同時滿足嚴格的安全與合規要求。Databricks 宣佈 Azure Government 上的新平臺進入 Beta,已提供 Unity Catalog、Databricks SQL 和無伺服器運算,並預設啟用加強監控、叢集自動更新與加密等防護;客戶資料只會存放和處理於美國政府雲端區域。FedRAMP Class D 與 DoW IL5 授權仍在申請中,預計於 2027 年初取得;Beta 目前僅供非正式環境使用,完整 AI 功能也還在規劃中。

11月17日週二
  1. Lobste.rs (Engineering Discussion)66

    Oracle 說明 MySQL 如何開發向量索引,並比較多種搜尋方法

    資料庫要替 AI 找出相近的文字或資料,得先把內容轉成一串數字,再快速找出彼此接近的專案。Oracle 的 MySQL 工程師用文章說明向量和向量索引的概念,並比較 HNSW、IVF、ScaNN 和 Vamana 等搜尋方法:有些方法用圖形連起相近資料,有些先把資料分群。MySQL 原生向量索引仍在開發與評估中,團隊正研究採用哪些方法,以及是否提供可替換不同索引方法的介面。文章也介紹已可下載試用的 MyVector 外掛,支援 HNSW 和 IVF 搜尋。

    推薦理由:文章用文字相似度的例子說明向量索引如何找出相關資料,並比較 HNSW、IVF 等做法,呈現 MySQL 原生支援仍在開發中的選擇。

  2. Dev.to Top Tech44

    H-1B 薪資資料查詢網站,讓你快速看懂各地薪水

    查政府薪資資料常得下載很大的表格,再自己找地點、職稱和公司,才能算出薪水中位數。作者做了 h1bsalarydata.org,把美國勞工部的 H-1B 申請資料整理成容易查詢的網站;搜尋職位後,就能看到薪水中位數、申請件數和主要僱主。例如,想了解西雅圖資深後端工程師的薪資,可以檢視不同工作等級的資料。網站用中位數呈現薪水,減少少數高薪案例拉高平均值的影響,也讓求職者和僱主更容易參考真實申請紀錄。

  3. O'Reilly Radar68

    AI 判斷被改正後,企業如何找出仍依賴舊結果的決策

    AI 助理看錯供應商的品質證明,可能讓錯誤一路進入採購決策、儀錶板和報告;即使有人改正資料,其他系統也可能繼續沿用舊結果。作者以供應商審查為例,提出記錄「決策血緣」的方法:把 AI 提出的判斷、它依據的檔案、誰核准它,以及哪些決策和紀錄用過它連在一起。發現判斷有誤時,系統就能找出需要更新的報告、搜尋結果和待處理流程,並交由負責人重新檢視已做出的決策。這種做法適合用在會影響付款、合規或安全的高風險判斷;它能追查錯誤如何擴散,但不能保證原始證據或 AI 判斷正確。

  4. Dev.to Top Tech81

    IFM 公開 K2-Horizon 六款模型及訓練資料,最大款有 375B 引數

    許多開放模型只提供權重,外界很難知道訓練資料怎麼來、模型又是怎麼做出來的。IFM 公開了 K2-Horizon 六款模型的權重、訓練資料、中途檢查點、訓練紀錄和製作資料的流程,也提供訓練與評估用的程式碼。模型從 0.9B 到 375B-A23B,適合不同規模的工作;其中 36B-A4B 使用的啟用引數較少,論文稱它的表現接近用相同資料訓練的 32B 模型。這些效能說法尚未經獨立測試,作者也沒有親自試用;公開資料讓人能研究和微調,但從頭重訓需要大量運算資源。

    推薦理由:K2-Horizon 同時公開權重、訓練資料與製作流程,讓人能檢視模型如何建成,也能比較不同規模的模型。

  5. Dev.to Top Tech72

    Meta 如何安全遷移資料管線,作者整理面試回答與 Airflow 3.4 升級提醒

    資料管線換新時,即使工作顯示成功,也可能把資料寫錯,事後才發現。作者整理 Meta 遷移大量資料工作的方法:先讓新舊系統同時運作,把新系統的結果寫到另一張表,持續比對資料筆數、校驗碼、延遲和資源用量;切換後仍保留舊系統運作,出問題就能快速切回。資料異常時,也能只處理有問題的分割槽,不必停掉整條管線。文章把這套做法整理成資料工程師面試時可用的回答架構,並提醒升級 Airflow 3.4 時,除了比對資料,也要檢查工作觸發次數與事件是否被消耗。

  6. PostgreSQL Official News58

    Apache Cloudberry 2.2.0 更新至 PostgreSQL 14.10 核心

    大型分析資料庫要跟上 PostgreSQL 的修補,也得照顧不同作業系統和硬體平臺。Apache Cloudberry 2.2.0 把核心從 PostgreSQL 14.4 更新到 14.10,納入多項上游安全修補,並加入六種擴充功能與多項查詢改進。這個版本支援 Rocky Linux 8、9、10 和 Ubuntu 22.04、24.04,Ubuntu 20.04 則不再支援;安裝套件也支援 x86_64 和 ARM64。

  7. PostgreSQL Official News62

    pg_fastload 1.0.0 用平行處理加快 PostgreSQL 大量資料載入

    大量資料載入 PostgreSQL 時,原本的工具會在單一工作程式裡讀取、解析和寫入,讓多核心電腦的其他核心閒著。pg_fastload 1.0.0 把讀取和解析分給背景工作者,再由原本的工作程式負責寫入;整次載入仍是一筆交易,遇到錯誤資料就會取消整次載入。文中的測試以 1 GiB CSV 資料進行,預設設定比 COPY 快 6.07 倍,比上游 pg_bulkload 最快的模式快 1.58 倍。部分設定不適用平行處理時,程式會自動改用單一工作程式。

    推薦理由:pg_fastload 把讀取和解析工作分給背景工作者,同時保留單一交易;文中也比較了它和上游工具及 COPY 的測試結果。

  8. Dev.to Top Tech58

    UUID、ULID、NanoID、KSUID 和 Snowflake 怎麼選?一篇比較 ID 格式的指南

    替資料庫和網址挑 ID,看起來只是小事,卻會影響資料排序、網址長度和程式能否正確讀取。這篇指南比較 UUID、ULID、NanoID、KSUID 和 Snowflake:有些格式會把時間放進 ID,方便排序;有些字串較短,適合放在網址;Snowflake 佔用空間較少,但需要替產生 ID 的機器分配編號。文章也提醒,這些 ID 都不能安全地當成 JavaScript 數字處理,傳給 API 時應以字串儲存,避免數值被改掉。選哪一種,要看資料庫、使用情境和系統規模。

  9. Dev.to Top Tech60

    如何避免 LLM 摘要捏造引文和數字:讓模型分組,再用程式核對

    把大量評論整理成摘要時,模型可能會改寫原話卻加上引號,也可能猜錯有多少人或戲劇提到某件事。作者示範一套做法:先替每則評論編號,再請模型只負責把意思相近的評論分組,並附上原文引句,不要自行報數字。接著用程式確認引句確實出現在對應評論裡,並排除不存在的編號,再計算不同戲劇的數量。這樣能保留模型整理文字的便利,也讓引句和統計結果有資料可查。

  10. Solidot74

    研究估算美國大型資料中心用電量,最高接近部分州全年用電量

    美國大型資料中心要支援雲端服務、大型語言模型訓練和 AI 工具,研究估算它們一年會用掉多少電,以及因此產生多少碳排放。研究人員分析了 403 座資料中心的衛星影像,估計在 2024 年 5 月至 2025 年 4 月間,它們共用電 68–99 TWh,最高接近印第安納州、密西根州和田納西州各自一年的總用電量。這些資料中心約有 54% 的電力來自化石燃料,研究期間排放約 2570 萬公噸二氧化碳。研究人員認為,目前的用電需求和排放可能已高於研究期間的估算。

  11. Dev.to Top Tech62

    Scikit-learn 教學:用少量表格資料快速建構客戶流失預測模型

    許多小型公司只用試算表記錄客戶資料,想提前知道哪些人可能會流失卻不知道要寫什麼演演算法。作者示範把只有二十筆的客服表格,透過 pandas 轉成表格、使用 scikit-learn 的 LogisticRegression 搭配 StandardScaler,快速訓練出一個可解釋的 churn 預測模型,並說明如何正確切分資料、避免在單筆預測時傳入錯誤形狀,以及讀取混淆矩陣避免被高準確率欺騙,讓使用者能把現有的表格直接套用成實用的模型。

  12. The Economic Times · ETtech78

    中國業者用美國 AI 模型的回答訓練本土模型

    中國業者受到晶片取得限制,正設法用較少的運算資源發展本土 AI 模型。Reuters 檢視論文、專利、企業資料和政府檔案後發現,這類做法已從學術實驗擴充套件到產業應用:先讓美國大型模型回答問題或示範解法,再把結果整理成訓練資料,教較小的本土模型完成特定工作。檔案也記載,研究團隊曾用 OpenAI 模型產生的回答來訓練 Qwen。蒸餾能降低部分模型的訓練與使用成本,但無法複製大型模型的全部能力,也不能免除對先進運算資源的需求。美方擔心大規模蒐集輸出可能涉及智慧財產權問題,中方則稱蒸餾是常見的 AI 開發技術;報導也提到,模型進步還受到工程、演演算法、資料與設計等因素影響。

    推薦理由:Reuters 檢視多種檔案,呈現蒸餾如何從學術實驗走向產業使用,也整理美中雙方對其影響與界線的不同看法。