跳到正文

#資料/訓練

RSS
今日 7 則
11月17日週二
  1. Dev.to Top Tech65

    如何讓 AI 報告中的每個數字都能查到來源

    AI 報告只要出現一個編造的數字,讀者就很難放心;但要大家逐項重算,也不實際。作者分享 RE Intelligence 的做法:先用固定查詢算出數字,記下每個數字來自哪個查詢,再交給模型寫成說明;如果資料裡沒有答案,就寫「找不到」,不讓模型猜。文章也示範用程式檢查報告中的數字和引用是否相符,並提出四個檢查問題,幫助團隊確認報告能否追溯來源。這種做法需要事先寫好查詢,文字也可能比較平實,但能讓讀者看清數字從哪裡來。

  2. Dev.to Top Tech64

    Tree-Ising 用約 $0.90 修補 Qwen3.5-0.8B,成本低於 GPT-6 Astra

    Qwen3.5-0.8B 在思考模式下會反覆輸出數學題內容,讓模型很難正常作答。研究團隊提出 Tree-Ising,挑選模型權重中的少量位元做修改,再用 GPU 搜尋合適的改法,不需要呼叫大型語言模型。研究報告稱,修補約花 $0.90、耗時 31 分鐘;GPT-6 Astra 的修補則花 $312、耗時約 15.6 小時。在 MATH-500@4 測試中,Tree-Ising 得分為 54.6%,GPT-6 Astra 為 51.7%。不過,結果都來自數學測試,尚未經其他人獨立重現,也沒有和 LoRA 等微調方法比較。

  3. Dev.to Top Tech68

    Llama 4 Scout 如何用多模態和長上下文處理產品需求

    評估多模態模型時,團隊得同時考慮它能處理什麼資料,以及部署和授權是否合適。這篇文章整理 Meta 的 Llama 4 Scout:它能處理文字與圖片,宣稱的上下文視窗最高可達 10 million tokens;採用 Mixture-of-Experts,每次推論會啟用 17B 引數,但總共有 109B 引數需要記憶體。作者提醒,長上下文不保證能準確找回資料,實際品質、延遲和成本都要用自己的資料測試。模型權重可以公開下載,但使用者須接受 Llama 4 Community License,規模超過每月 700 million 活躍使用者的組織還有額外條件,因此採用前也要確認授權是否符合產品規劃。

  4. Dev.to Top Tech61

    SQL 視窗函式教學:計算使用者分群留存率

    想知道新使用者過了幾個月還會回來,重複事件和漏掉的月份都可能讓留存率算錯。這篇教學用 SQL 視窗函式找出每位使用者第一次活躍的月份,再把活動整理成每人每月一筆,計算各月份的留存人數和比例。範例也補出沒有使用者回來的月份,避免把零留存誤看成資料缺漏。文中提醒,分析前要先說清楚什麼算活躍,並留意資料是否涵蓋使用者真正的首次活動、當月資料是否完整,以及時區設定。

  5. Dev.to Top Tech58

    Striim 教你把 Oracle 即時異動資料串流到 ClickHouse

    把 Oracle 的資料即時同步到 ClickHouse,除了接通資料來源,也得選對方式處理新增、修改和刪除。Striim 的 ClickHouseWriter 可透過 JDBC 直接傳送資料;文章用 Oracle 的訂單資料示範整套流程,並比較不同 ClickHouse 引擎的做法。像 ReplacingMergeTree 寫入速度較快,但背景合併前,查詢可能看到重複或已刪除的資料;MergeTree 則會先刪除舊資料再寫入新資料,寫入成本較高。文章也整理如何設定批次大小、檢視同步進度,以及遇到連線錯誤時的重試方式。

  6. Dev.to Top Tech57

    如何用 Feast 和 MongoDB 建立即時詐欺偵測流程

    詐欺偵測系統常要分開準備訓練資料和即時查詢資料,還得確保兩邊使用的特徵一致。這篇教學用 Django MongoDB Backend 儲存交易資料,再用 Feast 從歷史資料整理特徵,並放進 MongoDB,讓程式能查出每位使用者最近一筆交易的金額、類別和地點。接著,範例用交易金額的 z-score 判斷是否可能有詐欺情形;文中也提醒,這只是所有使用者共用的簡單基準,而且用來訓練的資料沒有另外拿來測試。

  7. Dev.to Top Tech64

    如何用 Common Crawl 和 OpenStreetMap 建立商家名錄

    要建立商家名錄,常得自己蒐集店名、網站和聯絡方式。作者分享一套做法:先用 OpenStreetMap 找出指定地區的店家和網站,再從 Common Crawl 的網頁資料擷取電話、電子郵件、地址與營業時間,並用行業關鍵字和網站資料判斷店家是否符合類別。電子郵件還會檢查網域是否和店家網站相符,完成後也要人工抽查。作者提醒,有些網站不會出現在每月爬取資料中,資料也可能過期,因此名錄應標明資料來源。

  8. Dev.to Top Tech57

    如何收集 ChatGPT 回答,建立可供研究的資料集

    ChatGPT 對同一個問題,可能每次回答不同,也會隨時間換模型;只收一份回答,容易把這些變化當成固定結果。文章建議先固定問題清單與國家,每題在不同日期重複收集,並記下模型名稱、時間和回答原文,也保留網頁畫面。作者提醒,有些回答的模型欄位是 null,代表 OpenAI 的行動版網頁格式,分析時應保留並單獨標記。文章也列出收集費用範例,並提醒 OpenAI 使用條款限制自動擷取資料,研究開始前應交由倫理審查或法務團隊確認。

  9. Databricks Blog72

    IFS Copperleaf 如何用 Databricks Genie One 讓 AI 助理理解公司業務

    公司資料分散在近 30 個系統時,不同部門可能連「有多少客戶」都算出不同答案,光把資料整理好還不夠。IFS Copperleaf 用 Databricks Genie One 打造內部 AI 平臺 IONA,先整理財務等重要資料,其他資料則讓 AI 直接讀取,再由業務人員在對話中補充公司的定義。每項定義都有負責人,並由 AI Council 審核;許可權仍依照公司原有設定。文章也分享行銷分析、財務換算和客戶會議準備等用途,以及 70% 的啟用率,說明共同的業務定義如何讓不同團隊更容易取得一致答案。

    推薦理由:IFS Copperleaf 說明如何把高風險資料先整理好,再讓業務人員補充其他資料的意思,呈現企業匯入 AI 助理時治理與彈性的取捨。

  10. Thomas Wolf61

    機器人學習不只看資料有多少,資料是否多樣、品質如何也很重要。hubdotxyz 最近發布一份採用 LeRobot 格式的開放資料集,首批有 10k 小時,之後計畫增加到 100k 小時。資料包含 62,000 多種任務描述、15,000 多種環境,並有 12,000 多名參與者。作者認為,這些不同的任務與環境能為機器人學習帶來多樣的資料;資料集採 CC-BY 4.0 授權,可供商業使用。

  11. Rohan Paul76

    機器人在實驗室學會工作後,到了陌生房間可能就不會做了。Hubdotxyz 開放了一批機器人訓練資料,包含人們在工作坊或家中完成熟練工作的第一人稱影片,目前有 10,000 小時,未來幾週還會再提供 90,000 小時。這些影片來自 12,227 人,讓資料涵蓋不同人的工作環境;資料可免費用於商業用途。

    推薦理由:這批來自不同工作場所的第一人稱影片,呈現機器人訓練資料如何納入更多真實環境與熟練工作的情境。

  12. Dev.to Top Tech39

    資料庫基礎:資料如何整理、儲存與安全使用

    手機、電腦上的許多功能都會讀取資料,若資料分散在不同檔案,容易重複、遺失,或彼此對不上。資料庫會把同一類資料有條理地放在一起,資料庫管理系統則負責整理、查詢、保護資料,也讓多人可以同時使用。像銀行轉帳這種工作,系統要確保整個過程順利完成;中途出錯就全部取消,完成後也要把結果儲存好。這些安排能讓資料更可靠,也讓使用者不必知道資料實際存在哪裡,就能查到需要的內容。

  13. Dev.to Top Tech56

    如何設計能追查來源的活動日期、場地與補助資料庫

    活動日期、場地或補助規則一改,資料庫若只留最新內容,就很難查清資料從哪來、何時確認。作者建議把每項資料都當成有來源和時間的紀錄,連回官方網頁或公告,並分清資料何時被看到、何時開始生效。不同來源說法不一致時,保留兩筆紀錄並交由編輯檢查;補助規則也要按政策年度分開儲存,避免把舊規定當成現行資訊。最後再從已確認的資料產生活動日曆,讓更新有跡可循。

  14. Dev.to Top Tech58

    BattleBots Analytics 如何把機器人對戰資料做成互動儀錶板

    BattleBots 的勝負、武器和粉絲討論資料散落各處,不容易放在一起比較。作者做了 BattleBots Analytics 儀錶板,分成六種畫面,讓人檢視機器人勝率、粉絲看法、對戰比較、贊助商與零件、武器策略和製作者社群。資料會先從快取載入,有即時資料時再合併;專案附有 149 個預先擷取頁面的快取資料,也能用內附資料在沒有 API 金鑰時啟動。對戰比較會依勝率、擊倒率和武器相性計算分數,作者也提醒,這只是方便理解的估算,結果會受資料完整度影響。

  15. The Decoder59

    Moonshot AI 將 Kimi 轉向生物與藥物研究,編碼進步放慢

    Moonshot AI 認為 Kimi 在寫程式上的進步開始放慢,因此把模型發展方向轉向生物、化學和藥物研究。北京新創 DP Technology 正把 Kimi K3.1 Pro 放進研究助理 BioMaster;一次測試中,AI 用 90 分鐘分析 3,696 個小鼠胰臟細胞的基因資料,找出 100 個候選基因,原本估計要花研究人員四小時。不過,AI 還無法獨立完成重要突破:在一項理論電腦科學測試中,領先模型能提出可驗證的證明,卻沒有解出任何尚未解決的猜想。藥廠研究主管對 AI 能否明顯提高新藥成功率也較保留。

  16. The New Stack77

    DuckDB 2.0 改成可供其他電腦連線,並加入 AI 助理模式

    DuckDB 以前通常直接放程序式裡使用,現在 2.0 也能當伺服器,讓其他電腦連線查詢。這次更新還加入 AI 助理模式,會用精簡表格和 JSON 格式錯誤訊息,幫助 Claude Code、Codex 和 Cursor 看懂查詢問題並修正 SQL;也能防止查詢一直跑下去。要留意的是,2.0 建立的資料庫檔案不能用舊版開啟,但 2.0 仍能讀寫舊版檔案。受訪者建議正式環境等 2.0.1 或 2.0.2 再升級,團隊目前正準備 2.0.1 修正錯誤。

    推薦理由:DuckDB 2.0 同時改變連線方式與資料格式,並加入適合 AI 助理讀取的查詢輸出;文中也提醒正式環境應等修正版再升級。

  17. Databricks Blog45

    Databricks AI Runtime 如何協助企業使用表格資料 AI 模型

    用表格資料預測客戶會不會流失、商品需求有多少,通常得為每種工作各自訓練和維護模型,既花時間,也得處理 GPU 設定和管理。表格基礎模型(TFM)先用大量合成資料預訓練,拿到新資料時,就能參考已知答案來預測,不必從頭訓練;例如 TabICLv2 約有 28M 個引數,商用授權較寬鬆,但不同模型在效能、成本和授權上各有取捨。 Databricks AI Runtime 提供代管 GPU,並整合實驗追蹤、資料治理和模型部署,讓團隊能在資料所在的平臺測試或微調 TFM,再把模型用於批次工作或即時預測。這類模型有機會省下建置和維護專用模型的時間,但每次預測都要把資料交給模型處理,GPU 用量可能隨資料列數和欄位增加;企業仍得用自己的資料評估準確度與運算成本。

  18. Databricks Blog68

    Databricks 示範用 Feature Views 打造即時金融產品推薦系統

    銀行想在客戶瀏覽信用卡或使用貸款試算時推薦合適的產品,得趕在對方離開前算出結果。Databricks 的 Solution Accelerator 示範如何用 Feature Views 共用訓練和上線服務的特徵定義,並把客戶平常的資料和剛發生的瀏覽行為一起交給排序模型。範例中,完整推薦請求的延遲符合 50 ms 預算,串流事件約 0.1 秒後就能供模型使用;不過資料是合成的,不能據此宣稱推薦會提高營收。實際上線前,團隊還得自行加入資格、同意、適用性和抑制規則。

    推薦理由:範例說明批次與串流特徵如何共用定義,並在 50 ms 服務預算內完成排序,可作為評估即時推薦架構的參考。

  19. Dev.to Top Tech82

    Google DeepMind 發布 AlphaGenome 2,找出 DNA 變異影響哪種細胞

    研究人員常知道某段 DNA 和疾病有關,卻不知道它會在哪種細胞裡發揮作用。Google DeepMind 的 AlphaGenome 2 會把 DNA 序列和指定的細胞型別或狀態一起分析,預測基因表現、染色質可及性、剪接等變化,也能用少量單細胞資料推測沒看過的新狀態。在 TenK10K 測試中,它找出的因果變異比前代模型多近一倍;IBD 案例中,模型約 30 分鐘就找出相關變異和腸道巨噬細胞。它目前只開放非商業研究使用,不能取代實驗,也尚未驗證為臨床或診斷工具。

    推薦理由:原文整理 AlphaGenome 2 如何用細胞狀態解讀 DNA 變異,並比較它和前代模型在疾病研究上的實際差異。

  20. Dev.to Top Tech65

    Uniface 服務如何用遞迴查詢找出客戶關係迴圈並加總群組營收

    客戶之間可以互相建立上下層關係,但若資料繞成一圈,報表可能一直往下查;同一位客戶也可能因為有多條路徑而被重複計算。作者用 Uniface 10 和 SQLite 示範兩個遞迴查詢:一個找出回到起點的關係迴圈,另一個從最上層客戶往下找成員,再加總指定期間內的發票收入。查詢設了深度上限來避免無止盡地往下跑,也會先去掉重複成員再計算營收,並另外提醒要檢查客戶資料已刪除、但關係仍存在的情況。

  21. Databricks Blog55

    Databricks 獲 Gartner 資料湖倉平臺領導者評選,Lakebase Postgres 入選願景者

    企業常把處理日常交易的資料庫和分析資料分開,還得用資料管線複製資料,增加等待時間與管理負擔。Databricks 表示,Gartner 將它列為資料湖倉平臺領導者,並在執行能力上評分最高;在雲端作業資料庫評選中,Lakebase Postgres 則是唯一入選願景者的廠商。文章也介紹 LTAP 架構:Lakebase Postgres 處理交易,分析引擎負責分析,兩者讀取同一份資料,讓分析能看到應用程式剛寫入的內容。文中舉例,PRADA Group 用它提供低延遲的指標 API,約快 130 倍,基礎架構成本約降 50%。

  22. NVIDIA Newsroom Press Releases78

    NVIDIA 推出 Nemotron for Science,協助研究人員打造科學用 AI 助理

    研究人員要讓模型處理化學、生物等專門問題,得準備合適的資料,還要確認模型能不能做好。NVIDIA 推出 Nemotron for Science,整合 Nemotron 3.5 Super VL、新的化學資料集和微調配方,讓研究人員能調整模型、打造科學用 AI 助理。資料集 LitmusBench v0.2 收錄近 50,000 個化學問題,可用來訓練和評估模型;研究人員也能讓 AI 助理解讀科學資訊、撰寫程式碼並使用計算工具。Nemotron 3.5 Super VL 和資料集目前已可在 Hugging Face 取得。

    推薦理由:LitmusBench v0.2 同時提供化學推理的評估資料與訓練用途,搭配微調配方,讓研究人員能檢查模型能力並調整模型來處理科學任務。

11月16日週一
  1. BlockTempo 動區動趨68

    烏蘭察布趕建 AI 資料中心,算力熱潮與居民生活仍有落差

    AI 資料中心蓋得快、裝置又貴,城市要投入多少土地、電力和人力,才能換來長期收益?《晚點 LatePost》記者走訪內蒙古烏蘭察布,記錄近 3 萬名工人趕建資料中心,液冷裝置和發電機也因需求大增而供不應求。資料中心完工後,常駐維運人員不到 20 人;報導指出,算力產業帶來的稅收多集中在建設期,營運收益則多流向外地總部。這座城市因此成了 AI 基礎設施的重要據點,當地居民卻未必能分享到同等的經濟好處。

  2. Dev.to Top Tech55

    Origin Data Partners 整理資料集授權前的匿名化工具與清理方法

    要把資料集授權給別人,得先確認個人資料、密碼金鑰和不屬於自己的程式碼不會跟著交出去。Origin Data Partners 按工作種類整理了開源工具,例如用 Presidio 找出文字中的個人資料、用 ARX 處理表格、用 gitleaks 掃描程式碼歷史中的密碼金鑰,再用 git-filter-repo 從舊紀錄中移除。整理重複資料、檢查影片中的人臉,以及寫清楚資料怎麼收集和處理,也都是準備工作。這些工具都可能漏掉內容,匿名化結果不能只靠工具判定,還要人工抽樣檢查;文章也提醒,將原始資料送到雲端大型語言模型處理,本身可能造成資料外洩。

  3. OpenBMB47

    大型語言模型能讀很長的內容,但訓練太早停止,長文表現可能還沒練好。OpenBMB 分享一項研究,用模型大小、一般訓練資料量和長文本訓練資料量,估算模型處理長文的表現;這套公式也能推估沒直接測過的訓練規模,R²=0.97。研究還發現,訓練過程中可以用固定方式穩定追蹤進步,而且 32K 訓練帶來的提升能延伸到 128K,也能保留在 SFT 之後,並幫助長上下文與 AI 助理任務。

  4. Lobste.rs (Engineering Discussion)43

    PicoLisp 如何實作 TPC-H 資料庫測試

    資料庫要處理大量互相關聯的資料和複雜查詢,怎麼設計才方便修改與測試?這個 PicoLisp 範例把 TPC-H 的資料表做成彼此能直接連結的資料物件,再把外部產生的資料載入資料庫,讓查詢可以沿著物件間的關係找資料,少寫一堆 SQL 連線語法。以 SF 10 的資料量,在文中列出的電腦上,載入約花 82 分鐘,跑完全部查詢約 30 分鐘。這套做法著重讓程式容易看懂、修改和拿來實驗,並非追求最快速度。

  5. Dev.to Top Tech58

    ML Experiment Cockpit 把 MLflow、Optuna 和 W&B 實驗紀錄放進 IDE

    訓練跑完後,檢視引數和損失曲線常得離開程式編輯器,在好幾個網頁間切換。ML Experiment Cockpit 是一款免費的 JetBrains 外掛,能在 PyCharm、IntelliJ IDEA 等 IDE 裡檢視 MLflow、Optuna 和 W&B 的實驗紀錄、模型與掃描工作;只會讀取伺服器已有的資料,不會啟動訓練或修改紀錄。設定伺服器後按下重新整理,就能檢視實驗引數和指標曲線;若只用 MLflow,其他頁籤可留空。

  6. Dev.to Top Tech69

    如何用影響函式找出哪些訓練資料改變了模型預測

    模型做出讓人意外的預測時,光看輸入特徵不一定知道哪些訓練資料推了它一把。影響函式用數學近似「拿掉一筆資料再重訓」的過程,替每筆訓練資料排出對某個預測的幫助或傷害程度,省下反覆重訓的成本。這些排名能協助找出標錯、相似但標籤相反,或帶有特殊雜訊的資料,方便檢查與修正。不過,深度模型的結果只是近似值;作者建議挑幾筆排名靠前的資料實際重訓核對,也提醒單筆排名看不出多筆資料一起造成的影響。

  7. Dev.to Top Tech48

    從 1,269 個中國火車站看懂:名稱不等於好用的識別方式

    做火車站資料庫時,光靠英文名稱很難讓人找到正確車站:北京南站的拼音是「Beijingnan」,旅客可能說「Beijing South」,路邊的招牌卻寫著「北京南站」。這份資料有 1,269 個火車站,中文站名各不相同;但英文名稱就算沒有重複,也不一定方便旅客或司機辨認。資料中有 452 個車站以城市名稱加上東西南北命名,還有 301 個沿用城市名稱加「站」的舊稱;旅客猜的那個站名,可能不是搭車地點。作者因此把中文名稱當作資料庫的主要名稱,英文名稱只用來搜尋,並要求每個車站都要有地圖座標。這提醒我們,名稱不重複,不代表拿來找地方就好用。

  8. Sakana AI50

    一般的 AI 測驗不一定看得出模型懂不懂日本的金融規定。Sakana AI 推出日文評測題庫「JFinBench」,用日本 6 種金融資格考試的 2026 年版題目做成 321 題,包含稅額計算、申論和讀圖。製作時由 AI 助理協助整理考試 PDF,再由人逐題檢查,約花 12 小時。測試 12 個大型語言模型後發現,有些開放權重模型在一般測驗表現不錯,遇到日本金融題目仍落後;主要難在不熟悉日本製度,而不是計算。讓模型查法令能提高分數,但差距仍在,顯示模型還需要學會運用日本的金融知識。

  9. Dev.to Top Tech45

    Uniface 如何封存發票並用 SHA-256 檢查檔案有沒有被改過,以及這方法的限制

    發票開出去後要留下紀錄,不能被人偷偷改掉。這個 Uniface 範例會把一整年的已開發票和折讓單,照平常列印時使用的方式存成 HTML 檔,再把每個檔案的 SHA-256 檢查碼記進資料庫;日後檢查時,就能找出檔案不見或內容改變的情況。草稿不會封存,作廢發票則會保留,因為它曾經寄給客戶。 不過,這套方法有幾個缺口:它算的是解碼後的文字,所以外部工具算出的檢查碼可能不同;檔案和檢查碼都能被同一個人修改時,檢查可能仍顯示正常;重新封存也會用新檔案和檢查碼蓋掉舊紀錄。因此,它適合找出意外變動或檔案遺失,卻不能單靠它證明發票從未被動過。

  10. Dev.to Top Tech35

    Uniface 表單的一次回復操作,為什麼刪掉了自己的匯入紀錄?

    Uniface 的匯入表單有「Check」試跑和「Apply」正式匯入。試跑時,服務會檢查每一列、回報錯誤,也會在匯入紀錄裡留下「這次只是檢查」的紀錄;不過舊表單在試跑後執行回復,把服務剛寫下的紀錄也一起刪掉了,所以紀錄表只看得到正式匯入。修正後,表單兩種情況都提交,只有服務回報錯誤時才回復。實測中,試跑會留下紀錄,但不會改動客戶資料;正式匯入則會留下另一筆紀錄。

  11. Dev.to Top Tech52

    Uniface 10 如何用 LAG() 查出商品價格變化

    用程式逐筆比較商品價格,得先記住上一筆資料,還要處理商品和日期的排序。Franz 示範在 Uniface 10 的 SQLite 查詢中使用 LAG(),找出同一商品前一筆價格,再篩出指定月份內有變動的紀錄並算出漲跌百分比。同一天若有多筆價格,查詢會再用紀錄 ID 排好順序;價格回到舊數字也算變動,和前一筆相同則不列入結果。

  12. Dev.to Top Tech63

    27 個模型只有 1.5 種看法?作者檢查整合投票的模型差異

    把很多模型放在一起投票,原本是希望它們能互相補足;但如果模型都來自相似的提示詞,票數多可能只是重複計算同一種看法。作者分析自家足球賽事預測紀錄,發現平均每場有 10.34 個模型投票,換算後約只有 1.46 種有效看法;多數決準確率是 56.95%,略低於模型平均的 57.00%。依訓練來源合併投票,準確率升到 57.35%,但能做出明確判斷的場次也變少。這份觀察提醒團隊,評估整合模型時應檢視模型是否真的各有不同,不能只看模型數量或共識程度。

  13. Dev.to Top Tech58

    《Deep Learning》如何幫忙找出 PyTorch loss 變成 NaN 的原因

    訓練到一半,loss 變成 NaN,光是調低學習率可能找不到原因。作者分享自己用 PyTorch 寫分類程式時,先算 softmax 再取 log,遇到模型非常有把握卻猜錯的答案,機率會小到變成 0,接著讓計算出現 NaN。用 F.cross_entropy 把相關步驟合在一起,就能避開這個問題。作者也把《Deep Learning》各章節連到常見狀況,例如準確率卡住時,先試著讓模型記住 16 筆資料;如果連這都做不到,就先檢查程式和資料處理,再花時間調整模型。

  14. Dev.to Top Tech59

    實測 dbt_context_engineering:用 Snowflake 搜尋日文留言

    只靠語意搜尋,找「配送延誤原因」時,結果也可能混入單純詢問配送進度的留言。作者用 dbt_context_engineering 在 Snowflake 處理日文訂單留言:先把文字分組、轉成向量,再依相似度找出相關內容;接著替留言分類,只搜尋配送延誤、天候影響或處理錯誤等類別。範例中,加入分類篩選後,搜尋結果變少。這個套件會呼叫 Snowflake 的 AI_EMBED 和 AI_CLASSIFY;文中也提醒,費用控管設定不等於實際帳單金額,套件當時仍是 0.x 版本,部分功能為 Beta,建議先用小型資料集試跑。

  15. Dev.to Top Tech64

    神經網路縮放定律怎麼看:模型、資料和算力如何影響損失

    訓練大型語言模型時,模型做大、資料變多或算力增加,究竟能讓結果進步多少?這篇文章介紹神經網路縮放定律,說明預訓練損失通常會隨這些因素增加而逐步下降,但不會因此突然大幅跳升。文章也比較 Kaplan 和 Chinchilla 對算力分配的估算:Chinchilla 指出,在相同訓練算力下,模型大小和訓練 token 數應按相同比例增加;70B 的 Chinchilla 使用 1.4T tokens,在幾乎所有基準測試中都勝過使用 300B tokens 的 280B Gopher。作者也提醒,這些定律預測的是預訓練損失,不等於模型在各種任務上的能力。

  16. ModelScope56

    機器人價值模型需要訓練和評估資料,才能判斷機器人執行任務時的表現。ModelScope 上架 RoboValue-Dataset,收錄模擬環境和真實世界的操作任務,除了看最後有沒有完成,也能檢查任務進度、失敗後是否復原,以及模型給出的評價前後是否一致。資料還包含不同機器人和環境的設定,可用來測試模型面對不同情境時的表現。程式碼、指令碼和說明檔案採用 MIT License。

  17. Dev.to Top Tech48

    六個美國州公開新公司資料,教你整理成一份資料流

    想找剛成立的公司,常見名單可能又貴又舊;但州政府公開的公司資料各有格式,不能直接放在一起用。這篇文章介紹一個工具,會整理六個州的資料,例如刪掉同一家公司重複的地址紀錄、把各州不同的公司類別改成一致格式,再合成一份 JSON 資料流。使用者也能篩選最近登記的公司,並排除已經出現過的結果。 不過,這份資料只有公司登記資訊,沒有電話或電子郵件,也不包含個人姓名;德州和賓州更新較慢,適合每週檢視。費用是每 1,000 家公司 $4,而且只涵蓋六個州,沒有加州和佛羅裡達州。