跳到正文

#資料/訓練

RSS
今日 2 則
今天11月23日週一
  1. Dev.to Top Tech58

    LLM 訓練平臺怎麼選?Databricks 與其他方案的費用和差異

    用 Databricks 跑大型語言模型訓練可能花不少錢,但換平臺也會牽涉資料管理和工作追蹤。作者以 8 張 H100 跑 24 小時為例,按各家列出的價格估算 GPU 費用:Databricks 是 $1,344,Nodus 是 $499.20;Modal、RunPod、Lambda 和 Amazon SageMaker AI 也列在比較中。這些數字只算 GPU,不含儲存、資料傳輸等費用,而且作者表示沒有親自測試 Databricks 的速度,因此不能單靠價格判斷實際成本。文章也提醒,資料若受 Unity Catalog 管理,或工作流程仰賴 MLflow 和 Model Serving,留在 Databricks 可能較合適;改用其他平臺則要處理資料搬移和許可權管理。

  2. Dev.to Top Tech54

    MobiusEngine 團隊分析:行銷職缺比 IT 職缺更常要求 AI 技能

    美國職缺不常寫出 AI 技能要求,但 MobiusEngine 團隊整理的 289 萬筆公司徵才資訊顯示,行銷職缺有 6.9% 提到 AI 技能,IT 職缺則是 5.5%;全部職缺中,約每 47 筆才有 1 筆提到。相同僱主、相同職級的職缺裡,有寫 AI 技能要求的職缺薪資高 8%,但這不代表 AI 技能帶來加薪,也可能是僱主正在找不同型別的工作。這份資料反映的是徵才廣告怎麼寫,不能直接看出員工每天實際做什麼。

11月22日週日
  1. Dev.to Top Tech59

    作者追查一位創業者的 AI 助理,發現它的資料累積了 12 年

    把多年累積的筆記交給 AI 助理,真的能讓它像共同創辦人一樣幫忙嗎?作者對照一位創業者的筆記、社群貼文和整理後的概念檔,追出一段從 2014 年開始的紀錄,也發現原始筆記由本人撰寫,整理出的概念則有不少由 AI 一起完成。研究資料認為,這些內容可以拿來訓練模型,但研究只比對了 5 種方法中的 3 種,還沒有達成共識。使用紀錄也顯示,推動他去做事的功能多半以其他名稱運作;紀錄只算實際呼叫,沒算一直存在的角色設定。

  2. Dev.to Top Tech48

    AI 產品的模型能力每年便宜 13 倍,真正的競爭優勢要靠什麼?

    如果 AI 產品只是在畫面上包一層,再接上大型模型 API,別人也能很快做出差不多的東西;模型變便宜、變強時,這種產品的優勢也可能跟著消失。作者建議檢查每個功能:如果它只靠模型進步就會變好,那是大家都能享有的好處,不算自己的長期優勢。 真正能累積的,是用得越久越有價值的東西,例如測試 AI 答得好不好的題目、使用者採納建議後的結果資料,以及能在企業流程中執行工作並留下清楚紀錄的能力。舉例來說,有了自己的測試題目,團隊就能更快確認便宜的新模型是否夠用;沒有測試,換模型可能只是猜。文章提醒,與其只租用越來越便宜的模型,不如建立會隨使用持續進步的產品。

11月21日週六
  1. Dev.to Top Tech39

    類人機器人要反應更快,得先在訓練時準備好動作資料

    人用頭戴裝置操控類人機器人時,常會覺得機器慢半拍,因為系統得先把人的動作換算成機器人做得到的動作。研究者提出一種做法,直接把人的動作轉成機器人的關節指令,並用整理好的常見全身動作,補上看不清楚或缺少的部分。他們在模擬環境和 Unitree G1 上測試,表示反應速度和穩定度都比比較物件好。 但少了即時換算,不代表工作消失了;模型得靠訓練資料,事先學會不同人的身形、動作速度和感測器狀況。要是資料裡沒有某種蹲姿,機器人可能會挑一個看起來最接近的動作來做。這提醒我們,機器人能不能靈活又安全,關鍵也在於動作資料收得夠不夠廣、整理得夠不夠好。

11月18日週三
  1. BlockTempo 動區動趨47

    Qwen4-Max 第三方評分落後 Claude,蒸餾是否受阻還沒有定論

    阿里自家測試說,Qwen4-Max 的表現和 Claude Opus 5.5 差不多;但在 Artificial Analysis 的榜單上,Qwen4-Max 得 43 分,低於 Opus 5.5 的 59 分,也比 Claude Fable 5.2 的 65 分少。有人猜,Anthropic 把 Claude 的思考過程藏起來後,其他模型更難拿這些資料來訓練、追上 Claude;不過這目前只是社群的說法,還不能當成定論。 Anthropic 表示,完整的思考過程比摘要更適合拿來訓練模型,也說新防護讓可能被取走的推理內容減少約 90% 到 99%。文章提到阿里是 Anthropic 指控的物件之一,但阿里沒有公開回應;目前沒有證據證明 Qwen4-Max 分數較低就是蒸餾受阻造成的。

  2. elvis56

    AI 助理要持續學習,就得知道哪些資訊該記下來、怎麼記,以及之後何時取用。Elvis Saravia 整理了 Meta 與 RIME 的不同做法:Meta 先找出較好的記憶提示詞,再用相關資料微調模型;RIME 則用強化學習,讓模型一邊解題、一邊寫下記憶,並獎勵日後能幫上忙的筆記。這篇整理也列出 Google 等相關研究連結,呈現這個研究方向的不同路徑。

11月17日週二
  1. O'Reilly Radar68

    AI 判斷被改正後,企業如何找出仍依賴舊結果的決策

    AI 助理看錯供應商的品質證明,可能讓錯誤一路進入採購決策、儀錶板和報告;即使有人改正資料,其他系統也可能繼續沿用舊結果。作者以供應商審查為例,提出記錄「決策血緣」的方法:把 AI 提出的判斷、它依據的檔案、誰核准它,以及哪些決策和紀錄用過它連在一起。發現判斷有誤時,系統就能找出需要更新的報告、搜尋結果和待處理流程,並交由負責人重新檢視已做出的決策。這種做法適合用在會影響付款、合規或安全的高風險判斷;它能追查錯誤如何擴散,但不能保證原始證據或 AI 判斷正確。

11月15日週日
  1. Dev.to Top Tech56

    Fast Data 實測短影音:多數觀眾在 3 秒內離開

    短影音要怎麼做,才能讓觀眾多看幾秒?Fast Data 用新帳號發布 20 多支程式生成的資料動畫,發現較長的影片表現普遍較差;短片的觀眾也常在前 3 秒離開。作者觀察到,開場一開始就有鏡頭移動的 3D 動畫,比六根一起變長的柱狀圖更能留住觀眾;問題文字若太快消失,也可能讓人看不懂畫面。這些只是單一帳號的小規模紀錄,影片長度和製作品質也同時改變,不能單靠這次結果判定原因。文中還附上 Python 程式碼,示範把不同秒數的觀看留存畫成曲線,方便比較影片設計。

11月13日週五
  1. Hacker News (official RSS)48

    Data Intelligence Engineer 如何讓 AI 助理幫忙分析資料、加快做決策

    資料團隊常要接手一張張工作單,查資料、改管線、做儀錶板;每次交接都得等,也容易忘記一開始想解決什麼問題。現在,AI 助理已能試著寫 SQL、做圖表和整理資料,但仍可能用錯資料或誤解公司怎麼計算營收,因此需要人把關。作者把負責這件事的新角色稱為 Data Intelligence Engineer:整理清楚資料和公司用語、檢查 AI 助理給的答案,並依照出錯可能造成的影響安排監督。這樣,員工能更快自己查資料、追問問題;重要的營收數字則仍由資料團隊仔細確認。

  2. Dev.to Top Tech52

    Nexscient 分析小型機器人策略模型的資料需求與基準指令錯誤

    Nexscient 指出,La-JEPA 等小型機器人策略模型的結果凸顯,模型縮小後,任務能力更仰賴示範資料,基準測試指令的正確性也會影響評估。 - La-JEPA:作者稱,該方法使用凍結的預訓練視覺編碼器,從頭訓練小型策略網路;在訓練時預測未來畫面與下一個動作,實際執行時只輸出動作。

11月12日週四
  1. Dev.to Top Tech78

    Databricks 將 Genie 擴充套件為可持續執行工作的 AI 助理

    Databricks 將 Genie 擴充套件為可排程或由事件觸發、能追查缺漏資訊並同時管理多項工作的 AI 助理,使用者可設定哪些動作須先經核准。

    推薦理由:Genie 把資料問答延伸為可持續執行的工作,文中也區分正式推出與預覽功能,並說明 91% 基準測試適用於既有 Databricks 部署的條件。

  2. Dev.to Top Tech57

    AI 如何讓使用者學會判斷知識與證據

    AI 傾向產生最常見、最可能的回答;作者以隨機數字、證據判讀與概念定義為例,說明使用者需要具備哪些判斷方法。 - 常見回答偏差:作者讓 9 個 Claude 與 GPT 模型回答 1 到 10 的隨機數字問題,共 900 次,每次答案都是 7;他將此連結到訓練資料中的人類偏差,以及偏好人類評分答案的訓練方式。

11月11日週三
11月10日週二
  1. Lobste.rs (Engineering Discussion)61

    GenDB-V 基準測試過度擬合如何扭曲資料庫效能比較

    作者分析 GenDB-V 的基準測試結果,指出其大幅加速主要來自針對 TPC-H 查詢預先計算資料結構,部分模式則利用資料產生器的規律,讓基準效能難以代表一般資料庫工作負載。

    推薦理由:作者以資料讀取量與記憶體頻寬估算檢視 GenDB-V 的效能主張,並指出預先計算及依賴資料產生器規律的技巧如何限制基準結果的適用性。

  2. Dev.to Top Tech37

    整理髒資料時,別吝惜模型算力與 Token

    面對大量缺乏規則、彼此關聯不明的雜亂檔案,作者主張先提供足夠強的模型、完整上下文與必要工具許可權,讓 AI 理解資料並建立分類架構,再視需要檢查整理結果。 - 適用方式:資料結構穩定、規則明確後,可把批次修改與格式轉換交給低成本模型或指令碼;最混亂、需要判斷的初始整理階段,則不必急著節省 Token。

  3. BlockTempo 動區動趨61

    摩根士丹利看好 AI 股:半導體個股中位數下跌 53%,部分資料中心專案延至 2029 年

    摩根士丹利認為市場對美國中期選舉結果反應過度,AI 資本開支總量未下調,部分資料中心專案延後至 2029 年,建設節奏改變但需求未變。 - 延後規模:約 20% 的美國專案(佔全球專案 10%)從 2028 年延至 2029 年;美國約 5GW IT 容量延後,已在建專案與 2027 年產能預測維持不變。

11月7日週六
  1. Rohan Paul42

    Maxinsights 錄製人們執行居家廚房等真實任務的過程,並為每段影片標註手部姿勢與文字描述,作為機器人操作訓練訊號。 資料蒐集:Maxinsights 在 8 個國家使用自行打造的錄製硬體,透過涵蓋任務設計到交付影片的單一流程蒐集資料。 錄製方式:同一套裝置部署至各地,讓錄製條件維持一致、環境有所變化;推文指出,環境變化是模型應接觸的差異。

11月6日週五
11月4日週三
  1. 雷科技59

    具身智慧機器人尚未普及,訓練資料採集市場已先行發展

    具身智慧機器人尚未大規模商用,訓練資料採集與處理服務已開始發展,但資料能否跨平臺使用、服務商能否穩定獲利仍受適配度影響。 - 資料需求:報導引述中國證券報指出,不少機器人與大型模型企業的資料需求,已從百萬小時級邁向千萬小時級;單一技能可能需要 2000 至 5000 小時訓練資料。

11月3日週二
11月1日週日
10月25日週日
10月10日週六
10月7日週三
10月3日週六
9月3日週四
  1. Recode China AI56

    智慧機器人需要大量資料,資料從何而來?

    智慧機器人要處理多變的真實任務,仍需要更多能支援訓練的資料;文章梳理目前主要的資料來源與限制。 網路影片:來源規模龐大,但缺少力道、扭力與觸覺等物理訊號,也面臨人體動作難以轉移至不同機器人身上的問題。 第一人稱影像:透過頭戴式攝影機擴大資料蒐集範圍;Figure AI 的 Index 收錄 1,600 萬段影片,北京大學 DAGroup 的 HumanNet 則包含 100 萬小時的人本影片,涵蓋第一人稱與第三人稱資料。 機器人操作資料:Open X-Embodiment 是目前最大的公開機器人資料集,包含 1,150 至 2,000 小時的實際操作資料。

8月12日週三
12月30日週二
9月23日週二
7月7日週日
8月16日週三