跳到正文

#Hugging Face

RSS
今日 0 則
11月21日週六
  1. Hugging Face Transformers Releases66

    Hugging Face Transformers v5.24.0 加入多種模型支援並調整快取名稱

    要在 Transformers 裡使用新模型,或讓不同模型共用一套程式,開發者常得處理各自不同的介面。v5.24.0 加入 Inkling 2 Mini、Apertus 1.5、Dory 和 Omnilingual ASR 等模型支援,也把原本依模型而異的 past_key_values 和 cache_params 統一改叫 cache;舊名稱目前仍可使用,但會出現棄用提醒。這次更新也修正了文字串流在中文、日文和韓文內容中可能漏空格或變慢的問題。

    推薦理由:Transformers v5.24.0 一次加入多種模型支援,也統一了快取名稱;更新內容能幫開發者掌握新模型接入與舊程式需要調整的地方。

  2. Hugging Face Blog83

    Hugging Face 與 Thinking Machines Lab 推出 Inkling 2 Mini,主打本機使用

    本機執行大型模型時,模型大小、回答速度和能力常得互相取捨。Hugging Face 與 Thinking Machines Lab 推出 Inkling 2 Mini,這款模型能讀文字和圖片,支援 1M-token 上下文視窗;它讓 12 層模型重複運作三次,用較少的實體層數完成更多運算。文章展示了它在本機寫程式、重畫《星夜》和製作分帳網站的成果,也說明如何透過 transformers、llama.cpp 和 MLX 執行。作者表示,它在 48 項基準中的 32 項領先文中列出的其他模型;這些結果來自 Hugging Face 的測試。

    推薦理由:文章以架構說明和實作展示呈現 Inkling 2 Mini 的本機使用方式,也比較它在多項基準上的表現,能看出模型設計與實際應用之間的連結。

11月20日週五
  1. Hugging Face Blog84

    Hugging Face 示範為 Qwen3.8-27B 訓練 AI 助理工具專用介面卡

    通用模型搭配不同 AI 助理工具時,可能會多花時間和 token,解程式問題的表現也不夠好。Hugging Face 團隊把強化學習直接放進 pi、Hermes Agent 和 OpenCode 這三種工具中,分別為 Qwen3.8-27B 訓練介面卡,也把三者合併成一個版本。測試顯示,各自的專用版本在對應工具和程式開發基準上都優於原模型,完成任務時也少用工具;合併版本則能在三種工具中使用。這套流程與訓練資料也公開,讓其他人能照著調整自己的模型和任務。

    推薦理由:這套流程把強化學習放進實際使用的 AI 助理工具中,並比較專用與合併介面卡的成效,可供重現與評估程式開發任務。

  2. Together AI65

    GPU 叢集從雲端物件儲存讀取資料時,下載速度可能拖慢工作。Together AI 推出免費的儲存加速器,會把 S3 相容儲存空間和 Hugging Face 的資料快取到叢集的 NVMe。每個叢集只需從來源下載一次,之後暖讀取速度最高可達 3.4 GB/s,約比跨雲端下載快 20 倍;原文也表示不用修改程式碼。

    推薦理由:原文提供了暖讀取速度與跨雲端下載的比較,可用來瞭解快取對 GPU 叢集讀取資料速度的影響。

11月19日週四
  1. Y Combinator58

    前沿 AI 進步很快,政府該不該出手放慢發展,成了這場辯論的核心問題。曾在 Anthropic 和 OpenAI 做研究的 Jacob Coxon,與經濟學家 Robin Hanson 各自說明看法,談到 AI 可能帶來的風險、工作自動化,以及政府該如何訂規則。兩人也討論用責任制度取代部分管制、監管算力的影響,以及 AI 實驗室是否需要類似 FAA 的監管機構。這場對談呈現了減速與監管主張背後不同的考量。

  2. Hugging Face Blog61

    RadixArk 發布 DaisyRose-27B,Terminal-Bench 4.1 成績提升

    訓練 AI 助理處理需要長時間、多步驟完成的工作,往往要準備大量任務,也得投入不少 GPU 資源。RadixArk 發布首款模型 DaisyRose-27B,以 Qwen3.8-27B 為基礎,使用 1,200 項整理過的任務進行強化學習訓練。和原始模型相比,它在文中列出的各項基準都拿到較高分;Terminal-Bench 4.1 的 pass@1 從 5.6% 提升到 12.0%。RadixArk 也表示,自家訓練後端比可比的開源訓練器少用 57% GPU 時間。

    推薦理由:DaisyRose-27B 與 Qwen3.8-27B 的多項基準成績可供對照,其中 Terminal-Bench 4.1 的 pass@1 從 5.6% 提升到 12.0%。

  3. Hugging Face Blog62

    Hugging Face 團隊用 272 次微調紀錄預測 GPU 工作時間

    共享 GPU 叢集很難排工作:微調任務若提早或延後結束,都會影響其他工作,單靠運算量公式也常估不準。Hugging Face 團隊整理 272 次實際監督式微調紀錄,用工作設定和模型資料訓練 CatBoost,預測任務從取得 GPU 到完成所需的時間。交叉驗證中,平均誤差約 1.71 小時;工作時間在 60 小時以內時,誤差通常較小,超過 60 小時的少數任務則較難預測。這套模型使用 H200 資料訓練,不能直接當成其他 GPU 的時間估算。

    推薦理由:文章比較公式估算與機器學習預測,呈現評估和檢查點設定如何影響 GPU 工作時間,也指出長時間任務的誤差較大。

  4. Hugging Face Blog78

    作者用 Transformers 在 32 GB Mac 上執行 180B MoE 模型

    大型 MoE 模型的專家權重很佔空間,往往放不進一般筆電的記憶體。作者替 Transformers 加上串流載入方式,只從 SSD 讀取模型當下挑中的專家,並用有限大小的快取保留常用部分;其他權重和 n-gram 資料也分別處理,讓 Qwen3.8-Flash-Next 能在 32 GB 的 Mac 上執行。經過調整後,短文字生成速度是每秒 13.9 個 token,和 Strata 的每秒 14.8 個接近。作者也指出,剩下的速度差距主要和 Python 與 GPU 之間的等待有關。

    推薦理由:作者比較多種 MoE 推論引擎,並實測如何只載入當下用到的專家,讓大型模型在 32 GB Mac 上運作。

11月18日週三
  1. Hugging Face Blog64

    Hugging Face 開源 0.5B 語音辨識模型 Rumble-2-Flash

    語音辨識模型常要用很大的模型,才能處理多種語言和吵雜的電話錄音。Hugging Face 開源了 Rumble-2-Flash,這個 0.5B 模型支援 40 多種語言,也能自動判斷語言;它還能設定數字要寫成數字或文字,以及是否保留填充詞和重複內容。在一項 302 小時、涵蓋 14 種英語口音的客服電話測試中,它的錯誤率是 7.86%,接近 30B 的 Nemotron 3.5 Transcribe。模型可透過 Transformers、vLLM 和 Hugging Face API 使用。

    推薦理由:Rumble-2-Flash 在多語言辨識與電話語音測試中,和大上許多的模型比較成績,呈現小型語音模型的實用範圍。

  2. Pydantic AI Releases57

    Pydantic AI 發布 v2.70.0,修補兩項高風險漏洞並加入多項功能

    Pydantic AI v2.70.0 修補兩項高風險漏洞:特定文字格式可能讓事件迴圈卡住數十秒到數分鐘。若使用者開啟 ANSI 清理功能,並處理攻擊者能影響的工具輸出,可能受第一項漏洞影響;使用預設 JWT 遮蔽規則處理這類文字,則可能受第二項影響。兩項漏洞都已在 pydantic-ai-harness 0.70.0 修正。這次更新也加入串流內容檢查、工具結果摘要等功能,並支援 OpenAI gpt-6.2-sol 和 gpt-6.2-astra。

  3. PyTorch67

    想讓模型學會特定領域的內容,開發者常得先處理模型格式轉換。PyTorch 官方表示,現在可用 NVIDIA NeMo AutoModel 在領域資料上微調 Meta 的 Muse Spark Open,並直接使用 Hugging Face 的模型檔,不必轉換格式。工具也能直接進行 SFT 和 LoRA 微調,方便快速嘗試不同產業的用法。Muse Spark Open 是推理模型,也能理解音訊、影片、圖片和檔案;文中另提供可下載的 NVIDIA NIM。

    推薦理由:Muse Spark Open 可直接用 NVIDIA NeMo AutoModel 進行領域資料微調,並支援 SFT 與 LoRA,呈現模型訓練工具如何減少轉換步驟。

  4. vLLM74

    看直播畫面時,AI 助理若要主動開口、回應內容並指出畫面中的物件,需要同時處理影片、對話和語音。vLLM Project 宣佈 vLLM-Omni 從第一天起支援 AURA 2.0,這款 9B 串流影片模型能判斷何時該說話、根據即時畫面和對話呼叫工具,並用方框標出正在討論的物件。vLLM-Omni 負責從語音辨識、影片理解到語音生成;在單一連線、使用兩張約 140 GB 加速器的設定下,首段回覆語音的中位延遲為 344 ms。原文也表示,AURA 2.0 在列出的四項基準比較中領先。

    推薦理由:vLLM-Omni 支援 AURA 2.0,並公佈單一連線設定下的首段語音延遲與四項基準比較,可瞭解這套視訊模型的互動方式與執行表現。

11月17日週二
  1. DuckDB Official Blog62

    DuckDB 使用者社群攜手 Hugging Face,用 AI 分析商品評價

    評論很多時,直接交給大型語言模型整理,不容易先找出真正需要注意的商品。DuckDB 使用者社群舉辦工作坊,帶大家用 DuckDB 分析 Amazon 家電評論,找出近期評分下滑的商品,再讓 LLM 整理相關抱怨。DuckDB 先挑出最有幫助的 40 則近期低分評論,模型再歸納常見問題並優先列出安全疑慮。工作坊也把流程放到 Hugging Face Space,讓每個步驟都能透過 API 呼叫;同一套流程也可用來分析欄位相同的其他顧客回饋。

    推薦理由:這場工作坊示範先用 SQL 找出評分下滑的商品與相關評論,再交給 LLM 歸納原因,呈現控制模型處理範圍的做法。

  2. clem 🤗47

    使用開放模型時,找模型和執行推論可能分散在不同服務。Hugging Face 與 OpenRouter 展開合作,讓兩邊的服務可以互通:使用者能直接在 Hugging Face 執行 OpenRouter 推論,也能從 OpenRouter 取得 Hugging Face 上的開放模型權重,還能把 OpenRouter 的 AI 助理操作紀錄存到 Hugging Face,用來檢查、分享或訓練更好的模型。這次公佈的是合作的第一部分,希望讓開發者更容易使用開放模型,也能一起合作打造 AI 工具。

  3. openrouter blog81

    OpenRouter 為 Hugging Face 的聊天模型提供跨服務商路由

    同一個聊天模型可能由多家服務商提供,遇到速度變慢或故障時,請求也可能卡住。現在 Hugging Face Inference Providers 透過 OpenRouter 為聊天模型挑選服務商,會依即時價格、速度和可靠度分流,服務商出錯時也會在同一次呼叫中改試其他家;原有的 Hugging Face 權杖和程式碼仍可使用。OpenRouter 的測試中,容量錯誤減少 46%、第一個 token 到達時間快 16.9%、處理量增加 16.3%,每次請求成本則高出 6.0%。開發者也能把請求與回答紀錄存進自己的 Hugging Face Storage Bucket,供日後評估或微調模型;圖片和其他媒體不會存入。

    推薦理由:這次整合把模型路由和請求紀錄接到同一套工作流程,並提供價格、速度與可靠度的取捨資訊,方便開發者依需求選擇服務提供者。

  4. Hugging Face Blog82

    Hugging Face 改用 OpenRouter,替開放權重模型挑選服務供應商

    使用開放權重模型時,同一個模型可能由不同服務供應商提供,速度、價格和穩定度也不一樣。Hugging Face 現在透過 OpenRouter 處理語言模型請求,依即時價格、速度與可靠度挑選供應商;遇到錯誤時,還會在同一次請求中改試其他供應商,程式碼不用更動。文章提到,新路由讓容量錯誤減少 46%,首次收到模型輸出的時間改善 16.9%。切換後,語言模型請求會向 Hugging Face 帳戶或組織請款,不能再使用自己的供應商 API 金鑰;圖片、影片和音訊生成則維持原本方式。

    推薦理由:Hugging Face 改用 OpenRouter 替語言模型挑選服務供應商,文中比較了價格、速度與可靠性,也列出路由改善幅度和切換後的金鑰限制。

11月14日週六
  1. Hugging Face Blog61

    Hugging Face 示範用 SimReady 資產在 Isaac Sim 模擬機械手臂夾取飲料罐

    機械手臂在畫面上看起來正常,不代表它在模擬中一定抓得住物品。Hugging Face 示範如何把 UR17G 手臂、Robotiq 2F-140 夾爪和飲料罐放進 Isaac Sim,先檢查關節設定、移動和接觸情況,再用 AI 助理協助組裝機器人並執行夾取、搬運和放下。範例使用固定起點和預先排好的動作,沒有使用視覺,也沒有測試不同位置或真實硬體,因此結果只適用於這套模擬設定。

    推薦理由:文章把模擬資產檢查、機械手臂組裝與夾取測試串成一套流程,也交代固定起點等假設,方便理解成果適用範圍。

  2. Hugging Face Blog65

    Hugging Face 發布 XYBench,測試 AI 助理能否看出問題問錯了

    有時候,人問的問題不是解決麻煩的好方法,例如蛋糕還太熱,卻一直想找讓糖霜黏住的方法。Hugging Face 與研究人員推出 XYBench,收錄 8,115 個程式和日常生活問題,用來測試 AI 助理能不能看出使用者真正想達成的目標,並把回答帶向更合適的解法。測試發現,受測模型常會回答使用者原本問的方法,較少把真正的目標放在回答重點;即使模型在選擇題中能挑出較好的建議,也不一定會在自己回答時這麼做。這項基準目前以英文和程式性問題為主。

    推薦理由:XYBench 比較模型回答字面問題與真正目標的差異,也呈現模型辨認出好建議後,仍未必能在作答時優先採用。

11月13日週五
  1. clem 🤗79

    使用雲端 AI 服務時,資料可能要傳到別處處理。llama.cpp 推出 v1,這是這套本機執行 AI 模型的工具第一個完全穩定的主要版本,可在手機、筆電和工作站上使用。作者表示,這讓使用者能免費使用 AI,不必把資料傳給別人,也能自行掌控;團隊也希望支援各種硬體、平臺和模型,讓 AI 不只集中在少數公司手中。

    推薦理由:llama.cpp v1 主打讓 AI 模型直接在手機、筆電和工作站執行,文中也說明這種做法如何減少資料外傳,並讓使用者掌控自己的資料。

  2. Hugging Face Transformers Releases76

    Hugging Face Transformers 發布 v5.23.0,更新模型匯出與多模態支援

    模型要在不同執行環境使用,匯出、分享和重新載入往往得處理不同流程。Hugging Face Transformers v5.23.0 把這些步驟整合到 ExportedModel,支援 Dynamo、ONNX Runtime、OpenVINO 和 ExecuTorch;匯出的模型可以推送到 Hub,再由對應環境載入。這版也加入多個模型支援,修正視覺、音訊、快取和分散式運算問題。效能比較顯示,在列出的測試中,ONNX Runtime 和 OpenVINO 都比 eager PyTorch 快,但實際差異會依硬體和設定而變。

    推薦理由:這次更新把模型匯出、分享與載入整合成相近的操作方式,也列出不同執行環境的速度比較,可看出部署流程有哪些變化。

  3. Hugging Face Blog64

    llama.cpp 與 ggml 發布 v1.0.0,讓 API 相容性變更更清楚

    使用 llama.cpp 和 ggml 的開發者越來越多,程式庫介面一旦改變,可能影響依賴它們的其他軟體。ggml-org 發布 llama.cpp 與 ggml 的 v1.0.0,並說明往後若公開 API 或 ABI 出現不相容變更,主版本號就會增加,讓開發者更容易看出升級可能帶來的影響。文章也列出主版本號、小版本號與修補版本各自適用的變更型別,並說明目前支援超過 150 種模型架構變體。

    推薦理由:llama.cpp 與 ggml 升至 v1.0.0 後,公開 API 的相容性變更會反映在主版本號,方便依賴這些程式庫的開發者掌握升級影響。

  4. Hugging Face Blog82

    Granite 4.1 3B 與 8B 推出 LLMON 實驗預覽模型

    Granite 4.1 3B 與 8B 推出 LLMON 實驗預覽模型,透過專用標記將指令、資料與要求分開表示,並以執行區塊指定彼此關係。 - 提示注入測試:在 OPI 基準上,LLMON 相較測試中的最佳前沿模型多避免 47% 的攻擊,相較最佳開源模型多避免 95%;在 ASB 與 StruQ 也觀察到類似趨勢。

    推薦理由:文章說明 LLMON 如何以明確的指令與資料分隔降低靜態間接提示注入成功率,並交代基準測試範圍與尚在改進的自適應攻擊。

11月12日週四
  1. Hugging Face Blog74

    TRELLIS.2 3D 生成模型微調完整指南

    Hugging Face 提供 TRELLIS.2 微調指令碼與 Docker 容器,示範如何使用自備的 3D 資產訓練 LoRA,並可透過 Hugging Face Jobs 或本機執行。

    推薦理由:文章以鞋類資料集示範如何依任務需求選擇微調元件,並比較留出物件的幾何指標,呈現從資料準備到評估的可遷移流程。

  2. Hugging Face Diffusers Releases72

    Hugging Face Diffusers 0.43.0 整合五種生成與模擬模型

    Hugging Face Diffusers 0.43.0 新增五種模組化模型整合,涵蓋影像生成與編輯、影音生成、語音驅動動畫及世界模擬。具體包括 MiniMax-H3-Image、Pika H3 Flex、P-H3-Image、Kandinsky S2V 1.0 和 PAN 2。

    推薦理由:Diffusers 0.43.0 將五種生成與模擬模型整合為模組化流程,並補上平行化、注意力後端及 LoRA 等工程改進,呈現其應用範圍與部署變化。

11月11日週三
  1. Hugging Face Blog69

    多向量嵌入模型的 Token Pooling 感知訓練

    Hugging Face 示範如何透過 Token Pooling 感知訓練,讓多向量嵌入模型在壓縮檔案向量後保留較佳的檢索品質。 - 方法:以 Sentence Transformers 訓練模型,同時使用未壓縮與約四分之一向量數的檢索目標,讓模型學習保留合併向量後仍有用的資訊。

    推薦理由:文章以可重現的 Sentence Transformers 範例,說明如何把向量合併納入訓練目標,並比較不同壓縮預算下的檢索品質與儲存量。

  2. PyTorch Blog83

    ExecuTorch 推出 WebGPU 後端,讓 PyTorch 模型在瀏覽器中以 GPU 推論

    ExecuTorch 推出 WebGPU 後端,讓 PyTorch 模型可匯出為 .pte 檔,並在支援 WebGPU 的瀏覽器中以 GPU 執行,資料留在使用者裝置上。

    推薦理由:文章比較 WebGPU 與 ExecuTorch CPU 路徑在同一臺 Apple M1 Pro 上的推論速度,並說明模型如何以同一個 .pte 檔在瀏覽器本機執行。

11月10日週二
  1. Hugging Face Blog74

    Hugging Face 解說決策模型及其統一介面

    Hugging Face 介紹決策模型如何接收狀態與問題,直接輸出帶有機率的結構化決策,並說明其與分類模型及零樣本分類的差異。 - 三種決策原語:choice 從選項中擇一,score 對有序尺度評分,noul 估計是非命題為真的機率。

    推薦理由:文章比較傳統分類、零樣本分類與決策模型,並以 choice、score、noul 三種輸出說明其如何將選項機率整合為可供軟體使用的統一介面。

11月9日週一
  1. Hugging Face Blog69

    HOPE 如何透過專家互動改善 MoE 模型剪枝

    HOPE 是一種納入專家成對互動的 MoE 剪枝方法;在 3 個模型與多組基準測試中,它取得最佳整體排名,且在 50% 剪枝時優勢較明顯。 - 方法:HOPE 以校準資料計算專家互動矩陣,再透過二次規劃選出要移除的專家;作者提供校準、求解與剪枝工具。

    推薦理由:HOPE 將專家間的成對互動納入剪枝決策,並以 50% 剪枝下的基準比較呈現這種方法在高剪枝率時的表現差異。

11月7日週六
11月6日週五
  1. Hugging Face Blog83

    ToyBlocks:機器人學習與評估的可控世界

    ToyBlocks 是一個開源模擬框架,提供可控環境、任務與示範自動生成、以及評估指標,讓研究者能在統一平臺上探討機器人學習資料需求、泛化與高階推理能力。

    推薦理由:本文展示了 ToyBlocks 框架如何在可控環境下評估機器人學習的資料需求與泛化能力,並提供自動化任務與示範生成工具,為實驗設計與模型驗證提供可複製的基礎,促進機器人學習研究的可重現性與擴充套件性。