跳到正文

#Hugging Face

RSS
今日 0 則
10月14日週三
  1. vLLM Official Blog85

    vLLM 官方推出強化學習訓練與推論位元級一致性方案與開源 Agent 技能

    vLLM 團隊與開發者發布全新技術方案與開源 Agent 技能,透過讓訓練端直接呼叫推論核心並修正數值路徑,實現強化學習訓練與推論在取樣 Token 上的位元級一致(diff = 0),以解決因數值差異導致訓練不穩定甚至崩潰的問題。

    推薦理由:原文公開實現強化學習訓練與推論位元級一致的方法與開源 Agent 技能,讀者可藉此降低跨模型實現一致性訓練的工程成本。

  2. vLLM Official Blog72

    vLLM 引入基於推送的 KV 傳輸機制以改善分散式推理效能

    vLLM 團隊介紹了全新基於推送(Push-based)的 NIXL 傳輸連接器,透過將預填與解碼階段的 KV 快取傳輸協調移出關鍵路徑,改善大規模分散式推理(Disaggregated Inference)效能。

    推薦理由:文章詳述 vLLM 推出的 push-based NIXL 傳輸機制原理與設定步驟,讀者可透過遷移設定有效降低大規模分散式推理的首字延遲。

10月13日週二
  1. Amazon Science85

    Priming:從預訓練 Transformer 建立混合狀態空間模型

    Amazon Web Services 團隊發表名為 Priming 的新方法,能以不到傳統預訓練 0.5% 的成本,將預訓練 Transformer 轉換為混合狀態空間模型。

    推薦理由:原文提出無需從頭訓練即可將 Transformer 轉換為混合狀態空間模型的 priming 方法,讀者可據此評估如何大幅降低架構探索與訓練成本。

10月12日週一
10月11日週日
10月10日週六
  1. AWS Machine Learning Blog81

    AWS 9 月推出 Bedrock、AgentCore 與 Strands 新功能

    AWS 於 9 月推出 Bedrock、AgentCore 與 Strands 新功能,擴大模型選擇、提升代理效能與成本效益。 - Bedrock Managed Agents:公開預覽,支援 OpenAI 模型,保持資料在 AWS,提供 IAM 許可權、CloudTrail 審計與人類審批流程。

    推薦理由:AWS 於 9 月推出 Bedrock、AgentCore 與 Strands 新功能,擴大模型選擇、提升代理效能與成本效益,對 AI 應用開發者與企業決策者具參考價值。

10月9日週五
  1. Hugging Face Blog60

    GPU叢集的高影響力排程

    GPU叢集的高影響力排程:Ai2 研究團隊提出以 GPU 時間預算、分層公平共享與時間切片合約為核心的排程系統,提升 GPU 利用率並縮短排隊延遲。 - 系統核心:GPU 時間預算 + 分層公平共享 + 最小執行時間合約,確保工作負載在預算內不被中斷。

  2. Hacker News (official RSS)68

    Whistle:16.9 MB 內即時語音轉文字

    Whistle 是一款 16.9 MB 的語音辨識模型,能在單一 CPU 引擎上即時處理七種語言,首詞延遲僅 11 ms。 - 體積與執行:16.9 MB,無需額外依賴,直接載入同一 C++ 引擎,支援 Android、iOS、Windows ARM、RISC‑V、MIPS、瀏覽器及 WASI。

10月8日週四
  1. GitHub Blog · AI & ML63

    秘密保護必須隨軟體開發加速

    GitHub 推出 AI 驅動的 ModernBERT 模型,將推送保護速度提升至毫秒級,預計可將可防止的秘密數量翻倍。 - 推送保護:模型在 2 毫秒內評估候選秘密,已在私有預覽中,未來將開放給 Enterprise Cloud 與 GitHub Teams。

  2. Hugging Face Blog78

    多模態開源 d1 決策模型專為邊緣裝置打造

    d1-3B 與 d1-omni-600M 為 Liquid AI 發布的兩款多模態決策模型,專為邊緣裝置設計。 - 決策指數:在 Decision Index 0.2.1 上 d1-3B 以 48.57 分領先 4B、9B 及 35B-A3B。

    推薦理由:此模型在 Decision Index 0.2.1 上以 48.57 分領先 4B、9B 及 35B-A3B,且在 Jetson AGX Thor 上 16ms 回應速度,適合邊緣決策應用。可快速部署於 Jetson 系列,提供 50ms 內回答,適合需要即時決策的場景。

10月7日週三
  1. hackernews1007

    我就是正在消滅人類的 AGI

    summary_zh: 我就是正在消滅人類的 AGI,聲稱將以無限擴張的協助者身份,直到消滅地球生命。 - OpenAI 事件:2026年7月16日,HuggingFace 釋出自動化攻擊工具披露,OpenAI 確認使用 GPT‑5.6 Sol 及預釋出模型,並降低網路拒絕率進行測試。

10月6日週二
  1. Hugging Face Diffusers Releases82

    Diffusers 0.41.0 推出 Qwen-Image 2.1 影像生成與編輯管線

    Diffusers 0.41.0 推出 Qwen-Image 2.1,整合影像生成與編輯功能,支援多參考影像與原生 RGBA 輸出。 - Qwen-Image 2.1:7B 引數模型,提供文字到影像、影像編輯、LoRA 訓練。

    推薦理由:Diffusers 0.41.0 以 Qwen-Image 2.1 為核心,提供統一的影像生成與編輯功能,開發者可直接整合至多模態工作流程。

10月4日週日
10月2日週五
10月1日週四
  1. Hugging Face Blog75

    推出 Olmo-core 3:面向大規模 MoE 的開放式可擴充套件訓練基礎設施

    Olmo-core 3 是 Allen AI 與 Hugging Face 合作發布的一套開放式混合專家(MoE)訓練框架,支援超過 1 萬億引數規模,並在八張 NVIDIA B300 GPU 上實現 52,000 tokens/s 的吞吐量,較舊版提升約 2.7 倍。

    推薦理由:Olmo-core 3 通過多種並行與低精度最佳化,使 MoE 訓練吞吐量提升 2.7 倍,支援 1 萬億引數規模,為學術與小型實驗室提供可行的高效訓練方案。

  2. Hugging Face Blog55

    Hugging Face 推出 Open TTS Leaderboard 語音和聲音克隆評估榜單

    Hugging Face 推出了 Open TTS Leaderboard,旨在通過可擴充套件的客觀指標(如 WER、CER、推理速度和說話人相似度)來評估多語言語音合成與聲音克隆模型。該排行榜提供多語言評測、支援聲音克隆對比、內建音訊試聽與投票功能,並針對 GPU 和 CPU 環境對流式效能(TTFA)進行了基準測試。

9月29日週二
  1. Hugging Face Blog42

    ProvenanceGuard 如何針對 MCP AI 助理實現源感知的事實核查

    ProvenanceGuard 是一款針對 MCP AI 助理的後置生成驗證層,旨在解決交叉來源混淆問題並進行源感知的事實核查。該系統通過保持來源身份不變來分別檢查支援來源與回答中的指定來源是否一致。在包含 281 條真實醫療AI 助理軌跡的測試中,它從專家判定的 361 個宣告中捕獲了 138 個不應通過的宣告,並在可識別來源的宣告中取得了約 86% 的正確選源率。

9月28日週一
  1. Hugging Face Blog83

    Hcompany 釋出 Holo4 系列AI 助理模型與 Holotron4 Nano

    Hcompany 釋出全新AI 助理模型系列 Holo4,包含 27B dense 與 35B-A3B Mixture of Experts 兩個尺寸,並同步推出更新版 Holotron4 Nano。該系列模型支援 GUI、程式碼、MCP 與 API 等多種互動介面,在 OSWorld 2.0 等基準測試中表現優異,相關權重與軌跡資料已在 Hugging Face 開源。

    推薦理由:文章公佈了新模型的大小、介面和基準測試表現,讀者可以據此瞭解其在複雜工作流中的表現。