跳到正文

#Hugging Face

RSS
今日 3 則
10月16日週五
10月15日週四
  1. Hugging Face Blog77

    Apertus 1.5 釋出跨模態、四倍長上下文與思考模式新功能

    Apertus 1.5 於 2026 年 7 月 24 日在 Hugging Face 以 Apache 2.0 授權釋出,新增跨模態理解、四倍長上下文、思考模式及工具使用最佳化。

    推薦理由:Apertus 1.5 以四倍上下文、跨模態能力及思考模式提升推理與工具使用,讀者可評估其在多模態任務與長文本推理中的應用潛力。

10月14日週三
  1. vLLM Official Blog85

    vLLM 官方推出強化學習訓練與推論位元級一致性方案與開源 Agent 技能

    vLLM 團隊與開發者發布全新技術方案與開源 Agent 技能,透過讓訓練端直接呼叫推論核心並修正數值路徑,實現強化學習訓練與推論在取樣 Token 上的位元級一致(diff = 0),以解決因數值差異導致訓練不穩定甚至崩潰的問題。

    推薦理由:原文公開實現強化學習訓練與推論位元級一致的方法與開源 Agent 技能,讀者可藉此降低跨模型實現一致性訓練的工程成本。

  2. vLLM Official Blog72

    vLLM 引入基於推送的 KV 傳輸機制以改善分散式推理效能

    vLLM 團隊介紹了全新基於推送(Push-based)的 NIXL 傳輸連接器,透過將預填與解碼階段的 KV 快取傳輸協調移出關鍵路徑,改善大規模分散式推理(Disaggregated Inference)效能。

    推薦理由:文章詳述 vLLM 推出的 push-based NIXL 傳輸機制原理與設定步驟,讀者可透過遷移設定有效降低大規模分散式推理的首字延遲。

10月13日週二
  1. MIT Technology Review · AI53

    開放模型有實際好處,風險是否更高?

    開放模型的安全與公平問題成為熱議焦點,本文從多方觀點評估其優缺點與可行策略。 - 優勢:可下載、可微調、促進研究與商業創新,降低成本並提升資料隱私。 - 風險:缺乏安全過濾、易被重新訓練以執行危害行為,且硬體成本高使得實際使用受限。 - 平衡策略:採取分階段開放、加強模型防篡改與社群安全審查,兼顧民主化與風險管控。

  2. Amazon Science85

    Priming:從預訓練 Transformer 建立混合狀態空間模型

    Amazon Web Services 團隊發表名為 Priming 的新方法,能以不到傳統預訓練 0.5% 的成本,將預訓練 Transformer 轉換為混合狀態空間模型。

    推薦理由:原文提出無需從頭訓練即可將 Transformer 轉換為混合狀態空間模型的 priming 方法,讀者可據此評估如何大幅降低架構探索與訓練成本。

  3. Thom Wolf (@Thom_Wolf)78

    碳A 是一個 DNA 模型,已於 10 月 12 日在 Hugging Face 發布,能跨 22,000 種生物提出 5億 基因候選。 基因候選數:超過 5億,涵蓋 22,000 種物種。 公開平臺:已上線 Hugging Face Spaces,供研究者直接使用。 新舊對比:綠色標示為碳A新增注釋,藍色為現有資料庫。

    推薦理由:碳A模型跨22,000種生物提出5億基因候選,顯示大規模基因預測的可行性

10月12日週一
10月11日週日
10月10日週六
  1. AWS Machine Learning Blog81

    AWS 9 月推出 Bedrock、AgentCore 與 Strands 新功能

    AWS 於 9 月推出 Bedrock、AgentCore 與 Strands 新功能,擴大模型選擇、提升代理效能與成本效益。 - Bedrock Managed Agents:公開預覽,支援 OpenAI 模型,保持資料在 AWS,提供 IAM 許可權、CloudTrail 審計與人類審批流程。

    推薦理由:AWS 於 9 月推出 Bedrock、AgentCore 與 Strands 新功能,擴大模型選擇、提升代理效能與成本效益,對 AI 應用開發者與企業決策者具參考價值。

10月9日週五
  1. Hugging Face Blog60

    GPU叢集的高影響力排程

    GPU叢集的高影響力排程:Ai2 研究團隊提出以 GPU 時間預算、分層公平共享與時間切片合約為核心的排程系統,提升 GPU 利用率並縮短排隊延遲。 - 系統核心:GPU 時間預算 + 分層公平共享 + 最小執行時間合約,確保工作負載在預算內不被中斷。

  2. Hacker News (official RSS)68

    Whistle:16.9 MB 內即時語音轉文字

    Whistle 是一款 16.9 MB 的語音辨識模型,能在單一 CPU 引擎上即時處理七種語言,首詞延遲僅 11 ms。 - 體積與執行:16.9 MB,無需額外依賴,直接載入同一 C++ 引擎,支援 Android、iOS、Windows ARM、RISC‑V、MIPS、瀏覽器及 WASI。

10月8日週四
  1. GitHub Blog · AI & ML63

    秘密保護必須隨軟體開發加速

    GitHub 推出 AI 驅動的 ModernBERT 模型,將推送保護速度提升至毫秒級,預計可將可防止的秘密數量翻倍。 - 推送保護:模型在 2 毫秒內評估候選秘密,已在私有預覽中,未來將開放給 Enterprise Cloud 與 GitHub Teams。