跳到正文

#Hugging Face

RSS
今日 2 則
11月12日週四
  1. Dev.to Top Tech81

    POCKET GGUF 教學:拆解 111GB 模型檔為何可在 78.8GB RAM 中執行

    POCKET GGUF 文章依模型檔、GGUF 標頭與張量清單估算本機執行所需的 RAM,說明檔案大小並不等於每個 token 都要讀取的權重量。 - KV 快取:在 262,144 個 token 的脈絡長度下,26B、35B 與 180B 的估算值分別為 5.20GiB、5.00GiB、6.00GiB;計算採用 fp16 快取。

    推薦理由:文章以 GGUF 標頭與張量清單拆解 RAM 預算,說明如何把權重、KV 快取與每個 token 讀取量納入本機部署估算。

11月11日週三
  1. Hugging Face Blog69

    多向量嵌入模型的 Token Pooling 感知訓練

    Hugging Face 示範如何透過 Token Pooling 感知訓練,讓多向量嵌入模型在壓縮檔案向量後保留較佳的檢索品質。 - 方法:以 Sentence Transformers 訓練模型,同時使用未壓縮與約四分之一向量數的檢索目標,讓模型學習保留合併向量後仍有用的資訊。

    推薦理由:文章以可重現的 Sentence Transformers 範例,說明如何把向量合併納入訓練目標,並比較不同壓縮預算下的檢索品質與儲存量。

  2. PyTorch Blog83

    ExecuTorch 推出 WebGPU 後端,讓 PyTorch 模型在瀏覽器中以 GPU 推論

    ExecuTorch 推出 WebGPU 後端,讓 PyTorch 模型可匯出為 .pte 檔,並在支援 WebGPU 的瀏覽器中以 GPU 執行,資料留在使用者裝置上。

    推薦理由:文章比較 WebGPU 與 ExecuTorch CPU 路徑在同一臺 Apple M1 Pro 上的推論速度,並說明模型如何以同一個 .pte 檔在瀏覽器本機執行。

11月10日週二
  1. Hugging Face Blog74

    Hugging Face 解說決策模型及其統一介面

    Hugging Face 介紹決策模型如何接收狀態與問題,直接輸出帶有機率的結構化決策,並說明其與分類模型及零樣本分類的差異。 - 三種決策原語:choice 從選項中擇一,score 對有序尺度評分,noul 估計是非命題為真的機率。

    推薦理由:文章比較傳統分類、零樣本分類與決策模型,並以 choice、score、noul 三種輸出說明其如何將選項機率整合為可供軟體使用的統一介面。

  2. Lobste.rs (Engineering Discussion)77

    Tabernetes 在瀏覽器分頁中執行 Kubernetes v1.37 控制平面

    Tabernetes 將 Kubernetes v1.37 控制平面編譯為 WebAssembly,讓整個控制平面在瀏覽器分頁中執行,並可連線真實節點組成叢集。

    推薦理由:Tabernetes 將上游 Kubernetes 控制平面編譯為 WebAssembly,並以瀏覽器分頁作為節點,展示了叢集管理與 GPU 推論在瀏覽器中的整合方式。

11月9日週一
  1. Hugging Face Blog69

    HOPE 如何透過專家互動改善 MoE 模型剪枝

    HOPE 是一種納入專家成對互動的 MoE 剪枝方法;在 3 個模型與多組基準測試中,它取得最佳整體排名,且在 50% 剪枝時優勢較明顯。 - 方法:HOPE 以校準資料計算專家互動矩陣,再透過二次規劃選出要移除的專家;作者提供校準、求解與剪枝工具。

    推薦理由:HOPE 將專家間的成對互動納入剪枝決策,並以 50% 剪枝下的基準比較呈現這種方法在高剪枝率時的表現差異。