跳到正文

#GitHub

RSS
今日 0 則
11月12日週四
11月11日週三
  1. vLLM Official Blog84

    vLLM 如何以 EPD 分離多模態服務中的編碼、Prefill 與 Decode

    vLLM 說明如何以 Encoder/Prefill/Decode(EPD)分離多模態推論流程,並整理中繼資料轉送、編碼器執行、嵌入傳輸、快取與路由的工程進展。

    推薦理由:文章整理 vLLM EPD 的媒體中繼資料、遠端嵌入傳輸與跨編碼器快取,並以不同工作負載的測試資料呈現效能差異。

  2. Browser Use Releases44

    Browser Use 發布 1.0.2 候選版,新增 Chromium 操作方式並改善卡住時的錯誤提示

    想先試用 Browser Use 1.0.2 的人,要自己安裝候選版:pip install 'browser-use==1.0.2rc1';一般安裝目前仍會拿到 1.0.1。這個版本讓 --cli-mcp 在 Chrome 遠端除錯關閉時改用自己的 Chromium,也會告訴模型怎麼取得你的 Chrome。若網頁被 JavaScript 對話方塊卡住,操作會更快回報清楚錯誤,減少一直等待的情況。

11月10日週二
  1. Browser Use Releases48

    browser-use 1.0.1 修正多項使用問題

    使用 browser-use 1.0.0 時,有些情況會讓人卡住,例如伺服器沒有 Chrome 就無法用 MCP,或雲端瀏覽器可能繞過網站限制。1.0.1 改成在伺服器、容器和 CI 環境中第一次使用時,自行安裝並啟動 Chromium;如果環境根本跑不了瀏覽器,會清楚說明錯誤。它也修正 Windows 輸出亂碼、逾時後等不到回答等問題,並讓每次執行都使用各自的工作空間。

11月8日週日
11月7日週六
11月6日週五
  1. vLLM Official Blog82

    REINFORCE Zero:解決核對齊,提升 DeepSeek-V4.1 與 Kimi K3.1 的非同步 RL 穩定性

    REINFORCE Zero 是一種將核對齊與無截斷重要性抽樣結合的非同步 RL 方案,能在保持高品質的同時大幅提升訓練吞吐量。 - 核心機制:先將 rollout 與 learner 的 kernel 進行對齊,消除 kernel mismatch;再使用無截斷 IS 校正 weight lag,避免截斷帶來的偏差。

    推薦理由:本文提出 REINFORCE Zero 通過核對齊與無截斷 IS 實現非同步 RL 穩定性提升,讀者可參考其方法最佳化大規模代理訓練,並評估其在多模型上的適用性。

  2. Unsloth AI Releases78

    Unsloth AI v0.1.916-beta 釋出大幅效能升級

    Unsloth AI v0.1.916-beta 釋出多項效能升級,兩張 GPU 影像生成速度提升至 2 倍,並最佳化長聊天輸入、搜尋與瀏覽器浮動功能。 - 影像/影片 兩張 NVIDIA GPU 可並行處理 SDXL、Qwen-Image、Wan2.2 5B 等模型,速度提升 1.5至1.8 倍;LTX 2.5 影片編碼 GPU 化,速度提升約 10%。

    推薦理由:Unsloth AI v0.1.916-beta 釋出多項效能升級,兩張 GPU 影像生成速度翻倍,並最佳化長聊天輸入、搜尋與瀏覽器浮動功能,為開發者即時調整工作流程與資源管理提供實務參考。

11月5日週四
11月4日週三
  1. Ray (Anyscale) Releases70

    Ray 2.60.0 更新資料處理、Serve 部署與安全防護

    Ray 2.60.0 更新 Ray Data、Ray Serve、Ray Core 等元件,調整資料處理與服務部署行為,並加入外部資料反序列化防護。 - Ray Data:shuffle v2 成為 joins 與 aggregations 的預設策略;Parquet 讀取改依 row-group 中繼資料安排讀取任務。

    推薦理由:Ray 2.60.0 同步調整資料讀取、Serve 滾動更新與外部資料反序列化防護,呈現分散式工作負載在效能、服務容量和安全上的具體變更。

11月3日週二
10月31日週六