跳到正文

#開源生態

RSS
今日 0 則
11月12日週四
  1. Browser Use Releases39

    Browser Use 發布 1.0.3 候選版,修正命令列與瀏覽器操作問題

    Browser Use 的 1.0.3 候選版已推出,想試用的人要明確安裝 1.0.3rc1;一般安裝目前仍會取得 1.0.2。這版修正了幾種使用上的麻煩:例如對方關閉連線後,命令列工具能正常結束;找不到可連線的瀏覽器時,會自行啟動 Chromium;雲端工作取消後,下載的檔案也能在 10 秒內複製完成。新版也會逐一提醒哪些舊格式欄位被忽略,讓使用者更容易發現設定問題。

  2. AWS Machine Learning Blog76

    如何用反合一對形式化政策進行語意差異比對

    AWS 介紹如何用反合一比對形式化政策,將共通結構合併呈現,並把語意分歧標示為可審查的替代方案。 - 比對方式:引擎在 e-graph 中套用明確宣告的代數性質與領域改寫規則,忽略已涵蓋的表面差異;規則不足時,剩餘差異也可能只是尚未推導出的等價關係。

    推薦理由:文章以多種授權政策範例說明,如何用反合一定位形式化候選方案的語意分歧,並交由驗證、重播或人工審查處理。

  3. vLLM Official Blog70

    vLLM 團隊如何把 Qwen3-0.6B 在 TPU v7 上的 RL 訓練縮短到 56 秒

    小型模型計算量不大,但訓練時仍要等待資料傳送、工作排程和快取處理,整個流程可能因此變得很慢。Meta 團隊在 64-chip Google Cloud TPU v7 上,使用 vLLM、Tunix 和 MaxText 調整 Qwen3-0.6B 的 RL 訓練流程,讓每輪從產生回答到更新模型的時間,從約 100 分鐘降到最快 56 秒,並保留 8,192-token 的回答上限。文章也整理哪些調整有效、哪些沒有帶來明顯改善,並提供已合併到開源專案的設定與重現方式。

    推薦理由:文章拆解小型模型訓練中,主機排程、同步與快取如何拖慢整個流程,並以逐步最佳化的實測結果呈現各環節的影響。

  4. DuckDB Official Blog58

    DuckDB 如何支援不需資料庫伺服器的本機分析

    DuckDB 可在瀏覽器或使用者的電腦上執行分析查詢,讓 Flowmap City、SQLRooms 與 Foursquare Spatial Desktop 等應用在不連線遠端資料庫伺服器的情況下處理資料。 SQLRooms:開源 React 工具包,提供載入資料、撰寫 SQL、顯示表格與視覺化等元件,也支援 AI 助理;資料集可留在本機,資料庫結構與選取的查詢結果則可分享給 AI 服務商。 動態地圖切片:Spatial Desktop 使用 DuckDB 的 spatial extension,按需從本機資料集產生地圖切片,並依縮放層級簡化幾何資料;正式實作也會處理無效幾何、過小圖徵與切片快取。 其他應用:Cosmograph 以 DuckDB-Wasm 在背景載入資料及執行 SQL,支援探索包含數百萬條邊的圖形資料集。

  5. AWS Machine Learning Blog74

    AWS 推出開源 UAEF,跨框架評估 AI 助理

    AWS 介紹開源的 Universal Agent Evaluation Framework(UAEF),將不同框架的 AI 助理執行軌跡轉成共同格式,並以一致指標評估與比較版本。

    推薦理由:UAEF 將不同框架的執行軌跡轉成共同格式,並以一致指標比較版本,呈現跨框架評估與回歸追蹤的實作方式。

  6. LMSYS Org Blog71

    LMSYS Org 成立 SGLang 聯盟,推動開源 AI 推論發展

    AI 推論越來越耗用運算資源,怎麼讓模型在不同硬體上跑得更有效率,成了業界共同面對的問題。LMSYS Org 成立 SGLang 聯盟,邀請 NVIDIA、AMD、Intel、Google、Meta 等創始成員與 SGLang 維護者一起討論專案方向,並合作開發。成員每年參加兩次路線圖會議,也能透過工程經驗、實際部署回饋和測試資源投入合作;技術決策與程式碼是否接受,仍由 SGLang 維護者負責。聯盟希望讓共同的需求轉成工程工作,並公開路線圖與進度。

    推薦理由:SGLang 聯盟讓多家硬體與基礎設施團隊定期交流推論需求,並把共同方向帶進工程合作,呈現開源專案協調發展的做法。

11月11日週三
  1. vLLM Official Blog84

    vLLM 如何以 EPD 分離多模態服務中的編碼、Prefill 與 Decode

    vLLM 說明如何以 Encoder/Prefill/Decode(EPD)分離多模態推論流程,並整理中繼資料轉送、編碼器執行、嵌入傳輸、快取與路由的工程進展。

    推薦理由:文章整理 vLLM EPD 的媒體中繼資料、遠端嵌入傳輸與跨編碼器快取,並以不同工作負載的測試資料呈現效能差異。

  2. Browser Use Releases44

    Browser Use 發布 1.0.2 候選版,新增 Chromium 操作方式並改善卡住時的錯誤提示

    想先試用 Browser Use 1.0.2 的人,要自己安裝候選版:pip install 'browser-use==1.0.2rc1';一般安裝目前仍會拿到 1.0.1。這個版本讓 --cli-mcp 在 Chrome 遠端除錯關閉時改用自己的 Chromium,也會告訴模型怎麼取得你的 Chrome。若網頁被 JavaScript 對話方塊卡住,操作會更快回報清楚錯誤,減少一直等待的情況。

  3. PyTorch76

    PyTorch 推出 ExecuTorch 的 WebGPU 後端,讓模型可在瀏覽器 GPU 上執行,並在分頁本機處理提示詞、照片與音訊。 - 匯出與支援環境:透過 torch.export 匯出一次,同一份 .pte 檔可在 Chrome、Safari 等支援 WebGPU 的瀏覽器執行。

    推薦理由:ExecuTorch WebGPU 將模型部署到瀏覽器本機執行,並以同一份 .pte 檔支援多種模型,呈現網頁端推論與裝置端微調的實作方式。

  4. Meta Engineering81

    Meta 如何打造 TLX,讓工程師更容易安排 GPU 工作

    GPU 硬體進步很快,但工程師常得在容易寫的程式工具和能細部控制硬體的寫法之間取捨。Meta 打造 TLX,讓工程師沿用 Triton 寫運算,再安排不同工作群組如何搬資料、計算和同步,讓資料搬移與運算能重疊進行。Meta 分享的案例包括推薦系統訓練、推論,以及大型語言模型訓練;其中一項推薦系統推論最佳化,讓特定模型的計算延遲最多降低三分之二。這些案例呈現 TLX 如何把新款 GPU 的功能用在實際工作中。

    推薦理由:TLX 的實際案例說明,讓工程師直接安排 GPU 工作與資料搬移,如何改善推薦系統推論和大型語言模型訓練。

  5. PyTorch Blog83

    ExecuTorch 推出 WebGPU 後端,讓 PyTorch 模型在瀏覽器中以 GPU 推論

    ExecuTorch 推出 WebGPU 後端,讓 PyTorch 模型可匯出為 .pte 檔,並在支援 WebGPU 的瀏覽器中以 GPU 執行,資料留在使用者裝置上。

    推薦理由:文章比較 WebGPU 與 ExecuTorch CPU 路徑在同一臺 Apple M1 Pro 上的推論速度,並說明模型如何以同一個 .pte 檔在瀏覽器本機執行。

  6. LMSYS Org Blog82

    SGLang 推出統一記憶體,讓混合模型按需求共用 GPU 空間

    混合模型會同時使用不同型別的記憶體,流量一變,原本分好的空間可能一邊用光、一邊閒置。SGLang 新增統一記憶體功能,讓各類資料共用一塊 GPU 空間,系統會依需求重新安排;即使資料大小和格式不同,也能一起管理。文章中的測試顯示,在 GPT-OSS-20B 的一種工作負載下,統一記憶體可同時處理約 1,000 個請求,原本的分池方式是 618 個,吞吐量也高 14%。這項功能目前仍屬實驗性,且有部分模型與功能限制。

    推薦理由:文章比較共用記憶體與固定分池在不同流量下的表現,並說明統一配置如何減少容量閒置與請求退回。

11月10日週二
  1. Hugging Face Blog74

    Hugging Face 解說決策模型及其統一介面

    Hugging Face 介紹決策模型如何接收狀態與問題,直接輸出帶有機率的結構化決策,並說明其與分類模型及零樣本分類的差異。 - 三種決策原語:choice 從選項中擇一,score 對有序尺度評分,noul 估計是非命題為真的機率。

    推薦理由:文章比較傳統分類、零樣本分類與決策模型,並以 choice、score、noul 三種輸出說明其如何將選項機率整合為可供軟體使用的統一介面。