跳到正文

#開源生態

RSS
今日 0 則
10月24日週六
  1. LMSYS Org Blog67

    SGLang 如何在 DeepSeek-V4.1-Flash 基準中比肩 DeepInfer

    部署 DeepSeek-V4.1-Flash 時,除了跑得快,也需要快取、請求分流和負載平衡等完整服務功能。SGLang 團隊用 DeepInfer 自家的基準,在相同硬體上比較兩套系統:預填測試中,SGLang 的吞吐量最高達 DeepInfer 的 1.04 倍;64 張 GB300 的解碼測試中,每一步最多短 7.4%,部分測試則表現相近。SGLang 也整合 DeepSeek 的多種核心運算方式,並提供快取重用、分開處理預填與解碼,以及在多個模型副本間分配請求等功能。這篇比較呈現了速度測試和完整推論服務的差異。

    推薦理由:同一硬體與 DeepInfer 自家基準下的比較,呈現 SGLang 在預填與解碼的表現,也說明完整推論服務還包含哪些元件。

10月23日週五
  1. ollama release75

    Ollama v0.40.9 正式發布

    Ollama v0.40.9 於 2026 年 10 月 22 日正式發布,新增多項功能與修復。 - 跨作業系統支援:Flint 現已在 Linux、Windows 及 macOS 上執行,擴大本機模型部署範圍。

    推薦理由:此版本修復多項上下文處理與網路搜尋失敗問題,提升模型與工具整合效能,並新增跨作業系統支援,方便開發者部署。

10月22日週四
  1. Google DeepMind79

    全球10米解析度森林型別地圖:超越樹冠覆蓋

    ForTy 2020 是 Google DeepMind 與 Google Research 於 2026 年發布的全球 10 米解析度森林型別地圖,將每個 10×10 米地塊劃分為六種森林與土地利用類別。

    推薦理由:此研究提供全球10米解析度森林型別地圖,為 EUDR 合規與碳管理提供可操作基準,並揭示自然森林被轉為種植園的隱形變化。

  2. NVIDIA Blog76

    歐洲金融機構領先採用開源模型打造專屬智慧

    導語: NVIDIA 官方部落格報導歐洲金融機構如何利用 NVIDIA GPU 加速開源模型,從 Revolut 的 PRAGMA 到 Stripe 的 Radar,展示了成本與效能的顯著提升。

    推薦理由:文章說明歐洲金融機構如何利用 NVIDIA GPU 加速開源模型,展示成本與效能的顯著提升,對類似行業的部署策略具有參考價值。

  3. Hugging Face Blog88

    VocabX:成本加權詞彙最佳化能將單域 LLM 推理成本降低 77%

    VocabX 是一種成本加權詞彙最佳化方法,針對單域 LLM 在實際應用中可將推理成本降低 77%。 - 模型:以 Qwen3-4B 為基礎,維持 4B 引數,未改變模型權重。

    推薦理由:VocabX 透過成本加權詞彙最佳化,實驗證明可將推理成本降低 77%,同時提升評分 15%,並保持原始模型精度。

10月21日週三
  1. Hugging Face Blog80

    發布 SimReady Central:機器人與 AI 工廠的開源 3D 資產庫

    導語:SimReady Central 是 Hugging Face 推出的開源 3D 資產庫,提供 2,000+ 具備碰撞、質量等物理屬性的 OpenUSD 模型,讓機器人與 AI 工廠開發者可直接構建模擬環境。

    推薦理由:SimReady Central 供 2,000+ 具備碰撞、質量屬性的 3D 資產,開發者可在 Hugging Face 構建 AI 工廠與機器人模擬,省去手動新增屬性的繁瑣。

  2. Hacker News (official RSS)78

    Basis 推出 LLM 驗證的解譯器

    Basis 發布了利用 LLM 撰寫並在 Lean 中證明的解譯器,證明其行為與實際 RISC‑V 編譯後的程式完全一致。 - 驗證方法:LLM 先自動生成 WHILE 語言的形式語義,然後在 Lean 中證明該語義與編譯後的二進位在所有程式上相符,並以此推匯出四個工具(型別檢查器、程式邏輯、抽象解譯器、編譯器)。

  3. AWS Machine Learning Blog76

    微調 GPT‑OSS‑20B 於 Amazon SageMaker HyperPod 上的多語言推理

    本文示範如何在 Amazon SageMaker HyperPod 上使用 SFT 與 GRPO 微調 GPT‑OSS‑20B,使其在多語言推理任務中的推理語言正確率從 22% 提升至 100%,並在答案語言上提升至 70%。

    推薦理由:本篇示範如何在 SageMaker HyperPod 上使用 SFT 與 GRPO 微調 GPT-OSS-20B,並揭示兩種技術的適用場景,對想要提升多語言推理模型的實務團隊具有參考價值。