SGLang 發布 v0.5.17 版本
SGLang 正式發布 v0.5.17 版本，匯集 194 位貢獻者的 582 項 PR，全面升級推理與平行化效能： - 新模型日支援。
推薦理由：新版本帶來多項新模型支援與底層平行化最佳化，開發者可參考其升級日誌評估效能提升與架構調整。
DeepSeek
全部主題DeepSeek（深度求索）的模型釋出、開源權重與技術報告——開源大模型價格與效能雙卷的風向標。
最新精選
第 61–75 條 · 共 75 條SGLang Releases精選品質評分8282
vLLM Official Blog精選品質評分6565 vLLM 推出高效 Decode Context Parallelism，支援長上下文工作負載
vLLM 推出高效的 Decode Context Parallelism（DCP），針對長上下文推理提供 KV cache 的序列分片。 - 核心效能：在 8×B200 GPU 上使用 Kimi K2.6，DCP 在 512 個併發請求時達到 6,091 tok/s/GPU，遠超基線 1,863 tok/s/GPU。
推薦理由：本文透過實驗證明，Decode Context Parallelism 能顯著提升長上下文推理的併發度與吞吐量，對處理大規模程式碼或對話歷史的 Agent 服務具有實務參考價值。
Berkeley AI Research精選品質評分6868 教導 LLM 更新信念以提升長期互動效率
ABBEL 是一套透過自然語言信念狀態與評分，將長期互動的記憶壓縮，並在協同編碼與多目標問答等環境中顯著提升效能與訓練效率。 - 核心概念：將互動歷史抽象為「信念」(belief)，並以自編碼方式評分，確保關鍵資訊被保留。
推薦理由：ABBEL 透過信念更新與評分，將長期互動的記憶壓縮，顯著縮減訓練步驟並提升協同編碼效能
SGLang Releases精選品質評分6464 SGLang v0.5.16 釋出 DSpark 及 Inkling 多模態支援
SGLang v0.5.16 釋出 DSpark 及 Inkling 多模態支援，並最佳化多項推理效能與模型管理。 - DSpark：自信度驅動的 speculative decoding，單位 5 accept length 在 DeepSeek‑V4‑Pro 上達 383.7 tok/s，TP8 on B300 5.0 tok/s。
推薦理由：此版本新增 DSpark 及 Inkling 支援，可提升推理效能與多模態擴充性，對開發者最佳化部署流程有實際幫助。
Import AI精選品質評分7272 Import AI 465：開放與封閉權重模型差距縮小；Kimi K3；Demis 的大規模政策計畫
UK AI Security Institute 在最新報告中指出，開放權重模型在網路安全領域的表現已逼近封閉模型，縮小了 4–10 個月的差距。 - 開放模型：GLM‑5.2 與 DeepSeek‑V4‑Pro 的評估分數與 4–7 個月前發布的 Claude Opus 4.6、GPT‑5 等封閉模型相近，顯示差距縮短。
推薦理由：本文以 UK AI Security Institute 的實驗資料說明開放權重模型在網路安全領域的進步，對安全研究者與政策制定者評估模型威脅與防禦視窗提供參考。
Air Street Press精選品質評分7979 ElevenLabs 口語模型在 GPU 缺乏時提升使用者吞吐的工程實踐
ElevenLabs 口語模型在 GPU 缺乏時提升使用者吞吐的工程實踐 - 批次化：連續批次化可將 GPU 佔用率提升至 95%，每個 GPU 可同時處理多個請求，減少等待時間。
推薦理由：文章以 ElevenLabs 口語模型實測為基礎，闡述批次化、量化、KV 壓縮等技術在 GPU 資源稀缺時提升使用者吞吐的方案，對語音服務成本與效能提供參考。
openrouter blog精選品質評分6464 DeepSeek V4 正在贏得 Agentic Token 佔有率
DeepSeek 於 4 月 24 日發布旗艦 DeepSeek V4 模型後，在 OpenRouter 上的 token 佔有率在六個月內實現翻倍，其中很大一部分增長由 Agentic 工作負載驅動。
推薦理由：原文基於平臺請求日誌分析 DeepSeek V4 發布後的市佔率變化，讀者可從中瞭解模型價效比與智慧體工作負載的最新趨勢。
Together AI Official Blog精選品質評分7777 ParallelKernelBench：前沿 LLM 尚未能快速編寫多 GPU 核心
ParallelKernelBench 是一個測試多 GPU 核心生成的基準，評估 GPT‑5.5、Gemini 3 Pro 等前沿模型的表現。 - 核心特性：87 個實際工作負載，涵蓋多種分散式並行策略。
推薦理由：此研究揭示前沿 LLM 在多 GPU 核心生成上的侷限，提供可量化的基準與改進方向，並展示首批成功案例。
Modal Engineering Blog精選品質評分6868 強化學習：基礎設施瓶頸與 Modal Dojo 解決方案
強化學習：基礎設施瓶頸與 Modal Dojo 解決方案 - 核心問題：RL 後訓練需要三大獨立基礎設施，包含可擴充套件的訓練引擎、近光速推論引擎以及可並行執行的環境沙盒；多節點擴充套件時權重同步成瓶頸。
推薦理由：文章闡述 RL 基礎設施瓶頸與解決方案，並提供 Modal Dojo 開源庫，協助團隊快速擴充套件大模型訓練，並降低基礎設施成本與開發複雜度。
Together AI Official Blog精選品質評分7979 Violin：開源影片翻譯工具突破語言障礙
Violin 是一款完全開源的影片翻譯工具，透過 Together API 整合 Whisper V3、DeepSeek V4 Pro 與 Cartesia 的 Sonic 3，完成從語音辨識、翻譯到語音合成的全流程。
推薦理由：Violin 以開源方式提供多語言影片翻譯，並內建多模態對話助手，使用者可即時查詢影片內容並調整語音風格，讓全球觀眾可即時接觸內容。
Together AI Official Blog精選品質評分7474 Serving DeepSeek-V4：為何百萬 token 上下文成為推理系統難題
DeepSeek-V4 支援百萬 token 上下文，核心在於混合注意力設計與 KV 壓縮，本文說明如何將此架構轉化為實際推理效能。 - 1M-token 上下文：透過 CSA、HCA、SWA 三種注意力路徑，將 token 軸壓縮，減少 KV 快取佔用。
推薦理由：文章說明 DeepSeek-V4 1M-token 上下文的架構最佳化與實際部署關鍵，幫助讀者評估長文本推理效能與成本。
Together AI Official Blog精選品質評分7171 DeepSeek-V4 Pro 現已於 Together AI 上線
DeepSeek-V4 Pro 現已於 Together AI 上線，提供 512K 上下文推理，並支援 1M 模型層級長上下文。 - 模型規格：1.6T 引數 MoE，49B 啟用引數，Hybrid Attention（Compressed Sparse + Heavily Compressed）。
推薦理由：DeepSeek-V4 Pro 在 Together AI 提供 512K 上下文推理，Serverless 與預留容量，讓團隊以低成本處理長文本。
Ahead of AI (Sebastian Raschka)精選品質評分6868 DeepSeek V3.2：架構、稀疏注意力與 RL 更新
DeepSeek V3.2 於 2025 年 12 月 1 日正式發布，為開源大模型提供了新的稀疏注意力機制（DSA）和自我驗證的 RLVR 訓練流程。
推薦理由：透過 DeepSeek V3.2 的技術報告，說明稀疏注意力與 RLVR 自我驗證在提升開源模型效能與推理效率的關鍵技術。
Davis Summarizes Papers精選品質評分7171 2024-8-25：LLM 測試時計算量與模型規模擴充套件曲線研究
LLM 測試時計算量與模型規模擴充套件曲線研究 - 核心發現 在多種推理策略（並行多樣本、迭代修正、加權投票、波束搜尋、前瞻搜尋）下，測試時計算量的增加能顯著提升輸出品質，對於簡單問題可用較小模型加多次推理取代更大模型。
推薦理由：此研究揭示在多樣推理策略下，測試時計算量可替代引數增長，為 LLM 部署與成本最佳化提供實證基礎
Ollama Blog精選品質評分6060 在編輯器內完全開源的 AI 程式碼助手
Continue 與 Ollama 讓開發者可在 VS Code 或 JetBrains 內部直接使用開源 LLM 進行程式碼補完與聊天。 - Codestral 22B：具備補完與聊天功能，需 22B 引數、較高 VRAM，適合研究測試。
推薦理由：此文示範如何在本地 VS Code 內整合 Continue 與 Ollama，並列舉多種 LLM 配置，方便開發者快速上手