跳到正文

#開源專案

RSS
今日 0 則
10月20日週二
  1. LMSYS Org Blog88

    SGLang 推出 SGLang-TorchTPU,讓 PyTorch 推論服務也能跑在 TPU 上

    想把 AI 模型放到 TPU 上跑,開發者往往得另外處理硬體支援。RadixArk 的 SGLang 團隊與 Google、Meta 合作推出 SGLang-TorchTPU,讓 SGLang 能用 PyTorch 在 Google Cloud TPU 上提供模型服務,也支援多種開源模型和服務功能。文章列出已支援模型與功能,並說明有些專案仍在測試;Meta 已在正式環境使用這套服務。團隊也展示用 TPU 進行強化學習訓練的流程,但目前仍是預覽版,接下來會擴大型模型與訓練規模。

    推薦理由:SGLang-TorchTPU 把同一套 PyTorch 推論服務帶到 TPU,並列出實際支援的模型與功能,可瞭解它目前能處理哪些部署需求。

10月19日週一
  1. Hacker News (official RSS)69

    Show HN:WhatsApp MCP 可在 Cloudflare 免費執行

    此專案提供一個在 Cloudflare Workers 上執行的 WhatsApp MCP 伺服器,允許 AI 代理讀取並搜尋使用者訊息,並以免費方式部署。\n- 部署環境:需 Cloudflare Workers 付費方案、Node 20+ 及手機;部署後 URL 形如 https://whatsapp-mcp.your-name.workers.dev。

10月18日週日
  1. LMSYS Org Blog84

    SGLang 推出低延遲模式,讓 NVIDIA 與 AMD GPU 更快生成 token

    低延遲推論常需要為不同模型和 GPU 寫專用程式碼,難維護,也會拖慢回應。SGLang 推出低延遲模式,透過外掛接上 NVIDIA 與 AMD 的專用核心,並讓一般執行流程繼續處理外掛不支援的情況。在 AgentX 測試中,四張 NVIDIA GB300 GPU 的單一連線速度從每秒 671.2 個 token 提升到 928.4 個;四張 AMD MI355X GPU 在四個連線時,則從 331.6 提升到 516.0。兩組結果都是和相同硬體上的 SGLang 基準比較。

    推薦理由:文章比較 NVIDIA 與 AMD GPU 上的實測結果,也說明外掛如何讓專用核心接上 SGLang,呈現低延遲最佳化的效能與維護取捨。

10月17日週六
  1. Vercel Blog64

    Vercel Shop 推出代理友善購物體驗

    Vercel Shop 是一個開源 Next.js 店面範本,讓商家能快速建立可供代理使用的購物體驗。 - 技術基礎:基於 Shopify 的 Hydrogen SDK,提供商品目錄、購物車、結帳與付款 API;同時支援 UCP 與 MCP,讓代理能直接查詢商品資訊並建立購物車。

10月16日週五
  1. Axolotl Releases79

    Axolotl v0.21.0 發布:單機 QLoRA 微調 5B MoE 及多項訓練最佳化

    Axolotl v0.21.0 釋出多項訓練與效能最佳化,讓單機 QLoRA 微調 5B MoE 變得可行。 - Reflection Beam:501B 引數 MoE,23B 活躍引數,可在單機 8xH200 上使用 QLoRA 微調。

    推薦理由:Axolotl v0.21.0 釋出單機 QLoRA 微調 5B MoE、擴散 LM 訓練與效能最佳化,開發者可直接提升訓練效率與模型靈活度。

  2. david888podcast79

    廣告追蹤淪零點選間諜武器,高通韌體快取 Bug 逼工程師寫核心漏洞

    本集揭露以色列廣告商利用線上廣告競價系統散播零點選間諜軟體,並報告 TP‑Link 路由器快取錯誤逼工程師自行提權。 - 零點選間諜:廣告生態系漏洞被利用,攻擊者可在無使用者互動下植入惡意程式。

    推薦理由:揭示零點選間諜軟體在廣告生態的漏洞與硬體韌體開源限制,對資安與開源社群具重要參考價值。

  3. Hugging Face Transformers Releases92

    Transformers v5.20.0 釋出多模態模型與分散式加速功能

    Transformers 5.20.0 釋出,新增多模態模型並加強分散式推理與量化支援。 - Muse Spark Open:Meta 816B 引數,1,048,576 token 上下文,支援文字、影像、音訊、影片輸入,專為代理編碼任務設計,提供 BF16 / NVFP4 檢查點。

    推薦理由:新版本提供多模態模型與高效分散式支援,開發者可直接整合至現有工作流程,並享受改進的量化與推理加速。

10月15日週四
  1. NVIDIA Blog78

    NVIDIA 擴大歐洲科學社群先進技術存取:開放學習資源、合作與計算平臺

    NVIDIA 在歐洲科學社群推出一系列開放學習資源、合作計畫與計算平臺,為研究人員提供先進工具與支援。 - 開放資源:已發布 250+ 開源模型、資料集及 1,400+ 軟體專案,涵蓋 LLM、醫療、機器人、氣候科學等領域。

    推薦理由:NVIDIA的開放資源與計算平臺,為歐洲科研社群提供實用工具與培訓,促進跨領域創新,並加速新技術落地。

  2. LangChain Blog75

    Agent 評估最常見問題說明

    Agent 的評估方法與實務流程,LangSmith 以範例說明如何設計測試集、執行離線與線上評估,並提供自動化迴圈提升品質。 - 離線評估:以固定資料集跑測試,檢查新提示、模型或工具是否回歸;可用 Terminal‑Bench 等基準。

    推薦理由:此篇說明如何以 LangSmith 進行 Agent 評估,對開發者設計測試流程與迭代最佳化具有實務參考價值,並能快速定位失敗點、建立自動回歸測試,提升 Agent 可靠度。

  3. Hacker News (official RSS)45

    Ultramarine 1 Flash

    summary_zh: Ultramarine 1 Flash 是一款針對金融、法律、諮詢與運營等專業工作設計的開源模型,且比 Fable 便宜 60 倍。 - token 效率:在六項基準測試中,Ultramarine 1 Flash 產生的 token 數量比基礎模型 GLM-5.3 Flash 少 6.5%,縮短推理路徑。

10月14日週三
  1. Supabase Blog72

    Supabase CLI 允許每個 Agent 擁有獨立本地專案,支援 Docker 與原生執行

    Supabase CLI 現已支援在單機上為每個 Agent 建立獨立本地專案,且可選擇不使用 Docker 的原生執行方式。 - 多專案同時執行:每個 git worktree 皆可獨立啟動,並自動分配 Postgres、Storage、Edge Functions 等服務。

    推薦理由:Supabase CLI 允許在單機上同時執行多個本地專案,降低記憶體佔用並提升啟動速度,對多個獨立資料庫環境的開發流程尤為有價值。

  2. FlashAttention Releases44

    FlashAttention 2 v2.8.3.post2 維護更新,修補兩項安全問題與一項計算錯誤

    FlashAttention 2 這次推出維護更新,沒有新增核心功能。更新包含兩項安全修補:載入模型權重時採用較安全的方式,也修正瞭解開 tar 檔案的安全問題;另外,還修正一個可能讓程式讀錯記憶體,或產生 NaN 梯度的計算錯誤。這個錯誤會在特定資料量太大、超過 2^31 時發生。使用 CUDA 13 的 PyTorch,也會改為要求提供預先編譯好的套件。

  3. vLLM Official Blog72

    vLLM 引入基於推送的 KV 傳輸機制以改善分散式推理效能

    vLLM 團隊介紹了全新基於推送(Push-based)的 NIXL 傳輸連接器,透過將預填與解碼階段的 KV 快取傳輸協調移出關鍵路徑,改善大規模分散式推理(Disaggregated Inference)效能。

    推薦理由:文章詳述 vLLM 推出的 push-based NIXL 傳輸機制原理與設定步驟,讀者可透過遷移設定有效降低大規模分散式推理的首字延遲。

10月13日週二
  1. Amazon Science85

    Priming:從預訓練 Transformer 建立混合狀態空間模型

    Amazon Web Services 團隊發表名為 Priming 的新方法,能以不到傳統預訓練 0.5% 的成本,將預訓練 Transformer 轉換為混合狀態空間模型。

    推薦理由:原文提出無需從頭訓練即可將 Transformer 轉換為混合狀態空間模型的 priming 方法,讀者可據此評估如何大幅降低架構探索與訓練成本。