跳到正文

#部署/工程

RSS
今日 0 則
6月10日週三
6月5日週五
  1. LMSYS Org Blog56

    Miles 如何讓 AI 助理訓練時保留推論用過的每個 token

    AI 助理在多輪任務中會反覆呼叫模型和工具;如果訓練時重新整理對話,模型實際看過的內容可能被改掉。Miles 用 Token-In-Token-Out(TITO)原則,讓每一輪只把新內容接到原有 token 序列後面,並檢查它是否和完整對話重新產生的內容相符。文章舉例說明,文字轉回 token 時可能變成不同切法,聊天格式也可能刪掉先前的推理,或改變工具呼叫的空格。這些差異會讓訓練時的上下文和模型生成時不一致;Miles 也為不同模型處理格式邊界的差異,並列出目前支援的模型。

6月4日週四
  1. LMSYS Org Blog74

    NVIDIA Nemotron 3 Ultra 開放下載,SGLang 和 Miles 同步支援

    AI 助理要長時間分步完成工作,得能持續推理、使用工具,也要讀懂大量資料。NVIDIA 推出 Nemotron 3 Ultra,並宣佈 SGLang 和 Miles 從首日就支援:開發者可用 SGLang 執行模型,也能用 Miles 進行強化學習訓練。模型有 550B 個引數、最多 1M tokens 的上下文視窗,提供 BF16 和 NVFP4 版本。團隊也在 128 張 H200 GPU 上跑過訓練流程;這些是初步檢查,並非已收斂的訓練結果。

    推薦理由:Nemotron 3 Ultra 同時提供模型推論與後訓練支援,文中也交代長時間多步任務的設計,以及 128 張 H200 GPU 的訓練初步檢查結果。

6月1日週一
5月29日週五
  1. LMSYS Org Blog50

    SGLang 如何讓 CPU 分擔 VLM 圖片處理,提升 AI 服務速度

    圖片多的問題一次送進 VLM 時,負責看圖的工作會讓 GPU 忙不過來,使用者得等更久。SGLang 透過 Dynamo 把部分圖片處理工作交給 CPU,再用路由器依照 CPU 和 GPU 的忙碌程度分配請求。測試使用 Qwen3-VL-8B-Instruct,在每秒送出 1 到 2 個請求時,混用 CPU 和 GPU 的做法,首個文字回覆時間和處理請求量提升約 1.2 到 1.3 倍;每個輸出 token 的等待時間則減少約 1.3 到 30 倍。這顯示,把看圖工作分給 CPU,有機會讓忙碌時的服務更快。

5月28日週四
  1. Google Research59

    零信任聚合實現私有分析

    Google Research 在部落格中公佈了一種零信任聚合方案,利用單次加密提交和TEE硬體隔離,提供了更高效的隱私分析。該方案基於晶格加密,客戶端可在單條訊息中提交資料,伺服器僅能解密聚合結果;TEE 進一步驗證協議執行。Google 已將此技術用於 SafetyCore、Pixel Recorder、Gboard 等 Android 裝置,以在不洩露使用者內容的前提下評估模型效能並提升安全性。

5月21日週四
  1. Cognition / Devin Blog49

    Devin 取得 Windows PC

    summary_zh: Devin 現在能在 Windows VM 內原生建置、執行與測試,將自主 AI 工程能力帶入全球最成熟的開發者生態系。 - 核心功能:在 Windows 環境下建置、執行、測試 .NET Framework 與 .NET Core 應用,並自動產生遷移程式碼,完成 .NET Framework → .NET Core 的遷移。

5月20日週三
5月19日週二
5月4日週一
4月29日週三
4月28日週二
  1. Together AI Official Blog75

    Together AI 立即發布 NVIDIA Nemotron 3 Nano Omni 模型

    Together AI 於今日正式推出 NVIDIA Nemotron 3 Nano Omni 模型,並於同日即時提供開發者使用。 - 多模態推理:單一模型即可同時處理影像、影片、音訊與文字,支援 256K token 的共享上下文。

    推薦理由:本篇說明 NVIDIA Nemotron 3 Nano Omni 在 Together AI 上,與 Agent 效能,對落地 Agent 的開發者具參考價值。

4月24日週五
4月8日週三
4月7日週二
4月1日週三
3月31日週二
3月26日週四
3月25日週三
3月19日週四
3月17日週二
3月10日週二
2月23日週一
2月19日週四
2月18日週三
1月22日週四
  1. Mistral AI66

    Mistral AI:排查 vLLM 中的記憶體洩漏

    Mistral AI 團隊詳細復盤了在 vLLM 分離部署測試中發現並解決隱蔽記憶體洩漏的完整過程。通過結合 pmap、BPFtrace 與 GDB 自動化指令碼,團隊最終定位到根源在於 UCX 記憶體管理模組的 mmap 鉤子機制與註冊快取佇列。通過設定環境變數 UCX_MEM_MMAP_HOOK_MODE=none 或限制未釋放區域數量,成功解決了該記憶體洩漏問題。

12月19日週五
9月23日週二
2月17日週一
  1. Mistral AI56

    Mistral Saba

    Mistral Saba 是一個 24B 引數的區域語言模型,針對中東和南亞語言提供更快、更低成本的支援。 - 語言支援:阿拉伯語及多個印度語言,特別是南印度語言如泰米爾語。

1月30日週四
9月25日週三
  1. Ollama Blog66

    Meta Llama 3.2 釋出小型多模態版本

    Meta Llama 3.2 現已透過 Ollama 可本地執行,提供 1B、3B、11B、90B 四個版本。 - 1B、3B:純文字模型,專為手機或邊緣裝置最佳化,可即時處理訊息或行事曆摘要,並保留隱私。 - 11B、90B:視覺模型,支援檔案、圖表、圖片說明等影像推論。 - 所有模型皆為開源,使用者可自行下載 Ollama 並直接執行。

10月13日週五
  1. Ollama Blog72

    利用瀏覽器端技術打造 LLM 驅動的網頁應用

    Mistral 7B 透過 Ollama 在瀏覽器端實現本地 LLM,搭配 LangChain、Voy 與 Transformers.js 完成 RAG 網頁應用。

    推薦理由:本文示範如何利用瀏覽器端本地模型構建 RAG 應用,提供可直接套用於前端開發的實作範例,並說明如何透過 Ollama 與 LangChain 連結本地 LLM,降低成本與提升隱私。

10月5日週四