跳到正文

部署工程

把模型跑起來的工程實踐:推理最佳化、視訊記憶體與成本、Serving 架構與基礎設施選型。

最新精選

第 381–386 條 · 共 386 條
4月28日週二
  1. Together AI Official Blog75

    Together AI 立即發布 NVIDIA Nemotron 3 Nano Omni 模型

    Together AI 於今日正式推出 NVIDIA Nemotron 3 Nano Omni 模型,並於同日即時提供開發者使用。 - 多模態推理:單一模型即可同時處理影像、影片、音訊與文字,支援 256K token 的共享上下文。

    推薦理由:本篇說明 NVIDIA Nemotron 3 Nano Omni 在 Together AI 上,與 Agent 效能,對落地 Agent 的開發者具參考價值。

3月31日週二
2月23日週一
  1. Browser Use73

    我們如何構建可擴充套件的 AI 網頁代理評估基礎設施

    本文說明如何以高並行度與統計嚴謹性,構建可自動化測試 AI 網頁代理的評估系統,對提升代理品質與迭代速度的開發團隊極具參考價值。 - 測試引擎:使用 Blacksmith runners 在 GitHub Actions 上並行執行 100 個複雜網頁任務,整個流程不到 5 分鐘。

    推薦理由:本文說明如何以高並行度與統計嚴謹性,構建可自動化測試 AI 網頁代理的評估系統,對提升代理品質與迭代速度的開發團隊極具參考價值。

4月8日週一
  1. Davis Summarizes Papers73

    DBRX:132B 引數 MoE LLM 以 12T tokens 訓練,效能超越 GPT-3.5

    DBRX 是一款 132B 引數的 MoE LLM,經 12T tokens 訓練後,效能已超越 GPT-3.5。 - 模型規格 132B 引數、4-of-16 MoE、RoPE 位置編碼、LION 最佳化器、LayerNorm 取代 RMSNorm。

    推薦理由:DBRX 132B 引數 MoE LLM 以 12T tokens 訓練,效能超越 GPT-3.5,展示了 MoE 與資料品質對 LLM 成效的關鍵作用。

10月13日週五
  1. Ollama Blog72

    利用瀏覽器端技術打造 LLM 驅動的網頁應用

    Mistral 7B 透過 Ollama 在瀏覽器端實現本地 LLM,搭配 LangChain、Voy 與 Transformers.js 完成 RAG 網頁應用。

    推薦理由:本文示範如何利用瀏覽器端本地模型構建 RAG 應用,提供可直接套用於前端開發的實作範例,並說明如何透過 Ollama 與 LangChain 連結本地 LLM,降低成本與提升隱私。

9月24日週五
  1. Lilian Weng (Lil'Log)78

    如何在多 GPU 上訓練極大型模型

    Lil'Log 文章以實務角度拆解在多 GPU 上訓練極大型模型的關鍵技術。 - 資料並行 - DP、BSP、ASP、梯度累積、AllReduce 方案 - 模型並行 - 將模型切分為多層或多分割槽。

    推薦理由:本篇以實務角度拆解多 GPU 訓練策略,提供可直接套用於大型模型開發的最佳實踐,並詳述資料、模型、張量並行與記憶體最佳化技巧。