跳到正文

#教學/實務

RSS
今日 0 則
10月16日週五
  1. vLLM Official Blog72

    vLLM 中 Kimi K3 高效最佳化:快速且負責任的推進

    vLLM 團隊利用代理協助開發,為 NVIDIA GB300 上的 Kimi K3 建構統一的 CuTe DSL 解碼路徑,實現 842 tokens/s 的解碼速率(比原版快 1.73 倍)並提升 P90 互動性至 403.2 tokens/s。

    推薦理由:本文說明如何利用代理開發加速 Kimi K3,並提供可複製的驗證流程,對想提升 GPU 端推理效能的工程師具有實務參考價值。

10月15日週四
  1. LangChain Blog75

    Agent 評估最常見問題說明

    Agent 的評估方法與實務流程,LangSmith 以範例說明如何設計測試集、執行離線與線上評估,並提供自動化迴圈提升品質。 - 離線評估:以固定資料集跑測試,檢查新提示、模型或工具是否回歸;可用 Terminal‑Bench 等基準。

    推薦理由:此篇說明如何以 LangSmith 進行 Agent 評估,對開發者設計測試流程與迭代最佳化具有實務參考價值,並能快速定位失敗點、建立自動回歸測試,提升 Agent 可靠度。

  2. GitHub Engineering76

    GitHub 如何將 Star 歷史查詢從 2,500 次請求降至 24 次

    GitHub 工程團隊分享了重構專案 Star 歷史查詢 API 的技術細節,透過移除不必要的使用者身份資料並改進查詢邏輯,大幅降低資料庫負擔。 - 核心改動:移除了舊端點回傳的詳細使用者身份,改為直接回傳不含身份的每日 Star 數量,解決隱私與濫用問題。

    推薦理由:文章剖析從舊 API 的大量請求到新聚合端點的效能最佳化過程,讀者可藉此學習 API 設計中以時間範圍過濾取代全量掃描的工程方法。

  3. AWS Machine Learning Blog73

    使用 Amazon Bedrock AgentCore 建置自學習式檔案處理系統

    本篇教學示範如何利用 Amazon Bedrock AgentCore 建置自學習式檔案處理系統,透過多代理即時學習與驗證,快速部署、無需手動模板,提升準確率,為企業節省人力與成本。

    推薦理由:本篇教學示範如何利用 Amazon Bedrock AgentCore 建置自學習式檔案處理,透過多代理即時學習與驗證,快速部署、無需手動模板,提升準確率,為企業節省人力與成本。

  4. LMSYS Org Blog51

    SGLang 加入 NVIDIA Nemotron 3.5 Super VL 的首日支援與部署教學

    多模態模型要投入工作流程,除了理解文字、圖片、檔案和影片,也需要能透過工具接續任務。這篇文章示範如何用 SGLang 部署 NVIDIA Nemotron 3.5 Super VL,並介紹它提供的連續批次處理、字首快取和推測解碼等服務功能。文中提到,模型在單張 RTX 6000 PRO 上搭配 MTP 達到 243.9 tok/s;其他比較資料則是作者依文中圖表所述。這份快速入門指南也列出啟動模型伺服器的指令,方便讀者開始部署。

10月14日週三
  1. vLLM Official Blog85

    vLLM 官方推出強化學習訓練與推論位元級一致性方案與開源 Agent 技能

    vLLM 團隊與開發者發布全新技術方案與開源 Agent 技能,透過讓訓練端直接呼叫推論核心並修正數值路徑,實現強化學習訓練與推論在取樣 Token 上的位元級一致(diff = 0),以解決因數值差異導致訓練不穩定甚至崩潰的問題。

    推薦理由:原文公開實現強化學習訓練與推論位元級一致的方法與開源 Agent 技能,讀者可藉此降低跨模型實現一致性訓練的工程成本。

  2. vLLM Official Blog72

    vLLM 引入基於推送的 KV 傳輸機制以改善分散式推理效能

    vLLM 團隊介紹了全新基於推送(Push-based)的 NIXL 傳輸連接器,透過將預填與解碼階段的 KV 快取傳輸協調移出關鍵路徑,改善大規模分散式推理(Disaggregated Inference)效能。

    推薦理由:文章詳述 vLLM 推出的 push-based NIXL 傳輸機制原理與設定步驟,讀者可透過遷移設定有效降低大規模分散式推理的首字延遲。

  3. LangChain Blog77

    LangChain 透過 Deep Agents CLI 讓檔案範例自動化測試

    LangChain 透過 Deep Agents CLI 讓檔案範例自動化測試,將內嵌程式碼抽離成可執行檔並在 CI 內驗證。 - 流程概述:將 inline code 轉為獨立檔案,加入 setup/teardown,標記 :snippet-start: / :snippet-end:,再用 Deep Agents CLI 執行遷移。

    推薦理由:本文說明如何利用 Deep Agents CLI 自動化檔案範例的可測試化,降低維護成本,對需要持續更新 API 文件的團隊具有實用參考價值。

10月13日週二
10月12日週一
  1. Hacker News (official RSS)58

    迴圈工程:最佳化程式碼生成與驗證

    本文說明如何透過迴圈工程降低 AI 生成程式的驗證成本,並提供可操作的檢查點與修正流程,幫助團隊快速定位問題。 - 核心概念:迴圈工程(outer, inner, build, learning loops)將 AI 生成、驗證與人類審查分離,提升流程透明度。

  2. vLLM Official Blog74

    vLLM 推出雙向 KV 傳輸以改善多輪代理工作負載的 TTFT

    vLLM 官方部落格介紹了一項雙向 KV 快取傳輸機制,旨在解決多輪對話與代理工作負載中,預填(prefill)節點因重複計算上下文而導致首字延遲(TTFT)升高的問題。

    推薦理由:文章詳細說明如何在 vLLM 中配置雙向 KV 傳輸以降低多輪對話延遲,讀者可藉此瞭解如何減少重複的 prefill 計算並最佳化推理效能。

10月11日週日
10月10日週六
10月9日週五
10月8日週四