跳到正文

教學與實務

拿來就能用的實操內容:提示詞技巧、工作流搭建、工具用法與踩坑經驗。

最新精選

第 141–160 條 · 共 262 條
10月1日週四
  1. openrouter blog72

    代理模型成本與品質折衷框架

    代理模型成本與品質折衷框架 介紹一套三步驟流程,協助使用者根據任務品質門檻與實際成本,挑選最具成本效益的模型。 - 品質門檻設定:先決定任務對準確度的最低需求,低於門檻即使便宜亦不合格。

    推薦理由:此框架幫助工程師用實際成本與質量分數挑選最具成本效益的代理模型,避免因排行榜高分而付高價,並可隨時重新評估模型與價格變動。

  2. openrouter blog67

    在 CI 中用 LLM 評估門檻阻止 PR 合併

    這篇指南說明如何在 CI 流程中使用固定 LLM 評估集,將合併門檻設為評分閾值,防止錯誤代理程式被合併。 - 評估集:將測試案例以 JSON 形式提交至 repo,僅透過審核 PR 變更。

    推薦理由:此指南示範如何在 CI 中用固定 eval 集阻止錯誤代理合併,並說明成本與閾值設定。

  3. AWS Machine Learning Blog62

    在 Amazon Bedrock AgentCore Runtime Instances 上構建多智慧體音樂製作管線

    AWS 介紹瞭如何使用 Amazon Bedrock AgentCore Runtime Instances 部署一個三智慧體協作的音樂製作管線,實現 GPU 音樂生成、音訊處理與合規篩查。文章詳細講解了容量提供者配置、共享會話的多智慧體同機協作、多日持久化儲存以及各智慧體的獨立部署流程。

    推薦理由:文章給出了基於 Amazon Bedrock AgentCore Runtime Instances 部署多智慧體音樂製作管線的具體步驟與架構設計,讀者可以據此瞭解長週期持久化與多智慧體協同的實現方式。

  4. AWS Machine Learning Blog61

    如何使用 Amazon Bedrock Knowledge Bases 以自然語言查詢理賠資料

    本文介紹瞭如何使用 Amazon Bedrock Knowledge Bases 構建具備自然語言查詢、後設資料過濾、對話記憶和上下文安全護欄的理賠助手。文章詳細給出了將 S3 中的理賠文件與後設資料同步至託管知識庫、呼叫 AgenticRetrieveStream API 處理多步問題、渲染引用以及配置防護欄的具體實現步驟與程式碼示例。

    推薦理由:文章提供了構建帶有引用和後設資料過濾的智慧檢索助手的完整程式碼與架構,讀者可以據此在實際工作流中實現可追溯的文件查詢。

9月30日週三
  1. Python Official Blog65

    CPython 記憶體快照:提升啟動速度與安全風險探討

    本篇文章概述了在 CPython 中使用記憶體快照以加速啟動的技術,並討論了相關安全風險與實作挑戰。 - 快照效能:在 Pyodide 中,使用快照啟動 Python 介面比從頭載入快約 4 倍(0.353 秒 vs 1.406 秒)。

    推薦理由:文章說明 CPython 記憶體快照可顯著提升啟動速度,並討論安全風險與實作挑戰,提供實際測試資料與可行方案,對開發者最佳化執行效率具有參考價值。

  2. openrouter blog81

    提示詞或模型變更後的 AI Agent 迴歸測試指南

    OpenRouter 發布指南介紹如何在提示詞、模型、工具定義或檢索設定變更後對 AI Agent 進行迴歸測試,確保行為符合預期合約。 - 核心方法:鎖定測試案例集,採用結構化斷言(如檢查工具呼叫與引數)而非傳統文本比對。

    推薦理由:文章詳細說明如何對 AI Agent 進行迴歸測試,幫助開發者在更換模型或修改提示詞時確保行為穩定。

  3. openrouter blog65

    如何利用生產流量建立黃金評估資料集並評測多個模型

    本文介紹如何使用真實的生產流量建立黃金評估資料集(Golden Eval Dataset),用以取代無法反映產品實際流量的公開基準測試。 - 五步驟建構流程:包含抽取生產流量、清理重複與分群、加入期望輸出與評分規準、執行首次評估修正規準、版本控管並整合至 CI。

    推薦理由:本文介紹如何以真實生產流量建立黃金評估資料集,讀者可據此評估如何將其整合至現有工作流程。

  4. openrouter blog74

    如何在 AI 智慧體中測試工具呼叫準確率

    本文介紹了評估 AI 智慧體工具呼叫準確率的三種核心方法,並提供透過 OpenRouter 跨模型進行測試的實作範例。 - 三大測試方法:包含無參考答案的 LLM 評審、確定性引數檢查(使用 JSON Schema)、以及軌跡比較。

    推薦理由:文章提供評估工具呼叫準確率的三種方法與程式碼範例,工程師可據此建立跨模型評測套件。

9月29日週二
  1. AWS Machine Learning Blog63

    Condé Nast 如何利用 Amazon Bedrock 建立多模態影片檢索

    Condé Nast 透過 Amazon Bedrock 與 OpenSearch Service 建構多模態影片檢索系統,將平均搜尋時間從 250 分鐘縮短至 2 分鐘。

    推薦理由:案例展示如何利用 Bedrock 與 OpenSearch 構建高效影片檢索,顯著降低檢索時長,具備可複製性,為媒體行業提供可落地的多模態檢索方案,節省人力成本並提升內容變現速度

  2. vLLM Official Blog86

    vLLM 分離式提供實務指南:拆分預填與解碼

    本文詳述如何在 vLLM v0.31.0 或更新版本中實作分離式推論架構,將提示詞預填(prefill)、權杖生成(decode)與 CPU 端文書處理拆分執行以提升系統 goodput。

    推薦理由:本文介紹 vLLM 拆分預填與解碼的實務架構與配置方式,讀者可評估是否透過此架構改善高併發下的長提示詞延遲。

9月26日週六
  1. GitHub Blog · AI & ML68

    GitHub Copilot 初學者教學:如何用畫布打造自訂工作流程

    GitHub Copilot 的畫布功能允許使用者以自然語言描述工作流程,系統即時生成可互動的介面,無需手動編寫或設計。\n- 畫布概念:可自訂的 UI(看板、清單、表單等),雙向同步,代理與使用者同時編輯。

    推薦理由:本文示範如何透過簡單指令建立可即時更新的工作流程畫布,對開發團隊協作效率提升具實務參考價值。

  2. AWS Machine Learning Blog65

    AWS 詳解基於 Amazon Bedrock 構建生產級大語言模型質量保障體系

    AWS 團隊詳細介紹了面向生產環境的大語言模型質量保障架構,通過自適應管道編排、跨賬戶多模型故障轉移、即時流式評估、複合評估框架以及資料準確性驗證五項技術,在 Amazon Bedrock 上實現了約 99% 的數值準確率並支援即時流式響應。文章重點闡述瞭如何通過三階段自適應處理、獨立配額空間網格、生產者消費者併發模式及兩階段級聯驗證來解決模型幻覺、API 限流和驗證延遲等工程挑戰。

    推薦理由:文章詳細拆解了五項用於保障大語言模型生產環境質量的技術實現,幫助開發者在實際業務中平衡準確率與響應延遲。

9月25日週五
  1. AWS Machine Learning Blog70

    Amazon SageMaker HyperPod 與 Qumulo 實現多區域訓練

    本文介紹瞭如何使用 Amazon SageMaker HyperPod 與 Qumulo 的 Cloud Native 解決方案,在不同 AWS 區域間進行大規模 AI 模型訓練,並給出了跨區域訓練的效能驗證結果。

    推薦理由:文章詳細說明如何使用 SageMaker HyperPod 與 Qumulo 進行跨區域訓練,並給出驗證結果,幫助讀者評估跨區域訓練的效能與成本。

  2. GitHub Engineering75

    GitHub Primer 遷移至 CSS Modules,如何通過功能標記實現漸進式效能提升

    GitHub Primer 已將元件遷移至 CSS Modules,並通過 功能標記 實現漸進式上線。 - 遷移規模:從 2023 年起逐步完成,至 2026 年已覆蓋全部元件。

    推薦理由:GitHub 透過將 Primer 轉為 CSS Modules,並以功能標記漸進式遷移,減少 55% 伺服器渲染時間,示範大規模前端效能提升方案。

  3. Trail of Bits Blog75

    不要讓 TEEs 破壞你的 MPC

    TEEs 與 MPC 的結合雖能提升安全,但若未正確驗證與防禦,仍可能被回滾攻擊與測試失效等漏洞利用。 - 安全模型:在 TEE 內執行的 MPC 可將半誠實模型提升為惡意安全,但前提是 attestation 能驗證正確實作。

    推薦理由:本文深入剖析 TEE 與 MPC 組合的安全陷阱,並提供實務防禦建議,對安全工程師設計可信系統具有指導意義。

  4. AWS Machine Learning Blog67

    WhisperX 在 SageMaker AI 上實現說話人標註轉寫

    本文介紹了 AWS WhisperX Deep Learning Container(DLC)的使用方法,演示如何在 Amazon SageMaker AI 上部署即時和非同步端點,實現詞級時間戳和說話人標籤的轉寫。

    推薦理由:本文展示瞭如何在 SageMaker 上部署 WhisperX,實現精準的詞級時間戳和說話人標籤,幫助使用者快速構建可搜尋、可稽核的音訊轉寫系統。

9月24日週四
  1. vLLM Official Blog68

    vLLM 中實作 Gumbel‑max 文字水印:不影響輸出質量與速度

    vLLM 在最新更新中加入了 Gumbel‑max 文字水印技術,並證明其不改變輸出分佈且對吞吐量影響極小。 - 核心機制:結合 Gumbel‑max 與 PRF 產生可重現噪音,保留模型抽樣分佈。

    推薦理由:本文說明如何在 vLLM 中實作 Gumbel‑max watermark,證明其不影響輸出質量與速度,對追蹤 LLM 來源的工程師具參考價值