跳到正文

教學與實務

拿來就能用的實操內容:提示詞技巧、工作流搭建、工具用法與踩坑經驗。

最新精選

第 501–520 條 · 共 557 條
10月3日週六
  1. AWS Machine Learning Blog73

    Amazon Quick 與 Adjudicated Query 模式掃描數千份租約以符合合規要求

    Amazon Quick 與 Adjudicated Query 模式可讓合規團隊在數千份租約中進行可驗證且可防禦的掃描。 - 核心概念:Adjudicated Query 將自然語言查詢對映到固定操作,確保決策由 deterministic rules engine 做出。

    推薦理由:此文章示範如何使用 Amazon Quick 搭配規則引擎,實現可驗證的租約合規掃描,對於需要完整性與可防禦性的合規團隊具有參考價值。

10月2日週五
  1. ElevenLabs Official Blog75

    如何在 Eleven v4 AI 語音合成中加入停頓

    Eleven v4 透過 Audio Tags 讓指令碼中加入停頓變得簡單,提升語音合成的自然度與情感表現。 - Audio Tags:以 [pause]、[long pause]、[whispers] 等文字指令取代 SSML,直接寫入指令碼即可。

    推薦理由:本文說明 Eleven v4 透過 Audio Tags 精準控制停頓,提升語音合成自然度,對音訊製作人極具參考價值,亦可應用於廣告與配音領域。

  2. AWS Machine Learning Blog75

    使用 Amazon Bedrock AgentCore 建置 Ambient Agent:從事件驅動訊號到人機互動工作流程

    本文詳細說明如何使用 Amazon Bedrock AgentCore 與 LangChain 建置具備人機互動的 Ambient Agent,並示範從 S3 事件觸發到工作流程執行的完整流程。

    推薦理由:此文章提供了完整的端到端實現細節,幫助工程師快速搭建具備人機互動的 ambient agent,並示範如何結合 Bedrock 與 LangChain。

  3. AWS Machine Learning Blog72

    利用 AWS 上的情境多臂賽局提升獲客漏斗轉換率

    本文說明如何在 AWS 上使用情境多臂賽局,提升獲客漏斗轉換率,並提供完整程式碼與架構示例。 - 核心成效:在七週 A/B 測試中,部分客群最終漏斗轉換率提升高單位數字,另一客群無提升。

    推薦理由:本文說明如何在 AWS 上運用情境多臂賽局提升轉換率,並提供完整程式碼與架構示例,適合想落實個性化推廣的工程師。

10月1日週四
  1. openrouter blog72

    代理模型成本與品質折衷框架

    代理模型成本與品質折衷框架 介紹一套三步驟流程,協助使用者根據任務品質門檻與實際成本,挑選最具成本效益的模型。 - 品質門檻設定:先決定任務對準確度的最低需求,低於門檻即使便宜亦不合格。

    推薦理由:此框架幫助工程師用實際成本與質量分數挑選最具成本效益的代理模型,避免因排行榜高分而付高價,並可隨時重新評估模型與價格變動。

9月30日週三
  1. openrouter blog81

    提示詞或模型變更後的 AI Agent 迴歸測試指南

    OpenRouter 發布指南介紹如何在提示詞、模型、工具定義或檢索設定變更後對 AI Agent 進行迴歸測試,確保行為符合預期合約。 - 核心方法:鎖定測試案例集,採用結構化斷言(如檢查工具呼叫與引數)而非傳統文本比對。

    推薦理由:文章詳細說明如何對 AI Agent 進行迴歸測試,幫助開發者在更換模型或修改提示詞時確保行為穩定。

  2. openrouter blog74

    如何在 AI 助理中測試工具呼叫準確率

    本文介紹了評估 AI 助理工具呼叫準確率的三種核心方法,並提供透過 OpenRouter 跨模型進行測試的實作範例。 - 三大測試方法:包含無參考答案的 LLM 評審、確定性引數檢查(使用 JSON Schema)、以及軌跡比較。

    推薦理由:文章提供評估工具呼叫準確率的三種方法與程式碼範例,工程師可據此建立跨模型評測套件。

9月29日週二
  1. vLLM Official Blog86

    vLLM 分離式提供實務指南:拆分預填與解碼

    本文詳述如何在 vLLM v0.31.0 或更新版本中實作分離式推論架構,將提示詞預填(prefill)、權杖生成(decode)與 CPU 端文書處理拆分執行以提升系統 goodput。

    推薦理由:本文介紹 vLLM 拆分預填與解碼的實務架構與配置方式,讀者可評估是否透過此架構改善高併發下的長提示詞延遲。

9月26日週六
9月25日週五
  1. GitHub Engineering75

    GitHub Primer 遷移至 CSS Modules,如何通過功能標記實現漸進式效能提升

    GitHub Primer 已將元件遷移至 CSS Modules,並通過 功能標記 實現漸進式上線。 - 遷移規模:從 2023 年起逐步完成,至 2026 年已覆蓋全部元件。

    推薦理由:GitHub 透過將 Primer 轉為 CSS Modules,並以功能標記漸進式遷移,減少 55% 伺服器渲染時間,示範大規模前端效能提升方案。

  2. Trail of Bits Blog75

    不要讓 TEEs 破壞你的 MPC

    TEEs 與 MPC 的結合雖能提升安全,但若未正確驗證與防禦,仍可能被回滾攻擊與測試失效等漏洞利用。 - 安全模型:在 TEE 內執行的 MPC 可將半誠實模型提升為惡意安全,但前提是 attestation 能驗證正確實作。

    推薦理由:本文深入剖析 TEE 與 MPC 組合的安全陷阱,並提供實務防禦建議,對安全工程師設計可信系統具有指導意義。

  3. LMSYS Org Blog61

    SGLang 如何加速 AI 助理的選項評分

    AI 助理要從多個動作中選一個時,系統可以先替每個選項打分,但重複處理相同背景會拖慢速度。這篇文章介紹 SGLang 的 Score API,讓程式明確要求 Yes 或 No 等標籤分數,也說明 MIS 如何在評估多個選項時共用相同背景。測試中,選項從 2 個增加到 16 個時,MIS 在部分模型上的延遲增加不多,但不同模型和負載下結果不一。文章也提醒,部署前要在預定流量下檢視實際處理量和較慢請求的延遲。

    推薦理由:文章比較 SGLang 在不同評分方式下的延遲表現,並提醒負載升高時要同時檢視實際吞吐量與尾端延遲。

9月24日週四
  1. The Go Blog86

    Go 1.26/1.27 推出跨平臺 SIMD API,助力高效向量運算

    Go 1.26/1.27 內建實驗性 SIMD API,讓開發者可在 amd64、arm64、wasm 等平臺寫出近 ASM 速度的向量程式。 - 功能範圍:支援 AVX、AVX2、AVX512(amd64)、NEON(arm64)與 wasm SIMD 指令,並提供跨平臺的 simd 包,缺失功能會以效能最佳化的軟體模擬。

    推薦理由:Go 1.26/1.27 的 SIMD API 讓跨平臺向量運算更易寫,讀者可直接套用於效能關鍵程式碼。

9月21日週一
  1. vLLM Official Blog78

    vLLM 上 Qwen3.8‑2.4T 的 PD 服務最佳化

    vLLM 在 GB300 NVL72 叢集上針對 Qwen3.8‑2.4T 進行 PD 服務,實現每 GPU 5,000 個總 token 吞吐量以及每使用者 180 個生成 token 的低延遲表現。

    推薦理由:本篇詳盡說明如何在 vLLM 上針對 Qwen3.8-2.4T 進行 PD 服務調優,並提供可執行的 srt-slurm 配方,讓讀者能直接套用於其他模型。

9月19日週六
9月16日週三
  1. The Go Blog74

    Go 1.27 專用大小記憶體分配:80 bytes 以內分配提升 20‑30%

    Go 1.27 專用大小記憶體分配功能,針對 80 bytes 以內的分配可提升 20‑30%,使重複分配程式可提升約 1%。 - 核心最佳化:使用「span class」分配,將 1‑80 bytes 分為 7 個大小類別,並為每個類別產生專用 mallocgc 變體。

    推薦理由:Go 1.27 透過大小專用分配,針對 80 bytes 以內的分配可提升 20‑30%,使重複分配程式可提升 1%,為開發者帶來可觀的效能改善。

9月15日週二