跳到正文

#教學/實務

RSS
今日 0 則
10月1日週四
  1. openrouter blog53

    模型升級路由的信心閾值設定

    本文說明如何利用模型自報的信心值來動態路由請求,平衡成本與準確度。 - 信心分數:模型以 0~1 的數值回傳,供程式判斷。 - 設定閾值:以自身流量測試錯誤率,選取錯誤率急升的分數作為閾值。

  2. openrouter blog72

    代理模型成本與品質折衷框架

    代理模型成本與品質折衷框架 介紹一套三步驟流程,協助使用者根據任務品質門檻與實際成本,挑選最具成本效益的模型。 - 品質門檻設定:先決定任務對準確度的最低需求,低於門檻即使便宜亦不合格。

    推薦理由:此框架幫助工程師用實際成本與質量分數挑選最具成本效益的代理模型,避免因排行榜高分而付高價,並可隨時重新評估模型與價格變動。

  3. AWS Machine Learning Blog61

    如何使用 Amazon Bedrock Knowledge Bases 以自然語言查詢理賠資料

    本文介紹瞭如何使用 Amazon Bedrock Knowledge Bases 構建具備自然語言查詢、後設資料過濾、對話記憶和上下文安全護欄的理賠助手。文章詳細給出了將 S3 中的理賠文件與後設資料同步至託管知識庫、呼叫 AgenticRetrieveStream API 處理多步問題、渲染引用以及配置防護欄的具體實現步驟與程式碼示例。

9月30日週三
  1. AWS Machine Learning Blog54

    使用 Amazon Nova Act 實現合成監控

    本文介紹瞭如何使用 Amazon Nova Act 和 Amazon Bedrock AgentCore 實現基於AI 助理的合成監控,通過自然語言動作替代脆弱的 DOM 選擇器來驗證關鍵使用者流程。文章闡述了架構設計、部署流程以及如何結合 Amazon EventBridge Scheduler 與 Amazon SNS 進行告警。

  2. AWS Machine Learning Blog47

    如何在 SageMaker AI 上使用 vLLM-Omni 生成影像和影片(第二部分)

    本文介紹瞭如何在 Amazon SageMaker AI 上使用 vLLM-Omni Deep Learning Container 部署 FLUX.2-klein-4B 即時影像生成端點與 Wan2.1-VACE-1.3B 非同步影片生成端點。工作流通過傳送文本提示詞生成靜態影像,隨後將其作為條件輸入並結合運動提示詞傳輸至影片端點,最終從 Amazon S3 獲取生成的 MP4 影片。

  3. openrouter blog81

    提示詞或模型變更後的 AI Agent 迴歸測試指南

    OpenRouter 發布指南介紹如何在提示詞、模型、工具定義或檢索設定變更後對 AI Agent 進行迴歸測試,確保行為符合預期合約。 - 核心方法:鎖定測試案例集,採用結構化斷言(如檢查工具呼叫與引數)而非傳統文本比對。

    推薦理由:文章詳細說明如何對 AI Agent 進行迴歸測試,幫助開發者在更換模型或修改提示詞時確保行為穩定。

  4. openrouter blog74

    如何在 AI 助理中測試工具呼叫準確率

    本文介紹了評估 AI 助理工具呼叫準確率的三種核心方法,並提供透過 OpenRouter 跨模型進行測試的實作範例。 - 三大測試方法:包含無參考答案的 LLM 評審、確定性引數檢查(使用 JSON Schema)、以及軌跡比較。

    推薦理由:文章提供評估工具呼叫準確率的三種方法與程式碼範例,工程師可據此建立跨模型評測套件。

  5. AWS Machine Learning Blog24

    Amazon Quick 的提示詞工程基礎指南

    Amazon Quick 平臺的提示詞工程通過明確具體性、提供業務背景以及採用示例教學等核心原則,幫助使用者獲得更高質量的 AI 響應結果。該方法通過減少反覆除錯並實現複雜工作流程的自動化,從而提升團隊在各種 AI 功能上的協作效率。文章作為系列的第一部分,詳細介紹了適用於所有 Quick 元件的通用原理與結構化框架。

  6. AWS Machine Learning Blog42

    如何用 Amazon Quick 和 Amazon Bedrock AgentCore 構建 AI 驅動的合同智慧平臺

    AWS 介紹了一種結合 AI 助理、多模型驗證與嵌入式分析的合同智慧平臺架構,可解決傳統 RAG 無法處理的大規模合同跨文件聚合查詢難題。該平臺利用 Amazon S3 儲存合同 PDF,通過 Claude Sonnet 提取欄位、Claude Haiku 驗證結果,並以 Amazon Aurora PostgreSQL 儲存結構化資料,實現秒級處理與精準問答。

9月29日週二
  1. vLLM Official Blog86

    vLLM 分離式提供實務指南:拆分預填與解碼

    本文詳述如何在 vLLM v0.31.0 或更新版本中實作分離式推論架構,將提示詞預填(prefill)、權杖生成(decode)與 CPU 端文書處理拆分執行以提升系統 goodput。

    推薦理由:本文介紹 vLLM 拆分預填與解碼的實務架構與配置方式,讀者可評估是否透過此架構改善高併發下的長提示詞延遲。

9月26日週六
  1. AWS Machine Learning Blog65

    AWS 詳解基於 Amazon Bedrock 構建生產級大語言模型質量保障體系

    AWS 團隊詳細介紹了面向生產環境的大語言模型質量保障架構,通過自適應管道編排、跨賬戶多模型故障轉移、即時流式評估、複合評估框架以及資料準確性驗證五項技術,在 Amazon Bedrock 上實現了約 99% 的數值準確率並支援即時流式響應。文章重點闡述瞭如何通過三階段自適應處理、獨立配額空間網格、生產者消費者併發模式及兩階段級聯驗證來解決模型幻覺、API 限流和驗證延遲等工程挑戰。

  2. AWS Machine Learning Blog49

    如何在 Amazon SageMaker AI 上部署 Qwen3-TTS 實現即時個性化語音克隆

    阿里雲千問團隊開發的 Qwen3-TTS-12Hz-1.7B-Base 語音模型現已上線 Amazon SageMaker JumpStart,支援通過託管的即時推理端點實現語音克隆與流式生成。該模型僅需數秒的使用者音訊片段與文本,即可在保持說話人聲音特徵的同時跨語言合成目標語音,並允許使用者在 AWS 環境中控制成本與資料安全。

9月25日週五
  1. GitHub Engineering75

    GitHub Primer 遷移至 CSS Modules,如何通過功能標記實現漸進式效能提升

    GitHub Primer 已將元件遷移至 CSS Modules,並通過 功能標記 實現漸進式上線。 - 遷移規模:從 2023 年起逐步完成,至 2026 年已覆蓋全部元件。

    推薦理由:GitHub 透過將 Primer 轉為 CSS Modules,並以功能標記漸進式遷移,減少 55% 伺服器渲染時間,示範大規模前端效能提升方案。

  2. Trail of Bits Blog75

    不要讓 TEEs 破壞你的 MPC

    TEEs 與 MPC 的結合雖能提升安全,但若未正確驗證與防禦,仍可能被回滾攻擊與測試失效等漏洞利用。 - 安全模型:在 TEE 內執行的 MPC 可將半誠實模型提升為惡意安全,但前提是 attestation 能驗證正確實作。

    推薦理由:本文深入剖析 TEE 與 MPC 組合的安全陷阱,並提供實務防禦建議,對安全工程師設計可信系統具有指導意義。

  3. LMSYS Org Blog61

    SGLang 如何加速 AI 助理的選項評分

    AI 助理要從多個動作中選一個時,系統可以先替每個選項打分,但重複處理相同背景會拖慢速度。這篇文章介紹 SGLang 的 Score API,讓程式明確要求 Yes 或 No 等標籤分數,也說明 MIS 如何在評估多個選項時共用相同背景。測試中,選項從 2 個增加到 16 個時,MIS 在部分模型上的延遲增加不多,但不同模型和負載下結果不一。文章也提醒,部署前要在預定流量下檢視實際處理量和較慢請求的延遲。

    推薦理由:文章比較 SGLang 在不同評分方式下的延遲表現,並提醒負載升高時要同時檢視實際吞吐量與尾端延遲。

9月24日週四
  1. The Go Blog86

    Go 1.26/1.27 推出跨平臺 SIMD API,助力高效向量運算

    Go 1.26/1.27 內建實驗性 SIMD API,讓開發者可在 amd64、arm64、wasm 等平臺寫出近 ASM 速度的向量程式。 - 功能範圍:支援 AVX、AVX2、AVX512(amd64)、NEON(arm64)與 wasm SIMD 指令,並提供跨平臺的 simd 包,缺失功能會以效能最佳化的軟體模擬。

    推薦理由:Go 1.26/1.27 的 SIMD API 讓跨平臺向量運算更易寫,讀者可直接套用於效能關鍵程式碼。

9月23日週三
9月21日週一
  1. openrouter blog64

    Jev 是什麼?TypeSafe 決策模型為開發者解說

    Jev 是 TypeSafe 推出的決策模型,透過輸入文字與已預先定義的問題,回傳一個已限定選項、分數或是布林值,並附上校準機率與信心分數。 - 核心特性:三種答案形態——Choice(選項)、Score(分級)與 Noul(布林),均以 0~1 的機率分佈回傳,無文字生成,避免幻覺。

  2. vLLM Official Blog78

    vLLM 上 Qwen3.8‑2.4T 的 PD 服務最佳化

    vLLM 在 GB300 NVL72 叢集上針對 Qwen3.8‑2.4T 進行 PD 服務,實現每 GPU 5,000 個總 token 吞吐量以及每使用者 180 個生成 token 的低延遲表現。

    推薦理由:本篇詳盡說明如何在 vLLM 上針對 Qwen3.8-2.4T 進行 PD 服務調優,並提供可執行的 srt-slurm 配方,讓讀者能直接套用於其他模型。