跳到正文

部署工程

把模型跑起來的工程實踐:推理最佳化、視訊記憶體與成本、Serving 架構與基礎設施選型。

最新精選

第 21–40 條 · 共 378 條
11月21日週六
  1. Dev.to Top Tech82

    vLLM 推測解碼教學:EAGLE、MTP 和草稿模型何時能加速?

    大型模型逐字產生內容時,常受記憶體讀取速度限制;推測解碼會先讓較小的草稿模型猜幾個 token,再由目標模型一次檢查,留下它認可的部分。文章用公式說明接受率和草稿成本如何影響速度,並比較 vLLM 0.33.0 的 ngram、草稿模型、EAGLE、MTP 和 dflash/dspark 等方法。作者也提醒,接受率太低或同時處理的請求太多時,額外草稿可能拖慢速度;應依自己的硬體和工作量調整草稿長度與批次設定。文中引用的測試結果來自各研究與團隊,作者沒有自行測試。

    推薦理由:文章用接受率與草稿成本說明推測解碼何時能縮短生成時間,也指出批次變大時加速可能消失,提供調整設定的實用判斷方式。

  2. Together AI Official Blog73

    Together AI 開放使用 Qwen3 TTS,可調整語氣並串流生成語音

    把文字變成語音時,開發者可能希望調整說話情緒、維持熟悉的聲音,也讓語音更快開始播放。Together AI 現在提供 Qwen3 TTS,可從 9 種預設聲音中挑選,再用簡短文字改變說話方式;每種聲音都支援 10 種語言。串流時,第一段音訊最快可在 97ms 後送出,文字若還在逐步產生,也能透過 WebSocket 分段送入。服務費用是每 1M 個字元 $20;Qwen 建議使用聲音原本的語言,以取得較好的品質。

    推薦理由:文章整理了 Qwen3 TTS 在 Together AI 的語音控制與串流方式,並說明不同語言的聲音品質可能因預設聲音而異。

11月20日週五
  1. Dev.to Top Tech79

    PostgreSQL 19 升級教學:先檢查舊資料庫與 Docker 設定

    升級 PostgreSQL 19 時,舊版資料庫可能讓 Docker 容器無法啟動,有些資料庫變更還可能悄悄改變查詢結果。作者整理了升級前的檢查方式、使用 pg_upgrade 的步驟,以及從 PostgreSQL 17 或 18 升級時的 Docker 注意事項。像 json_array() 沒有回傳資料時,結果會從 NULL 改成 [],原本檢查 NULL 的程式就可能不再符合預期。文章建議先把 19 放進測試環境檢查,再決定何時升級正式環境;使用 postgres:latest 的人則可先固定舊版標籤,避免拉取新版後資料庫停擺。

    推薦理由:文章把 PostgreSQL 19 的升級步驟和可能悄悄改變查詢結果的變更放在一起,方便先檢查資料庫與 Docker 設定。

  2. DuckDB Official Blog80

    DuckDB 2.0.1 LTS 修正安全與資料問題,新增 GPU 查詢擴充功能

    DuckDB 2.0.0 有些情況會漏掉資料,也有設定可能讓外部存取沒有被擋住。DuckDB 2.0.1 LTS 修正這些問題,並修補 Linux 記憶體管理與 Brotli 解碼器相關漏洞;若暫時不能升級,Linux 使用者可設定 DUCKDB_JE_MALLOC_CONF=muzzy_decay_ms:0,降低其中一項記憶體問題的影響。這版也新增 Sirius,能在符合條件的 Linux 電腦上用 NVIDIA GPU 執行 DuckDB 查詢;第一次載入時會下載約 1 GB 的對應程式。升級前還要檢查 SECRET 許可權範圍,以及 UPDATE ... FROM 和 MERGE 的更新結果可能受到多筆符合資料影響。

    推薦理由:這次更新同時修正資料遺失與安全問題,也調整部分舊行為;文中列出升級前需檢查的設定與暫時緩解方式。

  3. PyTorch Core Releases74

    PyTorch 為 MPS 加入 segment_reduce 前向運算

    PyTorch 使用 MPS 做 segment_reduce 時,原本沒有這項運算的原生前向實作。這次更新加入加總、平均、最大值、最小值和乘積運算,支援 float32、float16 與 bfloat16;反向運算目前還未實作。在 M5 Pro 的測試中,使用 offsets 的多種資料形狀都有加速,依運算種類約為 13 到 101 倍;改用 lengths 時,共用前端每次呼叫會多出兩次主機同步,部分測試因此變慢。

    推薦理由:這次更新提供 MPS 上 segment_reduce 前向運算的實測比較,也顯示輸入方式會大幅影響速度,評估效能時可一併留意主機同步成本。

  4. iThome (臺灣)77

    AWS Aurora DSQL 開放跨洲多區域叢集,單一區域故障時仍可讀寫

    企業把資料庫放在不同洲時,常得在就近連線、故障備援和寫入速度之間取捨。AWS Aurora DSQL 現在可把不同洲的兩個 AWS 區域連成同一個資料庫,兩地的應用程式都能讀寫同一份資料,並在交易完成後看到更新。如果其中一個區域故障,另一個仍可處理讀寫;不過,跨洲同步寫入可能增加延遲,少數故障復原情況也可能短暫出現連線或交易錯誤,因此應用程式需要能重新連線並重試交易。企業選擇部署地點時,也要考量資料存放位置和法規要求。

    推薦理由:跨洲叢集讓兩地應用程式能共用強一致性資料庫,並在單一區域故障時維持讀寫;同步交易也可能因距離增加延遲。

  5. PyTorch Core Releases77

    PyTorch 修正 Inductor 長串資料寫入造成的效能問題

    PyTorch Inductor 把一長串資料寫入操作合併執行時,每個工作區塊都會讀取大量用不到的資料,拖慢了補零工作。這次修正調整了圖形最佳化方式,遇到較長的寫入鏈時,改成直接把資料寫進指定位置,避免重複讀取。在 GB300 的本機測試中,每輪工作約省下 25 毫秒;GB200 測試也觀察到每輪至少省下 44 毫秒。

    推薦理由:這項 PyTorch Inductor 修正說明,長鏈融合可能讓每個執行區塊重複讀取不需要的資料,並以實測呈現改用原地寫入後的效能差異。

  6. Dev.to Top Tech76

    多個 AI 助理為何更耗成本?文章拆解路由與交接的浪費

    多個 AI 助理分工時,每一輪可能都要重新讀過前面累積的內容,還得多花一次模型呼叫來決定下一步,讓 token 用量和等待時間一起增加。作者用五個 AI 助理處理一份報告的例子說明,路由與交接會重複讀取歷史;改用程式安排固定流程、只傳原始需求和目前結果的摘要,再限制整條任務鏈的交接次數,就能減少這些額外花費。文章也提醒,如果每個 AI 助理仍各自讀完整份報告,這部分用量不會因為調整交接方式而下降,還得另外只取工作需要的段落。

    推薦理由:文章用具體 token 帳目拆解路由與交接如何重讀相同內容,並比較四種做法對成本、延遲與資訊保留的影響。

  7. AWS Machine Learning Blog71

    Amazon SageMaker Inference 回顧 2026 年後續 14 項更新

    模型上線後,團隊還得處理延遲變高、GPU 沒用滿、流量塞在單一區域等問題。這篇文章整理 Amazon SageMaker Inference 後續推出的 14 項更新,涵蓋效能建議、LoRA adapter 調校、GPU 分割、多節點模型服務、跨區域流量分配和持續監控。例如,跨區域路由能把請求送到其他已登記的端點,並限制哪些區域可以處理流量;原有端點也能用少量額外機器分批更新模型,再重複使用既有機器。文章透過一個客服 AI 助理團隊的假想案例,說明這些工具如何協助團隊管理模型上線後的工作。

    推薦理由:文章依照模型上線後常見的營運難題,整理 SageMaker Inference 的更新如何協助團隊調校效能、共用 GPU 資源並跨區域分流。

  8. Rohan Paul72

    Uber 工程師使用 Claude Code 時,即使模型支援 100 萬個 token,工作階段也會在 400K 個 token 時被壓縮。從 2 月到 8 月,每週 AI 助理請求量增加到原來的 9.4 倍,每週活躍使用者增加到 7 倍,但整體 AI 支出自 4 月以來大致持平。Uber 也讓 AI 助理透過命令列工具連到中央 MCP 閘道,避免一開始就載入 100 多種工具的說明,因為這些說明會先佔用 50K 到 70K 個 token。文中提到每千次請求的成本比高峰時低近 34%,每個工作階段的成本比 6 月高峰時低 52%,但沒有說明任何單一預設設定省下多少。

    推薦理由:Uber 的案例呈現 AI 程式工具用量大增、總支出仍大致持平的情況,也說明工具描述佔用上下文時,團隊如何改用集中式 MCP 閘道。

  9. Together AI Official Blog65

    Tencent Hy4 登上 Together AI,可讀圖片並用來寫瀏覽器遊戲

    想讓 AI 助理看懂圖表,還能照著要求做出簡單遊戲,可以試試 Tencent Hy4。Together AI 現在提供這個模型的雲端服務,可用文字和圖片輸入,也支援工具呼叫與 JSON 輸出。文章測試它讀取圖表數字並重畫成 HTML,也讓它用單一提示詞寫出瀏覽器遊戲;作者實際開啟遊戲,確認能玩到結束並重新開始。Together AI 列出的價格是每 1M 輸入 token $0.83、輸出 token $2.50,快取輸入 token $0.042。

    推薦理由:文章用讀取圖表、重畫圖表和製作瀏覽器遊戲的實測,呈現 Hy4 在 Together AI 上的圖文輸入與程式生成表現,並列出使用價格。

  10. Databricks Blog75

    PostgreSQL 19 已在 Lakebase 上線

    資料庫升級常要等託管服務跟上,還得處理查詢變慢、資料表膨脹或讀取副本落後等問題。Databricks 宣佈 PostgreSQL 19 已可在 Lakebase 使用,並介紹這版新增的實用功能:例如整理資料表時,大多數過程仍可讓讀寫繼續;讀取副本也能等到指定的資料更新後再回應,減少剛寫入卻讀不到的情況。升級前應先測試自己的工作負載,並確認依賴的擴充套件已支援 PostgreSQL 19;新版本也調整了部分預設值。

    推薦理由:PostgreSQL 19 把資料表整理、查詢計畫調整和副本讀取同步等工具納入核心,文章也說明瞭升級前要留意的限制與相容性變更。

  11. AWS Machine Learning Blog74

    Amazon Bedrock AgentCore 讓 AI 助理透過 AWS 帳單購買 Marketplace 產品

    AI 助理要使用付費搜尋或其他線上服務,開發者過去得先處理付款方式和 API 金鑰。Amazon Bedrock AgentCore payments 現在可讓 AI 助理透過 AWS 帳單,按次購買 AWS Marketplace 上支援 x402 的軟體、API、資料和內容;開發者也能設定每次工作可花的金額和核準賣家。文中示範的研究助理會先搜尋並挑選工具,收到價格報價後確認預算,再付款取得搜尋結果;交易會記錄在 AWS CloudTrail 和 AWS Cost Explorer。

    推薦理由:這項更新把 AWS Marketplace 的付費流程接進 AI 助理工作流程,文章也示範如何用支出上限、核准賣家與交易紀錄管理採購。

  12. Together AI Official Blog74

    Together AI 推出免費資料快取工具,讓 GPU 叢集更快讀取資料

    GPU 叢集如果每次都要從遠端下載模型或資料集,運算工作就得等資料到齊,還可能遇上費用和流量限制。Together AI 推出 Together Storage Accelerator(TSA),會把首次讀取的資料放在叢集節點的 NVMe 儲存裝置中,之後由叢集內的快取供其他節點讀取,原有程式也不必改寫。官方在 H100 節點測試,從 Cloudflare R2 讀取 2 GiB 資料,快取後約需 0.6–0.7 秒;200 臺節點下載同一份 70 GB 檢查點,來源只需傳送一次。TSA 現已免費提供給 Together GPU Cluster,實際速度會依資料來源和網路路徑而不同。

    推薦理由:實測比較冷資料與快取讀取速度,也呈現多臺 GPU 共用同一份檢查點時,快取如何減少重複下載與資料傳輸。

  13. Together AI65

    GPU 叢集從雲端物件儲存讀取資料時,下載速度可能拖慢工作。Together AI 推出免費的儲存加速器,會把 S3 相容儲存空間和 Hugging Face 的資料快取到叢集的 NVMe。每個叢集只需從來源下載一次,之後暖讀取速度最高可達 3.4 GB/s,約比跨雲端下載快 20 倍;原文也表示不用修改程式碼。

    推薦理由:原文提供了暖讀取速度與跨雲端下載的比較,可用來瞭解快取對 GPU 叢集讀取資料速度的影響。

  14. Rohan Paul67

    一般網站的服務常假設工作幾秒內就會完成,但 AI 助理可能要跑上好幾個小時、等人回覆,也可能做到一半出錯。Kong 推出雲端平臺 Volcano,讓開發者用 Claude Code、Cursor 或 Codex 建立 AI 助理,並直接部署;平臺已備有資料庫、登入、儲存空間、沙盒和長時間工作流程。另一項功能 LavaFlow 會檢視正在運作的網站和程式碼,找出出錯原因,再透過 GitHub 提交修補建議,讓開發者可以直接檢視修改內容。

    推薦理由:一般網站常假設每次工作很快就會結束,Volcano 把長時間執行、等待人工回覆與中途失敗的情況納入部署環境,LavaFlow 還能提出修補程式。

  15. LMSYS Org Blog74

    Ant International 團隊如何加速 DeepSeek-V4.1-Flash 在 H20-3e 上的推論

    DeepSeek-V4.1-Flash 在 H20-3e 上處理長提示時,等待第一個回答的時間佔了很大一部分。Ant International 團隊調整分開處理提示與生成回答的部署方式,也改進了多個運算步驟;在 8 張 GPU 的測試中,平均完成時間從 13.63 秒降到 4.70 秒,每秒輸出量從 847 個 token 增至 2,465 個。團隊也測試了 4 張 GPU 同機處理的配置,平均完成時間從 18.62 秒降到 7.96 秒。這些結果顯示,不同部署方式的速度和吞吐量各有差異,適合用來比較實際工作負載下的取捨。

    推薦理由:這組測試比較 DeepSeek-V4.1-Flash 在 H20-3e 上的分拆與同機部署,呈現延遲和吞吐量如何隨配置改變。

  16. AWS Machine Learning Blog64

    Amazon SageMaker AI 開始監控推論端點,找出延遲上升與閒置 GPU

    AI 推論端點上線時調好的設定,可能會因流量和模型改變而不再合適,讓回應變慢或 GPU 閒置。Amazon SageMaker AI 現在會自動檢視端點的延遲、GPU 使用情況和服務設定,找出延遲變高、容量沒用滿,或可用但尚未開啟的效能改善;它不會讀取請求或回應內容。收到通知後,團隊可以在 SageMaker Studio 用實際流量測試其他設定,比較回應時間、吞吐量和每百萬個 token 的費用。測試在另一組運算資源上進行,端點不會自行變更,團隊確認結果後才決定是否套用。

    推薦理由:端點的流量和模型需求會隨時間改變,這項功能用實際流量測試替代方案,協助團隊比較速度、吞吐量與費用,再自行決定是否調整。

  17. NVIDIA Blog71

    NVIDIA 與 Microsoft 擴大 AI 運算,從 Azure 延伸到 Windows 電腦

    企業想把 AI 用在工作上,得先決定模型要放在哪裡、如何配合自家資料。NVIDIA 和 Microsoft 擴大合作,讓企業能在 Azure 使用 NVIDIA Vera Rubin NVL72 系統,也能透過 Microsoft Foundry 調整 NVIDIA Nemotron 開放模型,再部署到雲端或企業自己的裝置。EY 用這種方式調整模型來分類採購紀錄,在自己的評估資料上準確率提高 55%,成本比專有前沿模型低 15 倍。合作也把 AI 部署選項延伸到 Azure Local、工業用邊緣裝置和 Windows 電腦,讓企業能依資料位置與工作需求選擇執行方式。

    推薦理由:NVIDIA 與 Microsoft 把雲端、企業內部和個人電腦的 AI 部署選項串在一起,也展示企業如何用自家資料調整開放模型。

  18. AWS Machine Learning Blog60

    AWS 與 Accenture 教你分階段降低 Amazon Bedrock 的 AI 成本

    企業使用 AI 越多,帳單可能越高,就算每個 token 變便宜也一樣。AWS 和 Accenture 建議先用標籤看出各團隊、工作和 AI 助理花了多少錢,再依序調整提示詞快取、批次處理、模型路由、資料檢索、語意快取或模型蒸餾。四個客戶案例中,token 花費約減少 40% 到 85%;有些案例同時改了好幾項,因此無法把省下的費用歸給單一做法。文章也提醒,調整時要逐項測量成本、回答品質和商業價值,品質變差時才能及時回復。

    推薦理由:文章把成本歸因、分階段調整與品質治理串成實作順序,並以四個企業案例呈現不同做法的花費變化。