跳到正文

部署工程

把模型跑起來的工程實踐:推理最佳化、視訊記憶體與成本、Serving 架構與基礎設施選型。

最新精選

第 221–240 條 · 共 378 條
11月10日週二
  1. Dev.to Top Tech76

    MySQL 如何辨別索引未被使用的三種原因

    Kazu 說明如何辨別 MySQL 未使用索引的三種原因,並利用 EXPLAIN、SHOW WARNINGS 與慢查詢紀錄判斷問題所在。 - 三種原因:在欄位上套用函式、比較欄位與未加引號的數字,以及 JOIN 欄位的字元集不同。

    推薦理由:文章以 EXPLAIN 的 possible_keys 與警告 1739 區分三種索引失效原因,並對照各自的修正方式,提供可直接用於慢查詢診斷的步驟。

  2. Lobste.rs (Engineering Discussion)60

    如何用 Astro 與 Typst 在建置時產生 Open Graph 圖片

    Astro 結合 Typst,可在網站建置時依文章標題產生 Open Graph 分享圖片,並透過動態路由提供 PNG 檔案。 - 產生流程:Astro 從 Content Collection 取得文章 ID 與標題,呼叫 Typst 編譯範本,再以 image/png 回傳圖片。

    推薦理由:文章示範如何串接 Astro 的建置流程與 Typst 範本,依文章標題產生 Open Graph 圖片,並用內容雜湊處理快取更新。

  3. Dev.to Top Tech77

    定價服務擴至 12 個 Pod,最初的 4 個仍承接所有請求

    定價服務擴至 12 個 Pod 後,結帳延遲仍持續攀升,因為長連線讓請求留在最初連線的 4 個 Pod 上。 - 原因:kube-proxy 在 TCP 連線建立時選擇後端;gRPC 使用長時間維持的 HTTP/2 連線,而 Go 使用者端預設的 pick_first 會持續使用同一連線。

    推薦理由:這次擴容案例拆解了 gRPC 長連線、`pick_first` 與 Kubernetes 連線分流的互動,並整理出讓新增 Pod 加入流量輪替的配置做法。

  4. Dev.to Top Tech79

    GitHub 以 Ref-CAS 重建 Git 儲存架構

    GitHub 發布 Project Rubicon 儲存架構,將 Git 物件存入 Azure Blob Storage,並以複寫式 Ref-CAS 管理參照更新;內部測試達到單一儲存庫 5,000 個並行 Agent、每秒 7,200 次 push。

    推薦理由:文章拆解 GitHub 如何將不可變物件與參照狀態分開儲存,並說明寫入協調、讀取檢查及背景壓縮各自承擔的成本。

  5. AWS What's New72

    Amazon OpenSearch Service 可先驗證新版本,再切換或回復舊版

    升級搜尋服務時,團隊可能擔心新版本出問題,影響正在使用的工作。Amazon OpenSearch Service 現在會把資料複製到執行新版本的另一個叢集,原本的叢集則繼續處理工作。團隊可以對新舊叢集執行相同的搜尋,並用 Amazon CloudWatch 指標比較表現;確認合適後再切換,若發現問題,也能在切換前取消,或在保留期限內回復舊版。這項功能適用於 OpenSearch 1.1 以上版本或 Elasticsearch 7.10 的網域,但部分 AWS 區域除外。

    推薦理由:基於克隆的升級讓團隊能在正式切換前,用相同搜尋查詢和 CloudWatch 指標比較新舊版本,降低升級時判斷新版本是否合用的難度。

  6. Lobste.rs (Engineering Discussion)77

    Tabernetes 在瀏覽器分頁中執行 Kubernetes v1.37 控制平面

    Tabernetes 將 Kubernetes v1.37 控制平面編譯為 WebAssembly,讓整個控制平面在瀏覽器分頁中執行,並可連線真實節點組成叢集。

    推薦理由:Tabernetes 將上游 Kubernetes 控制平面編譯為 WebAssembly,並以瀏覽器分頁作為節點,展示了叢集管理與 GPU 推論在瀏覽器中的整合方式。

  7. vLLM63

    vLLM 匯入 LibTorch Stable ABI 後,新的 PyTorch 版本不再強制要求重建 vLLM。 使用者可更早升級,發行者需要重建的次數減少,開發者則可在不重新編譯 vLLM 的情況下測試 PyTorch 變更。 遷移說明:https://t.co/bRhb5zK8Ez

    推薦理由:LibTorch Stable ABI 改變 PyTorch 與 vLLM 的升級和建置關係,文中列出使用者、發行者與開發者各自可減少的重建或重編譯負擔。

  8. Dev.to Top Tech78

    取樣層如何影響追蹤與評測資料的解讀

    追蹤與評測數字只描述特定方式抽出的樣本;若忽略抽樣時點與未涵蓋的物件,結果可能無法回答團隊真正關心的問題。 - 追蹤取樣:Head-based sampling 在請求開始時決定是否保留,無法辨識之後才變慢的請求;tail-based sampling 在完整追蹤結束後決定,可保留錯誤與超過門檻的請求,但需要緩衝記憶體與 Collector。

    推薦理由:文章把取樣偏差連結到追蹤、評測與調查,並整理出標示分母、抽樣方式、缺漏物件與樣本數的做法,協助團隊判讀資料適用範圍。

  9. Lobste.rs (Engineering Discussion)61

    OpenBenches.org 作者示範用 B6 蜜罐封鎖爬蟲

    作者以 B6 在 OpenBenches.org 設定蜜罐,封鎖造訪陷阱頁面的 IP;他表示,網站流量因此減少超過 80%。 - 實作方式:在 robots.txt 將蜜罐路徑列為 Disallow,並在每頁加入隱藏連結;訪客觸發蜜罐後,程式將 IP 寫入 .htaccess 封鎖規則。

    推薦理由:B6 將 robots.txt 蜜罐與 .htaccess 封鎖串成簡單流程,也揭示誤封、IP 輪替與規則累積等維運代價。

  10. AWS What's New68

    AWS Glue 新增 100 款 SaaS 原生連接器,方便匯入應用程式資料

    要把 SaaS 應用程式的資料匯進 AWS,以前常得自己寫程式。AWS Glue 現在新增 100 款原生連接器,使用者可在 AWS Glue Data Catalog 建立連線,並在不同 ETL 工作中重複使用,沿用 AWS Glue 原本的許可權設定。連接器涵蓋財務、人資、工程等工具,資料可載入 Amazon S3 或 Amazon Redshift,用來分析和製作報表。這些連接器已在所有 AWS 商業區域提供,適用於 Glue 5.0 及更新版本。

    推薦理由:新增連接器涵蓋多種 SaaS 服務,並可在 ETL 工作中重複使用,有助於瞭解整合企業資料的做法。

  11. AWS Machine Learning Blog65

    AWS 提出 Amazon Bedrock AgentCore 七層可組合企業AI 助理參考架構

    AWS提出 Pluggable Agentic AI Framework,以七層可組合參考架構協助多AI 助理應用從原型走向正式環境,涵蓋資料與知識、模型與推論、編排、安全防護、應用、可觀測性及AI 助理營運。

    推薦理由:文章以七層參考架構拆解多AI 助理從原型走向正式環境的設計,並用零售客服實作呈現各層如何協作與替換。

  12. Dev.to Top Tech77

    Postgres 如何在不中斷服務下遷移 50 億列資料表

    作者以 Postgres 實測說明,即使 ALTER TABLE 只需 3 ms,若被長交易卡住,後續查詢仍可能排隊等待;文章整理了遷移大型資料表以降低停機風險的分步做法。

    推薦理由:文章以鎖等待實測說明短暫的 ALTER 如何排隊阻塞查詢,並整理大型資料表遷移中控制鎖、分批迴填與驗證的做法。

  13. Meta Engineering76

    Meta 擴充 LLDB,以單一偵錯工作階段除錯跨 CPU 與 GPU 的應用程式

    Meta 建立 lldb-server 加速器外掛架構,讓 LLDB 在同一個偵錯工作階段中協調分別表示 CPU 與 GPU 的兩個 target。架構保留兩者各自的架構、執行緒、暫存器與記憶體空間,並由硬體專屬後端連線裝置偵錯 API。

    推薦理由:文章說明如何以兩個獨立 LLDB target 表示 CPU 與 GPU,並透過 lldb-server 外掛協調偵錯,呈現跨硬體共用偵錯流程的設計取捨。

  14. LMSYS Org Blog69

    DeepSeek-V4.1-Flash 如何在 H200 上加快分離式 Prefill 與 Decode

    處理長提示詞時,DeepSeek-V4.1-Flash 的 Prefill 會排隊,等待時間也拉長。Ant International AI Infra Team 在 8 張 H200 上用 SGLang 分開處理提示詞和逐字生成,並調整索引器計分、Prefill 分塊與 MoE 資料傳送,也讓有限重播能搭配 CP 和 DSpark。合併設定的 8 個測試案例中,E2E 延遲降低約 15%–64%,但每個輸出 token 的時間增加 3%–52%;GSM8K 準確率則從 96.74% 降到 95.38%。文章提醒,整體結果包含多項改動,不能把改善歸功於單一調整;有限重播也會省略部分區域性運算,可能影響答案品質。

    推薦理由:文中把各項加速分開測量,也列出合併設定的延遲與 GSM8K 變化,呈現輸入處理變快和逐字生成變慢之間的取捨。

11月9日週一
  1. Dev.to Top Tech77

    叫車系統設計教學:如何用 SLO、錯誤預算與容量估算決定架構

    本文示範如何先把「快速、可靠」轉成可量測的需求,再據此選擇叫車系統的儲存、一致性模型與節點數。 - SLO 與錯誤預算:以 SLI、測量位置、目標和時間視窗定義服務水準;例如 99.9% 的 30 天預訂可用性,容許 43.2 分鐘或 30,000 次失敗預訂。

    推薦理由:文章以叫車系統示範如何把需求轉成 SLO、容量與儲存決策,並標示假設,讓估算過程可逐項調整。