跳到正文

部署工程

把模型跑起來的工程實踐:推理最佳化、視訊記憶體與成本、Serving 架構與基礎設施選型。

最新精選

第 1–20 條 · 共 378 條
11月22日週日
  1. Dev.to Top Tech76

    Mac mini 當伺服器:作者搬移 AI 工作後整理的 53 個教訓

    把排程工作都放在筆電上,筆電休眠、忙著開會或記憶體不足時,工作可能延後甚至漏掉。作者把工作依需求分到雲端、Mac mini 和 MacBook:只呼叫 API 的工作交給雲端,需要已登入瀏覽器或本機檔案的工作留在 Mac mini,需要麥克風或螢幕的工作留在 MacBook。搬移時也要一起處理「已寄出」等狀態,否則兩臺電腦可能重複寄信;作者還提醒,遷移助理搬過去的排程工作可能在兩臺電腦同時執行。

    推薦理由:作者用搬移 70 個排程工作的經驗,整理出依資料、登入狀態與工作型態分配執行位置的方法,也提醒搬家時要一併處理工作狀態。

  2. Dev.to Top Tech79

    MT5 Manager API 和 Web API 怎麼選?作者分享後臺實際經驗

    如果後臺要一直檢視很多交易帳戶,透過網路逐筆讀資料可能太慢,風險檢查也會錯過兩次檢查之間的變化。作者在實際平臺同時使用 MT5 Manager API 和 Web API:前者把帳戶與持倉資料留在本機,讀取只要幾毫秒,適合頻繁監控;後者透過 HTTPS 傳送指令,適合偶爾查詢或由 Linux 後臺處理操作。作者也提醒,Manager API 不適合多個執行緒同時呼叫,必須逐一保護讀取並核對帳戶編號。最後採用兩者搭配:用 Manager API 快速讀取,原本的 Web API 寫入流程則繼續使用。

    推薦理由:作者在同一套實際交易平臺比較兩種 API,說明讀取延遲如何影響風險監控,也整理了各自適合的工作情境。

  3. Dev.to Top Tech83

    AWS Lambda 不再只有一種函式,作者整理 10 項無伺服器服務變化

    AWS 的無伺服器服務更新很多,現在說「Lambda 函式」已經不一定是在說同一種東西。作者整理了 Lambda、API Gateway 和 EventBridge 的 10 項變化:Lambda 分成處理事件的 Event Functions、接收 HTTP 請求的 Web Functions,以及隔離執行使用者程式的 MicroVMs;不同型別的執行時間與計費方式也不同。例如,Event Functions 的最長執行時間提高到 30 分鐘,但 Web Functions 仍是 15 分鐘。作者也提醒,新版 EventBridge 事件匯流排和舊版在功能與收費上有差異,遷移前應依自己的流量試算成本。

    推薦理由:作者整理 Lambda、API Gateway 與 EventBridge 的多項變化,並比較不同執行方式的時間限制與計費方式,能幫助團隊盤點架構和成本。

  4. Dev.to Top Tech78

    PagedAttention 如何減少大型語言模型服務時的記憶體浪費

    大型語言模型回答問題時,會把讀過的文字留在 KV cache;如果每個請求一開始就預留一大段記憶體,很多空間會被佔著,其他請求也用不到。作者用停車位和小型互動示範,解釋 PagedAttention 如何把記憶體切成固定大小的區塊,需要時才分配,並用對照表記下區塊位置。多個請求也能共用相同提示詞的資料,只有內容要改動時才複製區塊。這能減少閒置空間,讓同一批記憶體容納更多請求;作者也提醒,區塊較大時空位會增加,太小則可能影響 GPU 平行處理。

    推薦理由:文章從 KV cache 的記憶體浪費談起,再用互動式示範比較分頁配置與連續配置,說明記憶體管理如何影響同時服務的請求數。

  5. Dev.to Top Tech76

    如何安全重送失敗的 webhook:用 Python 儲存原始請求再重新處理

    Webhook 處理程式暫時出錯時,服務商可能停止重送,讓付款或訂單事件漏進資料庫。作者建議先把收到的原始請求存進資料庫,再由背景工作處理;用服務商名稱和事件編號避免重複存入,重送時則呼叫和日常處理相同的函式。Python 指令碼預設只列出準備重送的事件,確認後才實際執行,也能限制處理速度。重送前還要確認程式能安全處理同一事件多次,避免重複寄信或重複增加金額。

    推薦理由:把原始請求、重送流程和冪等檢查串在一起,說明如何補回漏掉的 webhook 事件並降低重複處理風險。

  6. Dev.to Top Tech77

    Docker 裡的 PostgreSQL 升級到 19,哪些地方容易出問題

    把 Docker 裡的 PostgreSQL 從舊版升到 19,資料路徑和設定都可能讓資料庫無法啟動。作者親自測試後提醒,資料掛載位置要改成 /var/lib/postgresql;舊版資料仍須先用新版本工具匯出再還原,不能只改路徑。18 使用的 io_workers 已在 19 移除,升級前可用 postgres -C 搭配實際設定檢查是否有錯。作者也整理了幾項預設值變動,以及需要先處理的舊密碼和索引,讓升級前能先備份並確認資料庫可正常啟動。

    推薦理由:作者用實際升級整理出資料掛載路徑、設定檢查與備份還原等容易踩到的地方,能幫助管理者在動手前安排檢查步驟。

  7. Dev.to Top Tech76

    BabySea 開源 ledger-fortress,處理 AI 生成服務的點數結算

    AI 圖片或影片生成常要等一段時間,付款通知也可能重複、延遲或亂序,讓點數被重複發放,或工作完成後沒有正確扣款。BabySea 把可重用的點數結算做法開源為 ledger-fortress:Stripe 負責收付款,PostgreSQL 記錄可用點數和每次變動。開始生成前先預留點數,成功時確認扣款,失敗或取消時退回;資料庫也會擋下重複操作,並可找出卡住的預留紀錄交由恢復流程處理。Stripe 退款與爭議款則留在這套點數帳本之外,需另行處理。

    推薦理由:文章拆解點數預留、扣款與退款如何配合非同步生成,並說明資料庫如何處理重複和亂序事件,可作為設計類似計費流程的參考。

11月21日週六
  1. Dev.to Top Tech76

    如何管理伺服器韌體:盤點版本、監看變更並隔離 BMC

    伺服器韌體常藏在 BIOS、BMC、網路卡和硬碟控制器裡,管理者未必清楚每臺機器跑的是哪個版本。作者整理五個做法:先盤點韌體和處理器微碼,再用 TPM 記錄開機時的變化,透過 Keylime 比對紀錄;更新時固定版本、先在測試機確認,並把 BMC 放到獨立的管理網路。沒有 TPM 的機器也要記在清單裡,因為它無法記錄開機變化。這些做法不會讓封閉韌體變得透明,但能幫忙發現它何時改變。

    推薦理由:文章把容器管理的盤點、量測、遠端驗證、版本固定與隔離方法延伸到韌體,並說明各步驟能看見什麼變化。

  2. Dev.to Top Tech78

    HTTP 快取教學:用 ETag、Cache-Control 和 304 減少重複下載

    網站可能每次都重新傳送同一份檔案,也可能讓使用者在更新後還看到舊內容;HTTP 快取標頭能處理這兩種問題。作者用實際請求示範,伺服器可用 Cache-Control 說明資料能留多久,再用 ETag 判斷內容有沒有改變。內容沒變時,回傳不含本文的 304,讓瀏覽器沿用手上的副本;測試中,重驗請求沒有傳送 179,500 位元組的本文。文章也提醒,no-cache 仍允許儲存,只要求使用前先詢問伺服器;若要避免快取敏感資料,應使用 no-store。

    推薦理由:文章用實際請求比較完整下載與 304 回應,並拆解快取標頭常見錯誤,能協助開發者減少重複傳輸並避免使用者看到過期內容。

  3. Dev.to Top Tech81

    Anthropic IPO 募得約 $119.5 billion,公開發行與策略夥伴私募合計

    Anthropic 這次上市的約 $119.5 billion,並不是公司單靠賣股票拿到的現金。公開發行約帶來 $93.5 billion,其中部分是既有股東出售股票所得;另外還有向 7 家策略夥伴私募 Class N 股份,金額為 $26 billion。招股檔案估計,若加計公司出售的股份並扣除相關費用,公司可取得約 $117 billion。檔案也列出約 $900.9 billion 的多年採購與租賃承諾,大多和運算及基礎設施有關,並非今天就要付清的債務。這筆融資顯示訓練與提供前沿 AI 服務需要龐大資金,但不代表 API 會降價或服務一定改善。

    推薦理由:這筆融資同時包含公開發行與策略夥伴私募,文章也拆開說明總額、公司實際取得的資金及多年基礎設施承諾,呈現前沿 AI 的資本需求。

  4. Dev.to Top Tech79

    Linux systemd-repart 實作指南:用設定檔建立與擴充分割區

    手動替 Linux 磁碟分割區時,指令碼可能認錯磁碟,也容易在磁碟配置改變後失敗。這篇指南介紹 systemd-repart:先用設定檔寫出需要哪些分割區,再讓工具依照設定建立或擴充分割區;例如可在首次開機時替根目錄分割區增加空間,或新增固定大小的 swap 分割區。工具預設只預覽變更,也不會自行擴充分割區裡的檔案系統。它適合製作系統映像檔或整理新磁碟;遇到 MBR、需要縮小或搬動分割區時則不適用。

    推薦理由:文章用三個實作情境說明如何用設定檔建立或擴充分割區,並提醒哪些情況會動到資料,適合用來評估映像檔與新磁碟的管理方式。

  5. AWS Machine Learning Blog68

    AWS 的分散式 KV 快取技能,幫忙評估與設定 LLM 快取

    自架大型語言模型時,不同 GPU 伺服器若沒有共用對話紀錄,使用者回來接續工作時,伺服器就得重新計算,讓第一個回應變慢。AWS 介紹一項分散式 KV 快取技能,可在支援技能的程式開發 AI 助理中,先檢查工作負載是否適合,再估算快取成本、協助設定 Amazon ElastiCache,或排查傳輸問題。文章也提醒,短提示詞可能不適合用快取;是否划算要看提示詞重複情況與實際流量,釋出的 GPU 時間也只有在減少伺服器或承接更多流量時,才會轉成省下的費用。

    推薦理由:文章以四段實際操作說明技能如何先估算工作負載是否適合,再協助設定與排除故障,呈現從評估到部署的完整流程。

  6. AWS Machine Learning Blog76

    Amazon SageMaker HyperPod 推出 Slurm 叢集擴充套件,管理監控與使用者設定

    共享的 Slurm 叢集常得靠多份指令碼和設定檔管理軟體、監控資料與使用者帳號,節點增加或更換後也容易出現設定不一致。Amazon SageMaker HyperPod 推出叢集擴充套件,讓管理者透過 API 或主控臺安裝、調整和更新監控與使用者管理功能;設定送出時會先檢查,之後套用到每個節點,並回報狀態與問題。監控擴充套件可把節點、GPU 和 Slurm 工作的指標送到指定的監控服務;使用者管理擴充套件則能讓各節點維持一致的帳號與許可權。組織專用軟體仍可用自訂 AMI 或生命週期指令碼管理,每項功能應由其中一種方式負責,避免互相衝突。文章表示這些擴充套件不另收費,但使用的 AWS 服務仍照常計費。

    推薦理由:文章以共享 Slurm 叢集的維運流程說明擴充套件如何管理節點軟體,並比較它和生命週期指令碼各自適合負責的工作。

  7. Replit ⠕67

    開發一項工作時,常得自己安排規劃、建置和測試。Replit 推出 Missions,使用者先設定想達成的結果、預算和限制,再由多個 AI 助理分工處理並反覆調整;文中舉例,可以要求它協助找到第一批 10 位客戶。Replit 也更新了 Microsoft Fabric 整合、Teams 服務和 Replit Desktop 的本機工作功能。文中提到,一名早期測試者花 $35 執行一項 Mission,五天後促成 $25K 的交易。

    推薦理由:Replit Missions 讓使用者設定目標、預算與限制,再由多個 AI 助理分工規劃、建置和測試,呈現了以成果安排開發工作的做法。

  8. Replit ⠕61

    雲端 AI 助理在瀏覽器裡執行時,碰不到電腦上的本機檔案和工具。Replit Desktop 讓模型在雲端執行,程式碼則在使用者的電腦上,並透過 Microsoft Execution Containers 提供的沙盒運作。使用者可以選擇 AI 助理能存取哪些資料夾,讓它配合手邊的檔案和工具工作。

    推薦理由:Replit Desktop 把雲端模型和電腦上的程式碼分開執行,並讓使用者選擇 AI 助理能讀取哪些資料夾,呈現了本機檔案與雲端開發工具的協作方式。

  9. AWS Machine Learning Blog78

    Amazon SageMaker HyperPod 推出跨叢集與跨區域的單一推論入口

    模型服務分散在多個叢集和區域時,流量可能塞在忙碌的叢集,其他地方的 GPU 卻閒著;叢集故障時也得手動改設定。AWS 推出 Amazon SageMaker HyperPod Global Inference Gateway,讓使用者端只呼叫一個入口,服務會依 GPU 記憶體與 KV cache 餘裕、排隊情況、區域遠近和錯誤率,把請求送到合適的叢集。若叢集故障,流量會自動切換;請求透過 AWS PrivateLink 傳送,並以 SigV4 和 IAM 驗證。每個叢集原有的 Inference Gateway 仍負責把請求送到模型。這項服務已在 13 個 AWS 區域推出。

    推薦理由:這項更新把多個叢集的模型服務整合到單一入口,並說明如何依負載與錯誤狀況分配流量及自動切換,適合瞭解跨區部署的管理方式。

  10. Dev.to Top Tech78

    Clairic-Flash 如何在本機執行,以及 RTX 3090 和 4090 為何跑不動官方版本

    想在自己的電腦上用 Clairic-Flash 擷取檔案資料,可能會遇到顯示卡不合和量化版本少了功能的問題。作者整理了官方執行方式,以及 RTX 3090、4090 和 Apple Silicon 的替代路徑:官方執行環境會在 RTX 30、40 系列的顯示卡上因架構限制失敗;社群修正版可讓 3090 使用 BF16 或 int4,但測試中的發票加總與付款期限仍有錯誤。Apple Silicon 的 4-bit 版本較省記憶體,卻可能看錯數字;若要擷取重要發票欄位,作者建議選用較高精度。一般 GGUF 版本則缺少 Clairic 的部分專用功能。

    推薦理由:文章對照官方執行環境、社群量化版本與不同硬體的記憶體需求,也指出各路徑會失去哪些欄位,能幫助讀者評估本機部署是否適合自己的資料流程。

  11. Google Developers Blog71

    Google 教你安全連線 Gemini Enterprise 與內部 Cloud Run MCP 服務

    企業把內部系統接到 Gemini Enterprise 時,得避免 MCP 服務暴露在公開網路,也要確認每次呼叫來自哪個服務和使用者。Google 說明如何用 Egress Agent Gateway、Private Service Connect 和精確網域的 Private Cloud DNS,讓 Gemini Enterprise 私下連到 Cloud Run;DNS 只套用在指定的 MCP 網址,避免影響共用 VPC 裡的其他 Cloud Run 服務。文章也說明兩層驗證的分工:Cloud Run IAM 確認呼叫服務的身分,MCP 程式則檢查使用者的 OAuth 2.0 權杖。文中附有參考程式和設定步驟,並介紹如何用 Cloud Logging 確認連線狀況。

    推薦理由:文章整理 Cloud Run 內部 MCP 服務的私有連線與雙重驗證做法,也說明如何避免 DNS 設定影響共用 VPC 中的其他服務。

  12. vLLM Official Blog75

    vLLM 支援 Thinking Machines 的 Inkling 2 Mini 迴圈模型

    模型把部分中間層重複運算,會讓推論時的快取和訊息傳遞更難處理。vLLM 宣佈支援 Thinking Machines 的 Inkling 2 Mini,並在 NVIDIA Blackwell、Hopper 和 DGX Spark 上提供 Day-0 支援。Inkling 2 Mini 的 12 個核心層會對每個 token 運算三次,每次各自保留 KV cache,並讀取前一次運算傳來的訊息;模型有 26B 總引數、3.5B 啟用引數,支援最多 1M tokens 的上下文。vLLM 也支援可調整運算次數的研究檢查點,讓團隊能測試速度、記憶體用量和品質之間的取捨。

    推薦理由:Inkling 2 Mini 的迴圈層會讓每個核心層重複運算三次,vLLM 透過分開管理快取並融合訊息讀取來支援這種架構。

  13. Browser Use75

    Browser Use 拆解瀏覽器 AI 助理變慢的原因,兩項設定讓航班搜尋快 10 秒

    AI 助理搜尋航班時,等網頁載入、呼叫瀏覽器和模型回覆都可能拖慢速度;如果只看總時間,也容易把不同設定的結果混在一起。Browser Use 用 Google Flights 找蘇黎世到倫敦最便宜的 3 班單程航班,逐項檢查慢在哪裡,並把模型改用 priority、取消每次都經過住宅代理這兩項設定調整。搜尋時間從 30.7 秒降到 20.7 秒,example.com 的測試則從 10.3 秒降到 6.5 秒。作者也提醒,速度比較要確認任務正確率相同;有些看似更快的做法,會讓答對率下降。

    推薦理由:這次實測拆出代理瀏覽器搜尋變慢的多個原因,也比較兩項設定調整前後的耗時,並提醒速度比較必須維持相同的任務正確率。