跳到正文

#部署/工程

RSS
今日 54 則
11月20日週五
  1. Dev.to Top Tech46

    用 Azure AI Gateway 替 Microsoft Foundry 設定費用上限的教學

    試用 Microsoft Foundry 時,模型部署可能沒有花費上限,也很難在不改程式碼的情況下管住費用。這篇教學示範用 Azure AI Gateway 在模型前面設下 token 用量和費用限制;每個名稱對應的模型超過上限時,Gateway 會先擋下請求,避免它繼續增加帳單。舉例來說,每分鐘可限制 1,000 個 token,每天的費用上限可設為 $2。 Azure AI Gateway 也能讓應用程式透過固定入口呼叫模型,並在多個模型之間切換或於模型故障時改走其他模型。它目前仍是公開預覽版,而且不會過濾提示詞或遮掉個人資料;如果需要這類保護,文章建議搭配 Azure AI Content Safety。

  2. Dev.to Top Tech51

    Helm 如何整理 AI 部署設定,並快速回復舊版本

    開發、測試和正式環境的部署設定如果靠人手複製,很容易各自改成不同版本。這篇教學用 Helm 把 Kubernetes 設定整理成套件,再用不同的設定檔調整各環境的差異,例如副本數量。套用前可以先預覽產生的設定;每次安裝或更新也會留下版本,出問題時能用一個指令回到舊版,讓部署更容易檢查和重做。

  3. Dev.to Top Tech43

    用 Raspberry Pi 架設 Icecast 電臺,讓串流斷電後也能自動恢復

    想用家裡的 Raspberry Pi 開網路電臺,常碰到的麻煩是家用上傳速度不夠、記憶卡一直寫入容易壞,或停電後串流沒有自動恢復。這份指南說明如何安裝 Icecast,讓 Liquidsoap 等音訊來源把音樂送到電臺,再從路由器開放連線給聽眾;也建議把預設密碼 hackme 換掉,並讓來源程式在網路恢復後自動重啟。 Raspberry Pi 4 通常能用 128 kbps 音質服務幾百名聽眾,但家用網路的上傳速度往往先碰到上限。把資料改存 USB SSD、讓來源程式在開機後自動連線,能減少記憶卡耗損,也讓停電後的空播只持續幾秒。聽眾變多或家中網路不穩時,可以把串流轉到 VPS,讓聽眾連 VPS 收聽。

  4. AWS Machine Learning Blog64

    Amazon SageMaker AI 開始監控推論端點,找出延遲上升與閒置 GPU

    AI 推論端點上線時調好的設定,可能會因流量和模型改變而不再合適,讓回應變慢或 GPU 閒置。Amazon SageMaker AI 現在會自動檢視端點的延遲、GPU 使用情況和服務設定,找出延遲變高、容量沒用滿,或可用但尚未開啟的效能改善;它不會讀取請求或回應內容。收到通知後,團隊可以在 SageMaker Studio 用實際流量測試其他設定,比較回應時間、吞吐量和每百萬個 token 的費用。測試在另一組運算資源上進行,端點不會自行變更,團隊確認結果後才決定是否套用。

    推薦理由:端點的流量和模型需求會隨時間改變,這項功能用實際流量測試替代方案,協助團隊比較速度、吞吐量與費用,再自行決定是否調整。

  5. Dev.to Top Tech66

    如何找出系統裡的單一故障點,避免一個環節拖垮整個服務

    系統明明有多臺應用程式伺服器,還是可能因為一臺資料庫故障而整個停擺;這種一個環節出問題就讓服務中斷的情況,稱為單一故障點。文章用可用率計算說明,請求要經過的環節越多,整體可用率越低;多放幾份副本也不一定有用,因為它們可能共用電力、設定或同一個地區,一起故障。作者整理了資料庫、DNS、部署設定、第三方服務和人員知識等容易漏看的風險,並建議把副本分散到不同故障範圍、逐步推出變更、替非必要功能準備替代方案,最後實際測試故障轉移。

  6. Dev.to Top Tech64

    作者用 Go 從頭打造 OpenStreetMap 路線規劃工具,實測三種找路演算法

    地圖能很快找到路線,背後其實要先把街道資料整理成能搜尋的形式。作者用 Go 從頭做出一套教學專案,讀取 OpenStreetMap 地圖資料,再用 Dijkstra、A 和 contraction hierarchies 計算汽車路線,並讓三種演算法互相比對結果。在奧蘭市的測試中,Dijkstra 平均查詢 46.8 ms,A 是 73.3 ms,contraction hierarchies 是 0.40 ms;後者要先花 10.1 秒整理地圖。測試也顯示,A* 找訪較少路口,這次卻比較慢。這套工具適合學習找路演算法,作者提醒,實際用途應改用成熟的路線服務。

  7. Dev.to Top Tech65

    Celery 工作為什麼在 Redis 上重複執行?作者分享排查與修正方法

    用 Celery 和 Redis 排程長時間工作時,工作可能還在執行,卻被佇列當成失聯而再交給另一個工作程式。作者發現,Celery 預設等待 3600 秒就會重送未確認的工作;開啟延後確認後,長工作會遇到這個問題,預先取走、還沒開始的工作也可能中招。作者的工作流程有 1,380 個工作,其中 214 個至少執行兩次,重複工作約用了總輸入 token 的 11%。他把等待時間調成 12 小時、將預先取件數設為 1,並加入防止同一工作同時執行的檢查;接下來 1,302 個工作沒有出現重疊執行。代價是工作程式真的故障時,重試可能得等更久。

  8. Modal Engineering Blog50

    Abundant 如何用 Modal Sandboxes 打造省成本的 AI 助理訓練環境

    訓練 AI 助理時,每次測試都要準備任務、運算資源和檢查答案的工具;如果環境一直開著卻沒在做事,也會白白花錢。Abundant 用 Modal Sandboxes 建立這些測試環境,讓 AI 助理挑戰工作,再由檢查工具判斷有沒有完成。團隊把監看程式放在測試環境裡,每 30 秒回報狀況;運算需求忽高忽低時,環境也能按需要增加資源。Abundant 已建立超過 75,000 次測試,每月執行超過 200 萬個 Sandboxes。這套做法減少了閒置資源的花費,讓團隊能把時間用在設計更可靠的任務和答案檢查方式。

  9. Dev.to Top Tech69

    Node.js SaaS 如何用 Cron 和佇列安排提醒並避免重複寄送

    SaaS 提醒要在對的時間找到該通知的帳戶,也要處理 email、簡訊或推播可能失敗、重試後重複寄送的問題。作者建議讓 Cron 負責找出到期提醒,再把小型工作交給佇列和工作程式寄送;提醒日期儲存在應用程式的資料庫,工作程式則用固定識別碼記錄寄送狀態。距離寄送期限不超過 7 天時,可安排單一延後工作;更久或日期會變動的提醒,則定期重新查詢。即使佇列會重試,寄送端仍要防止同一則提醒被送出多次;若寄送服務不支援冪等識別碼,仍可能出現重複通知。

  10. Dev.to Top Tech43

    AI 寫程式讓程式品質不再是優勢了嗎?

    過去,程式寫得好,系統比較穩,也能用較小的團隊快速做事;程式欠下太多「技術債」,公司就得花更多人力收拾。作者曾獨自維護一家航空公司的整套系統將近 20 年,後來發現 Opus 5.5 比他用過的其他 AI 模型更能理解程式原本的做法,開始相信 AI 助理也許能在亂糟糟的程式裡做出新功能,減少公司補救舊程式的成本。 但 AI 還是會犯危險的錯,沒有檢查工具和完整測試,可能讓程式更難懂、漏洞更多。作者認為,程式品質或許不再能讓公司特別佔優勢,卻仍是減少錯誤的關鍵;與其只追求寫出更多程式碼,不如用 AI 一步步整理系統,並確保人看得懂、查得到問題。

  11. Dev.to Top Tech49

    如何用小型 SaaS 指標 API 查出結帳失敗的成本

    結帳失敗時,只看圖表上的紅色數字,很難知道是哪個步驟出問題、花了多少錢。文章用一組假的結帳紀錄示範:先把付款、資格檢查等步驟分開記,再去掉重複紀錄,並把還沒完成的交易標成「待確認」,不能當成免費。例子整理後有 5 筆不同操作,其中 1 筆仍待確認;已完成的操作花了 6,200 微美元,失敗操作佔 4,400 微美元。這些數字是測試用的假資料,不是實際價格。文章提醒,小型 SaaS 可以用簡單的 HTTP 推送 API 收集指標,但圖表不能取代原始紀錄,也不能單靠指標確認款項已入帳或算出損失的營收。

  12. Dev.to Top Tech57

    如何用 Ollama 和 Open WebUI 在辦公室架設私人 ChatGPT

    員工把客戶信件和合約貼到線上 AI 服務,可能讓檔案離開公司。作者分享一種辦法:用一臺有合適顯示卡或記憶體的電腦跑 Ollama,再用 Docker 架設 Open WebUI,讓同事透過辦公室網路聊天;關閉公開註冊後,只有受邀的人能使用。這種方式適合整理長信、改寫回覆和從檔案找資料,但遇到複雜推理、硬體較弱時處理很長的檔案,或需要網路最新資訊,就不太適合。

  13. Dev.to Top Tech46

    如何用 dbt、MotherDuck 和自動化 CI/CD 打造每月 $0 的現代資料平臺,不必使用 AWS

    小團隊想整理和分析資料,常被雲端費用和維護工作卡住。作者把 MotherDuck、dbt、GitHub Actions 和 Streamlit Community Cloud 串在一起:Python 先收集公開的加密貨幣市場資料,dbt 再清理、整理並檢查資料,GitHub Actions 每次程式更新時都會自動執行流程,也會每 12 小時更新一次,最後由 Streamlit 顯示圖表和資料表。比如資料檢查發現價格空白或風險分類不在預期選項內,流程就會停下來,避免錯誤資料跑進儀錶板。作者表示,這套做法的雲端費用是每月 $0,也不必自行管理 AWS 基礎設施。

  14. NVIDIA Blog71

    NVIDIA 與 Microsoft 擴大 AI 運算,從 Azure 延伸到 Windows 電腦

    企業想把 AI 用在工作上,得先決定模型要放在哪裡、如何配合自家資料。NVIDIA 和 Microsoft 擴大合作,讓企業能在 Azure 使用 NVIDIA Vera Rubin NVL72 系統,也能透過 Microsoft Foundry 調整 NVIDIA Nemotron 開放模型,再部署到雲端或企業自己的裝置。EY 用這種方式調整模型來分類採購紀錄,在自己的評估資料上準確率提高 55%,成本比專有前沿模型低 15 倍。合作也把 AI 部署選項延伸到 Azure Local、工業用邊緣裝置和 Windows 電腦,讓企業能依資料位置與工作需求選擇執行方式。

    推薦理由:NVIDIA 與 Microsoft 把雲端、企業內部和個人電腦的 AI 部署選項串在一起,也展示企業如何用自家資料調整開放模型。

  15. Dev.to Top Tech74

    教你把 FastAPI App 裝進 Docker,並將映像檔縮小八倍以上

    程式在自己的電腦能跑,搬到伺服器卻可能因為 Python 版本或缺少套件而出錯。作者用一個簡單的 FastAPI 記事 API 示範如何寫 Dockerfile、建置映像檔並啟動容器,再改用較精簡的基礎映像檔和兩階段建置,把映像檔從 1.65 GB 縮到 198 MB。文章也示範用非 root 帳號執行、加入健康檢查和掃描已知漏洞;掃描仍發現套件問題,因此映像檔變小不代表漏洞都已解決。

  16. Dev.to Top Tech65

    Proxmox 備份怎麼測,確認虛擬機器真的能還原

    備份工作顯示成功,只能代表檔案有寫進去,不能保證裡面的虛擬機器還原後能開機並持續運作。文章示範把備份還原成新的虛擬機器或容器,使用新的識別碼,並在第一次開機前拔掉網路連線,避免測試副本和正式主機互相干擾。開機後要等幾分鐘再檢查一次;如果途中當機,還是算還原失敗。確認完成後就刪除測試副本,也可以輪流測試不同主機,避免只檢查同一份備份。

  17. Dev.to Top Tech49

    比價網站如何辨認不同商店賣的是同一項商品?

    同一臺氣炸鍋在不同商店可能有不同名稱、照片和價格;如果比價網站把不同容量或不同款式當成同一臺,就可能把價格比錯。Savlume 會先比對商品條碼和製造商型號;資料不齊時,再看品牌、商品種類和關鍵規格。像是 6 誇脫和 8 誇脫的氣炸鍋不能混在一起,附食譜的組合包、整新品也要和單賣新品分開。遇到資料不足或型號太像的商品,系統會交給人判斷。辨認錯商品,價格再準也會變成假的優惠。

  18. 🚨 AI News | TestingCatalog61

    製作 AI 應用時,開發者得準備上線所需的服務,也要處理正式運作後的錯誤。Kong 推出 Volcano 雲端平臺,使用者可以用 Claude Code、Cursor 或 Codex 製作應用,再發布到平臺上;平臺也內建資料庫和登入功能。若已上線的應用出現錯誤,Volcano 可以找出問題並準備修正,讓使用者檢查、核准後再套用;建置遇到當機時,AI 助理也能從備份接手。

  19. Lobste.rs (Engineering Discussion)43

    Mercurius 讓圖形工作階段能暫停後接著用,也能從其他電腦繼續

    換電腦或中途有事離開時,工作常得重頭整理。Mercurius 讓程式和視窗跟著工作階段走:你可以先暫停寫程式,切去玩遊戲,之後再回來,視窗會留在原本的位置;也能從網路上的另一臺電腦接著做。它在同一臺電腦上不必連網也能使用,連上網路則可借用效能更強的工作站。這讓人能繼續用自己的環境和檔案,也讓組織可以集中購買幾臺配備強大 GPU 的工作站,供開發者共用。

  20. Dev.to Top Tech57

    作者分享 2026 年如何依用途規劃 homelab 硬體

    自己架 homelab 時,硬體如果買錯順序,日後補網路分割槽或備份會更費工,也可能讓資料和服務一起受影響。作者依照用途整理規劃步驟,建議先準備運算主機、可設定 VLAN 的路由器和備份硬碟,再考慮 NAS、備援 DNS、供電與散熱。他也分享自家裝置遇到的問題,例如 USB-2 讓外接硬碟備份變慢,供電不足則會造成主機不穩。入門不需要整套機櫃,一臺迷你電腦、路由器和備份硬碟就能開始。

  21. Dev.to Top Tech65

    Open WebUI 的環境變數為何沒生效?作者分享設定排查方法

    在 Open WebUI 裡改了環境變數,登入表單卻還是照常出現,可能是資料庫裡的舊設定蓋過了新值。作者在 Open WebUI v0.10.2 遇到這個問題:設定 ENABLE_LOGIN_FORM=false 後,表單仍然開著,因為 ENABLE_PERSISTENT_CONFIG 預設為 true,已有的資料庫設定會優先使用。把這個開關設為 false 後,介面設定改由環境變數決定;但管理頁面改過的設定只會留到 Pod 重啟。作者也建議比對 Pod 環境和 /api/config,並先確認只靠外部登入服務的影響。

  22. Dev.to Top Tech73

    作者示範如何在 k3s 部署 Tailscale 路由器,並設定子網路路由與出口節點

    想從手機或筆電連回家中伺服器,或讓外出時的網路流量經過家裡,設定方式和影響範圍並不相同。作者在 k3s 執行 Tailscale,讓裝置透過子網路路由連到伺服器網段,也能選擇出口節點,讓網路流量改走家中連線;他把路由範圍縮小到 10.0.20.0/24,避免把其他 VLAN 一併開放。文章也分享一個容易踩到的問題:出口節點會同時公告 IPv4 和 IPv6 路由,但作者的叢集沒有 IPv6 對外連線,因此手機使用出口節點時可能變慢或卡住。文中整理了許可權設定、檢查路由狀態和排查方向。

  23. Dev.to Top Tech57

    候選人搜尋怎麼在向量搜尋或重新排序故障時繼續回傳結果

    候選人搜尋如果等向量搜尋或重新排序服務太久,使用者可能只看到空白頁。作者分享一種分階段做法:先用詞彙搜尋找出候選人,再視剩餘時間加入向量搜尋和重新排序;某個階段逾時,就沿用已有的結果。文中的測試把整體時間限制設為 250 毫秒,向量搜尋與重新排序各有自己的時限。系統也記錄實際使用哪條搜尋路徑和逾時原因,並建議把重試放到背景工作。詞彙搜尋不一定能理解縮寫或不同語言的同義詞,因此還要用實際查詢檢查搜尋品質與速度。

  24. hackernews10046

    Linux 記憶體不夠用?試試壓縮 RAM,先別急著買更多

    AI 讓電腦常要同時處理更多工作,記憶體一下就不夠;但加裝 RAM 可能很貴,也不一定裝得上。作者改用 zram,把資料壓縮後放進記憶體,讓有限的 RAM 塞進更多內容。作者在 32GB 記憶體的電腦上用 Firefox 開了大量網站,結果有 5.7G 資料只用了 1.7G RAM,壓縮約 3.35 倍。這會多用一點 CPU,也可能讓部分工作稍微變慢,但能讓電腦和雲端主機多撐一陣子;不過,有些 Linux 系統預設沒有開啟這項功能。

  25. AWS Machine Learning Blog60

    AWS 與 Accenture 教你分階段降低 Amazon Bedrock 的 AI 成本

    企業使用 AI 越多,帳單可能越高,就算每個 token 變便宜也一樣。AWS 和 Accenture 建議先用標籤看出各團隊、工作和 AI 助理花了多少錢,再依序調整提示詞快取、批次處理、模型路由、資料檢索、語意快取或模型蒸餾。四個客戶案例中,token 花費約減少 40% 到 85%;有些案例同時改了好幾項,因此無法把省下的費用歸給單一做法。文章也提醒,調整時要逐項測量成本、回答品質和商業價值,品質變差時才能及時回復。

    推薦理由:文章把成本歸因、分階段調整與品質治理串成實作順序,並以四個企業案例呈現不同做法的花費變化。

  26. Dev.to Top Tech37

    SaaS 私人檔案怎麼存?用短效下載連結保護資料,並先想好出錯時怎麼復原

    SaaS 存使用者檔案時,要避免檔案被別的租戶看到,也要防止上傳失敗後重試,結果多出好幾份。做法是把檔案放在私人儲存空間,資料庫記好檔案屬於哪個租戶,再確認身分後,才給瀏覽器一個會過期的下載連結。上傳時用固定的檔案識別資料重試,就算工作程式中途停止,也比較不會重複建立檔案;像 500 MB 的影片或 PDF,也不必先繞過自家伺服器。 文中建議先測試「上傳到一半出錯」的情況:重試後確認資料庫只有一筆紀錄、儲存空間只有一個檔案,過期的連結也不能再下載。不過 Infrai 沒有檔案版本備份、不可變更的儲存功能或跨區複製;若需要這些能力,或要讓瀏覽器從不同網站直接上傳,S3 等專門的儲存服務可能更合適。

  27. Dev.to Top Tech35

    潮汐預測 App 怎麼重做?先確保潮汐高度和時間算對

    潮汐 App 看起來只是查地點和日期,但真正難的是算對潮汐時間與高度。潮汐高度是根據各測站公佈的資料在裝置上計算;如果參考的海平面基準或測站時區弄錯,App 還是會很有把握地顯示錯誤答案。像是手機顯示潮高 1.4 公尺,卻沒說這是高於哪一種基準,這個數字就不夠完整。 海邊常常沒有網路,所以潮汐資料和先前查過的結果也要能離線使用。重做 App 時,應先確認新舊版本在不同測站和日期算出的結果一致,再逐步重做畫面。這也提醒我們:只要程式會算出數字,就得確認單位、參考基準和時區都正確。

  28. Dev.to Top Tech61

    如何用 Node.js 為旅遊行程 RAG 設定三階段檢索延遲預算

    旅遊規劃工具如果每份資料都做昂貴的語意搜尋,回覆就可能變慢。作者分享一套 Node.js 檢索流程,先用文字條件快速篩選,再找出一批候選資料、重新排序,最後整理成模型能讀的內容;整體目標是把檢索的 p95 延遲控制在 300 ms,這是設計預算,不是效能測試結果。若時間快用完,程式會提早回傳已有的候選資料,避免整個請求逾時。作者也建議共用一個整體截止時間、限制同時查詢的資料分割槽,並檢查資料新舊,避免把過期的旅遊政策當成最新資訊。

  29. Lobste.rs (Engineering Discussion)62

    OpenRun 1.0 正式推出,讓團隊用 Docker 或 Kubernetes 部署內部工具

    團隊部署內部工具時,常得另外處理登入、許可權和稽核,也要維護一堆部署設定。OpenRun 1.0 是一套開源、自架的平臺,能用 Docker 或 Kubernetes 部署網頁應用和內部工具,並用設定檔管理新增、修改和刪除。團隊可設定 OIDC 或 SAML 登入,以及不同角色能使用哪些應用;單機部署可用 SQLite,多節點 Kubernetes 部署則用 PostgreSQL。作者表示,1.x 版的核心設定格式、CLI 指令和 API 會維持向下相容。

    推薦理由:OpenRun 把內部工具部署、登入許可權與稽核放進同一套宣告式流程,適合瞭解團隊如何管理不同環境中的工具。

  30. DogeDesigner54

    加拿大偏遠地區要連上網路,法院和政府服務也需要穩定連線。這則貼文轉述一份報告,整理 Starlink 在當地的用途:魁北克用它連線偏遠法院,努納福特用它滿足部分寬頻需求,其他偏遠地區也用於重要服務。加拿大聯邦 Starlink 合約金額從約 C$2.3 million 增至 C$28.9 million;共享服務部截至 2026 年 9 月 30 日已支付 SpaceX C$15.7 million(未含稅),合約也可能延長。這些例子呈現 Starlink 在偏遠地區政府服務中的使用情況。

  31. Dev.to Top Tech73

    Vercel AI Gateway 虛擬模型怎麼安全切換供應商

    把模型路由改在控制台管理,雖然不用重新部署程式,也可能在沒經過程式碼檢查和測試時改變正式環境的回答方式。作者建議先把虛擬模型 ID 集中管理,每次記下實際回答的模型,並明確列出哪些錯誤可以改用備援模型,例如逾時或供應商故障;格式錯誤和政策拒答則不該悄悄改走其他模型。切換路由前後,也要用固定案例比較虛擬模型和保留的指定模型,方便發現問題並回復設定。

  32. Dev.to Top Tech35

    微服務如何用 Apache Kafka 讓資料近乎即時同步

    不同服務各自儲存資料時,常會發生一邊已經更新,另一邊還在顯示舊資料的情況。文章用 Apache Kafka 說明一種做法:資料有變動時,負責的服務會送出一則事件,其他有需要的服務收到後,再更新自己的資料或採取動作。像是使用者改了電子郵件,EmailService 收到通知後,就能知道新地址並模擬寄送通知。這樣各服務不必直接互相查詢,也比較容易分開開發;不過,收到重複事件時仍要避免重複處理。

  33. Dev.to Top Tech38

    從零打造微服務監控平臺:一步步看見服務狀況、找出問題

    網路商店的訂單會經過好幾個服務,途中如果付款變慢、容器一直重開,或網站開始出錯,光看顧客收到的結果,很難知道問題卡在哪裡。作者實作一套微服務監控平臺,把 Prometheus、Grafana、Loki 和 Tempo 等工具接在一起:檢視數字表現、搜尋程式留下的紀錄,也能追蹤一筆請求經過哪些服務,並設定問題通知和處理手冊。以訂單付款為例,工程師可以沿著請求流程查出延遲發生的位置。這讓服務出狀況時更容易找到原因並及早處理。

  34. Dev.to Top Tech37

    Cloudflare 如何保護 Linux 伺服器與 Laravel 應用程式,減少 DDoS 和 SQL Injection 攻擊

    網站遇到大量假流量,或有人用 SQL Injection 嘗試偷看資料,都可能讓伺服器忙不過來。這篇文章分享一套 Cloudflare 和 Linux 防火牆的設定方式:先讓網站流量經過 Cloudflare,並把伺服器的 80、443 埠設成只接受 Cloudflare 的連線;再用 WAF 擋可疑攻擊,並限制登入頁和 API 在一段時間內能收到的請求數。例如,對登入路徑設下請求限制,可以減少暴力嘗試密碼和大量灌流量的影響,讓 Laravel 和 MySQL 應用程式更穩定。

  35. Google Developers Blog80

    Google 說明 MaxText 如何用 Streaming DiLoCo 跨資料中心訓練大型語言模型

    大型語言模型分散到不同資料中心訓練時,網路速度慢會讓裝置停下來等資料同步。Google 在 MaxText 加入 Streaming DiLoCo,把模型切成多個部分,分批傳送引數更新,讓訓練和傳輸能同時進行。以 Qwen3-32B 為例,在 10 Gbit/s 網路下,每步訓練約 5.76 秒;一般資料平行訓練約 55.11 秒,原本的 DiLoCo 則約 7.55 秒。文章也提到,這種做法在測試中維持了模型訓練品質,並提供 MaxText 的設定方式。

    推薦理由:文章以 Qwen3-32B 在不同網路頻寬下的實測,比較三種訓練方式的耗時,呈現引數分批同步如何減少跨資料中心網路壅塞。

  36. Dev.to Top Tech72

    Node.js 和 Postgres 如何安全清理逾時的預約

    預約時間到了,如果清理工作重複執行或中途失敗,可能讓資料狀態不一致,或讓預約一直被佔用。作者示範用每分鐘觸發的排程搭配 Postgres 交易,一次鎖定並更新最多 200 筆逾時預約;重跑時只會處理仍符合條件的資料。若工作需要分開重試或處理時間較長,再用佇列傳送批次,並在執行後重新確認資料狀態。文章也提醒,通知其他系統應和釋放預約分開處理,避免下游服務暫時故障時延長使用者的預約時間。

  37. Dev.to Top Tech53

    跨雲端訓練前先做網路檢查,避免 GPU 空等

    跨雲端訓練時,資料讀取、工作者互傳資料或儲存檢查點只要太慢,GPU 就可能空等,費用仍持續累積。作者建議在分配 GPU 前,先用接近正式工作的方式測試三條路:多個工作者同時讀取資料、實際工作者之間互傳資料,以及把檢查點寫到真正使用的儲存位置;也要確認工作會用到的連線和服務限制。每項檢查都先訂好門檻,沒達標就先暫停工作,再考慮搬動工作位置、把資料複製到附近,或減少工作者數量。這些檢查應每次啟動工作時執行,避免用昂貴的 GPU 等待網路。

  38. Dev.to Top Tech46

    如何比較 4 種延遲佇列,讓流量暴增後也能穩定恢復

    遊戲流量突然暴增時,佇列可以先把工作排好,但真正的麻煩是下游服務一次只能處理有限數量,工作可能來不及在期限內完成。文章比較 QStash、Amazon SQS、Google Cloud Tasks 和 Redis 佇列,提醒團隊要看「照目前速度清空工作要多久」,並在工作執行時限制速度、留意失敗重試。 例如,一場活動產生 180,000 個工作,而庫存服務每秒最多處理 50 次,至少要花 1 小時才能做完。佇列訊息可能重送,所以更新排行榜或發獎時,要用固定的工作編號避免重複處理。選哪種佇列,應看工作者怎麼連線、服務能承受多快,以及工作是否需要重播;監控清空時間,也比只看排隊數量更能及早發現問題。

  39. AWS Machine Learning Blog58

    PolyAI Dialog-RSN-1 登上 Amazon SageMaker JumpStart,可部署到自己的 AWS 帳戶

    處理即時客服電話時,模型要聽懂來電者的話,也得及時回答。PolyAI 的 Dialog-RSN-1 現在可透過 AWS Marketplace 或 Amazon SageMaker JumpStart 部署到自己的 AWS 帳戶,直接聽取電話音訊並即時回應,不必先轉成文字再交給另一個模型處理。部署後,通話音訊和逐字稿留在使用者控制的環境中;團隊也能依需求選擇偏重回應速度、處理量、成本或平衡的設定檔。模型目前只支援英文,連線最長為 30 分鐘。

  40. AWS Machine Learning Blog80

    Amazon SageMaker AI 推出跨區域推論路由,區域容量不足時自動轉送請求

    某個 AWS 區域的 GPU 容量不夠時,模型請求可能逾時,即使其他區域還有空間也用不上。Amazon SageMaker AI 推出跨區域推論路由,讓應用程式透過同一個入口呼叫已經部署在不同區域或帳號的端點;本地端點狀況不佳時,路由器會把新請求送到其他可用端點,恢復後再逐步切回。端點擁有者也能設定跨區流量上限,避免外地請求擠壓本地服務。這項功能不支援串流回應,路由器本身不另收費,端點和 CloudWatch 指標仍依標準費率計費。

    推薦理由:SageMaker AI 會依端點健康狀態把新請求轉往其他區域,並在恢復後逐步切回;文中也說明重試條件與跨區流量上限。