跳到正文

#部署/工程

RSS
今日 0 則
11月20日週五
  1. Databricks Blog75

    PostgreSQL 19 已在 Lakebase 上線

    資料庫升級常要等託管服務跟上,還得處理查詢變慢、資料表膨脹或讀取副本落後等問題。Databricks 宣佈 PostgreSQL 19 已可在 Lakebase 使用,並介紹這版新增的實用功能:例如整理資料表時,大多數過程仍可讓讀寫繼續;讀取副本也能等到指定的資料更新後再回應,減少剛寫入卻讀不到的情況。升級前應先測試自己的工作負載,並確認依賴的擴充套件已支援 PostgreSQL 19;新版本也調整了部分預設值。

    推薦理由:PostgreSQL 19 把資料表整理、查詢計畫調整和副本讀取同步等工具納入核心,文章也說明瞭升級前要留意的限制與相容性變更。

  2. AWS Machine Learning Blog74

    Amazon Bedrock AgentCore 讓 AI 助理透過 AWS 帳單購買 Marketplace 產品

    AI 助理要使用付費搜尋或其他線上服務,開發者過去得先處理付款方式和 API 金鑰。Amazon Bedrock AgentCore payments 現在可讓 AI 助理透過 AWS 帳單,按次購買 AWS Marketplace 上支援 x402 的軟體、API、資料和內容;開發者也能設定每次工作可花的金額和核準賣家。文中示範的研究助理會先搜尋並挑選工具,收到價格報價後確認預算,再付款取得搜尋結果;交易會記錄在 AWS CloudTrail 和 AWS Cost Explorer。

    推薦理由:這項更新把 AWS Marketplace 的付費流程接進 AI 助理工作流程,文章也示範如何用支出上限、核准賣家與交易紀錄管理採購。

  3. Together AI Official Blog74

    Together AI 推出免費資料快取工具,讓 GPU 叢集更快讀取資料

    GPU 叢集如果每次都要從遠端下載模型或資料集,運算工作就得等資料到齊,還可能遇上費用和流量限制。Together AI 推出 Together Storage Accelerator(TSA),會把首次讀取的資料放在叢集節點的 NVMe 儲存裝置中,之後由叢集內的快取供其他節點讀取,原有程式也不必改寫。官方在 H100 節點測試,從 Cloudflare R2 讀取 2 GiB 資料,快取後約需 0.6–0.7 秒;200 臺節點下載同一份 70 GB 檢查點,來源只需傳送一次。TSA 現已免費提供給 Together GPU Cluster,實際速度會依資料來源和網路路徑而不同。

    推薦理由:實測比較冷資料與快取讀取速度,也呈現多臺 GPU 共用同一份檢查點時,快取如何減少重複下載與資料傳輸。

  4. Together AI65

    GPU 叢集從雲端物件儲存讀取資料時,下載速度可能拖慢工作。Together AI 推出免費的儲存加速器,會把 S3 相容儲存空間和 Hugging Face 的資料快取到叢集的 NVMe。每個叢集只需從來源下載一次,之後暖讀取速度最高可達 3.4 GB/s,約比跨雲端下載快 20 倍;原文也表示不用修改程式碼。

    推薦理由:原文提供了暖讀取速度與跨雲端下載的比較,可用來瞭解快取對 GPU 叢集讀取資料速度的影響。

  5. AWS Machine Learning Blog56

    BMW Group 如何管理數百個 AI 助理,讓上千名工程師一起開發

    數百個 AI 助理由不同團隊開發時,許可權、安全和品質標準很容易各做各的。BMW Group 分享一套管理方式:先把 AI 助理拆成可重複使用的工具、技能和工作流程,再用中央登入表讓團隊查詢、審核並避免重複開發。每次部署前,系統會檢查許可權、安全設定和測試結果;上線後也會追蹤品質變化,必要時交由人員調查。團隊仍能自行試作,但共同的檢查流程會在 AI 助理進入正式環境前把關。

  6. LMSYS Org Blog74

    Ant International 團隊如何加速 DeepSeek-V4.1-Flash 在 H20-3e 上的推論

    DeepSeek-V4.1-Flash 在 H20-3e 上處理長提示時,等待第一個回答的時間佔了很大一部分。Ant International 團隊調整分開處理提示與生成回答的部署方式,也改進了多個運算步驟;在 8 張 GPU 的測試中,平均完成時間從 13.63 秒降到 4.70 秒,每秒輸出量從 847 個 token 增至 2,465 個。團隊也測試了 4 張 GPU 同機處理的配置,平均完成時間從 18.62 秒降到 7.96 秒。這些結果顯示,不同部署方式的速度和吞吐量各有差異,適合用來比較實際工作負載下的取捨。

    推薦理由:這組測試比較 DeepSeek-V4.1-Flash 在 H20-3e 上的分拆與同機部署,呈現延遲和吞吐量如何隨配置改變。

  7. llama.cpp Releases43

    llama.cpp b12552 改善 OpenVINO 效能並修正模型相容問題

    llama.cpp 的 OpenVINO 支援在不同提示詞長度或輸出數量改變時,可能得重新編譯模型,或重用不合適的舊模型,造成速度變慢甚至執行失敗。這次更新調整 GPU 的 KV 長度、改善提示詞處理階段的模型重用方式,也讓系統確認輸出數量相符才沿用編譯結果;模型快取也會把輸出設定納入檢查。更新還修正多種模型在 GPU、NPU 和靜態形狀設定下的問題,並加入 Falcon-H1 的 OpenVINO 驗證資料。

  8. AWS Machine Learning Blog64

    Amazon SageMaker AI 開始監控推論端點,找出延遲上升與閒置 GPU

    AI 推論端點上線時調好的設定,可能會因流量和模型改變而不再合適,讓回應變慢或 GPU 閒置。Amazon SageMaker AI 現在會自動檢視端點的延遲、GPU 使用情況和服務設定,找出延遲變高、容量沒用滿,或可用但尚未開啟的效能改善;它不會讀取請求或回應內容。收到通知後,團隊可以在 SageMaker Studio 用實際流量測試其他設定,比較回應時間、吞吐量和每百萬個 token 的費用。測試在另一組運算資源上進行,端點不會自行變更,團隊確認結果後才決定是否套用。

    推薦理由:端點的流量和模型需求會隨時間改變,這項功能用實際流量測試替代方案,協助團隊比較速度、吞吐量與費用,再自行決定是否調整。

  9. Modal Engineering Blog50

    Abundant 如何用 Modal Sandboxes 打造省成本的 AI 助理訓練環境

    訓練 AI 助理時,每次測試都要準備任務、運算資源和檢查答案的工具;如果環境一直開著卻沒在做事,也會白白花錢。Abundant 用 Modal Sandboxes 建立這些測試環境,讓 AI 助理挑戰工作,再由檢查工具判斷有沒有完成。團隊把監看程式放在測試環境裡,每 30 秒回報狀況;運算需求忽高忽低時,環境也能按需要增加資源。Abundant 已建立超過 75,000 次測試,每月執行超過 200 萬個 Sandboxes。這套做法減少了閒置資源的花費,讓團隊能把時間用在設計更可靠的任務和答案檢查方式。

  10. NVIDIA Blog71

    NVIDIA 與 Microsoft 擴大 AI 運算,從 Azure 延伸到 Windows 電腦

    企業想把 AI 用在工作上,得先決定模型要放在哪裡、如何配合自家資料。NVIDIA 和 Microsoft 擴大合作,讓企業能在 Azure 使用 NVIDIA Vera Rubin NVL72 系統,也能透過 Microsoft Foundry 調整 NVIDIA Nemotron 開放模型,再部署到雲端或企業自己的裝置。EY 用這種方式調整模型來分類採購紀錄,在自己的評估資料上準確率提高 55%,成本比專有前沿模型低 15 倍。合作也把 AI 部署選項延伸到 Azure Local、工業用邊緣裝置和 Windows 電腦,讓企業能依資料位置與工作需求選擇執行方式。

    推薦理由:NVIDIA 與 Microsoft 把雲端、企業內部和個人電腦的 AI 部署選項串在一起,也展示企業如何用自家資料調整開放模型。

  11. AWS Machine Learning Blog60

    AWS 與 Accenture 教你分階段降低 Amazon Bedrock 的 AI 成本

    企業使用 AI 越多,帳單可能越高,就算每個 token 變便宜也一樣。AWS 和 Accenture 建議先用標籤看出各團隊、工作和 AI 助理花了多少錢,再依序調整提示詞快取、批次處理、模型路由、資料檢索、語意快取或模型蒸餾。四個客戶案例中,token 花費約減少 40% 到 85%;有些案例同時改了好幾項,因此無法把省下的費用歸給單一做法。文章也提醒,調整時要逐項測量成本、回答品質和商業價值,品質變差時才能及時回復。

    推薦理由:文章把成本歸因、分階段調整與品質治理串成實作順序,並以四個企業案例呈現不同做法的花費變化。

  12. Google Developers Blog80

    Google 說明 MaxText 如何用 Streaming DiLoCo 跨資料中心訓練大型語言模型

    大型語言模型分散到不同資料中心訓練時,網路速度慢會讓裝置停下來等資料同步。Google 在 MaxText 加入 Streaming DiLoCo,把模型切成多個部分,分批傳送引數更新,讓訓練和傳輸能同時進行。以 Qwen3-32B 為例,在 10 Gbit/s 網路下,每步訓練約 5.76 秒;一般資料平行訓練約 55.11 秒,原本的 DiLoCo 則約 7.55 秒。文章也提到,這種做法在測試中維持了模型訓練品質,並提供 MaxText 的設定方式。

    推薦理由:文章以 Qwen3-32B 在不同網路頻寬下的實測,比較三種訓練方式的耗時,呈現引數分批同步如何減少跨資料中心網路壅塞。

  13. AWS Machine Learning Blog58

    PolyAI Dialog-RSN-1 登上 Amazon SageMaker JumpStart,可部署到自己的 AWS 帳戶

    處理即時客服電話時,模型要聽懂來電者的話,也得及時回答。PolyAI 的 Dialog-RSN-1 現在可透過 AWS Marketplace 或 Amazon SageMaker JumpStart 部署到自己的 AWS 帳戶,直接聽取電話音訊並即時回應,不必先轉成文字再交給另一個模型處理。部署後,通話音訊和逐字稿留在使用者控制的環境中;團隊也能依需求選擇偏重回應速度、處理量、成本或平衡的設定檔。模型目前只支援英文,連線最長為 30 分鐘。

  14. AWS Machine Learning Blog80

    Amazon SageMaker AI 推出跨區域推論路由,區域容量不足時自動轉送請求

    某個 AWS 區域的 GPU 容量不夠時,模型請求可能逾時,即使其他區域還有空間也用不上。Amazon SageMaker AI 推出跨區域推論路由,讓應用程式透過同一個入口呼叫已經部署在不同區域或帳號的端點;本地端點狀況不佳時,路由器會把新請求送到其他可用端點,恢復後再逐步切回。端點擁有者也能設定跨區流量上限,避免外地請求擠壓本地服務。這項功能不支援串流回應,路由器本身不另收費,端點和 CloudWatch 指標仍依標準費率計費。

    推薦理由:SageMaker AI 會依端點健康狀態把新請求轉往其他區域,並在恢復後逐步切回;文中也說明重試條件與跨區流量上限。

  15. OpenAI News82

    OpenAI 如何用 Performance Factory 找出並修復 ChatGPT 效能變慢

    ChatGPT 變慢時,工程師得檢視指標、紀錄和程式碼,找出原因再修復,過程既花時間,也需要熟悉服務。OpenAI 建立了 Performance Factory,讓 AI 助理在效能警報響起後接手調查、記錄發現並提出修正,再由工程師審核和部署;部署後,另一個 AI 助理會確認效能是否恢復。若判斷原因有疑點,另一個 AI 助理也會嘗試推翻原本的診斷。OpenAI 表示,這套流程運作剛超過 3 個月,追蹤了 1,700 多次調查,找出超過 600 起問題的根本原因。修正是否合適仍由工程師把關。

    推薦理由:OpenAI 說明效能警報如何一路交給 AI 助理調查、提修正,再由工程師審核部署,並在部署後確認是否恢復。

  16. llama.cpp Releases39

    llama.cpp b12550 加入後端排程壓力測試

    llama.cpp b12550 加入一批測試,檢查模型運算工作交給不同硬體後,排程能不能照預期運作。測試會反覆嘗試不同工作組合,也加入短暫等待的操作,幫忙找出排程錯誤;其中一項測試也確認了修補方式能處理特定問題。這些改動能讓開發者更容易抓到 CPU、GPU 等不同後端的相容問題,減少測試漏掉錯誤的機會。

  17. AWS Machine Learning Blog75

    Amazon SageMaker HyperPod 推出訓練問題診斷與監控功能

    大型模型分散在許多 GPU 上訓練時,只要一張 GPU 或網路出問題,整個工作就可能變慢,找出原因也得翻查多套監控工具。Amazon SageMaker HyperPod 新增監控與診斷功能,會比較同一訓練工作中的 GPU 使用率、溫度和耗電等狀況,找出和其他 GPU 不同的裝置,也會標示硬體錯誤、網路變慢、過熱或降速等問題,並列出受影響的工作與裝置。功能支援 EKS 和 Slurm,可將資料送到 CloudWatch 或 Prometheus;進階指標可自行開啟,但會增加資料量與相關費用。

    推薦理由:新功能把 GPU、網路和主機的狀況放在同一處檢查,並標出異常裝置與可能原因,呈現大型訓練排查問題的做法。

  18. AWS Machine Learning Blog72

    AWS 示範如何在 Amazon EKS 上讓多個工作負載共用 NVIDIA GPU

    GPU 記憶體還有空間時,使用者仍可能因為每個工作負載都得獨佔一張 GPU 而排隊。這篇教學示範如何在 Amazon EKS 安裝 NVIDIA Run:ai GPU Fractioning,讓兩個工作負載共用一張 NVIDIA A10G,並各自設定 8 GiB 記憶體上限。實測中,兩個工作負載都在同一張 GPU 上成功使用 6 GiB;另一個嘗試使用 9 GiB 的工作負載則收到記憶體不足錯誤。這能幫忙確認記憶體限制是否生效,但不代表運算速度會提升,也不能取代隔離與效能測試。

    推薦理由:文章用實測說明兩個工作負載如何共用一張 A10G,並交代記憶體上限、監控方式與正式部署前需要留意的隔離和效能條件。

11月19日週四
  1. PostgreSQL Official News81

    PostgreSQL 19 推出,資料整理時可不中斷讀寫

    資料表長期更新和刪除資料後,會累積用不到的空間;整理時又可能讓使用者暫時無法讀寫。PostgreSQL 19 新增 REPACK (CONCURRENTLY),可整理資料表並配合索引調整資料順序,同時讓讀寫繼續進行。這次更新也加入 pg_plan_advice,協助固定或測試查詢計畫;使用 WAIT FOR LSN,則可讓備用伺服器等到收到剛寫入的資料再回應查詢。此外,INSERT ... ON CONFLICT DO SELECT 可簡化「有就取出、沒有就新增」的操作。

    推薦理由:PostgreSQL 19 同時改善資料整理、查詢穩定性與跨伺服器讀取,可看出這次更新如何回應大型工作負載的管理需求。

  2. Databricks Blog38

    Databricks 推出 CustomerLake Conversions,讓廣告依照顧客價值投放

    同樣是一筆購買,有人可能會成為常客,有人只是趁打折買一次;只看廣告報表,品牌很難分辨哪種顧客更值得經營。Databricks 推出 CustomerLake Conversions,讓品牌把自己的購買紀錄、顧客價值等資料,用來挑選廣告受眾、傳送轉換訊號,也能把廣告成效帶回 Databricks 一起檢視。例如,零售商可以找出首次購買、而且預測可能再次回購的顧客,並把這些購買事件傳給廣告平臺。品牌能更清楚判斷哪些廣告帶來想要的顧客,也能自行決定分享哪些資料、分享給誰。

  3. LangChain Blog58

    LangChain 推出 LangSmith Alerts,及早發現 LLM 應用程式問題

    LLM 應用程式會用到模型服務、API 和資料庫等外部工具,服務變慢或回答品質變差時,可能影響使用者。LangChain 推出 LangSmith Alerts,可依錯誤數量與比率、平均延遲或平均回饋分數設定提醒,也能篩選特定模型、工具呼叫或執行型別,並選擇 5 或 15 分鐘的統計區間和提醒門檻。通知可接到 PagerDuty,或透過自訂 webhook 傳送到 Slack 等地方,讓團隊更快發現需要處理的狀況。

  4. llama.cpp Releases39

    llama.cpp b12533 修正 CUDA 大型輸出的位置計算錯誤

    llama.cpp 的 CUDA 矩陣運算在輸出非常大時,可能把寫入位置算錯,造成程式越界寫入並因非法記憶體存取中止。這次更新把相關位置計算改用能處理更大數值的 64 位元整數。舉例來說,詞彙表有 248320 個詞、輸出 16384 列時,結果會有 4.07e9 個元素,超過原本 32 位元整數能正確處理的範圍;修正後可避免這類位置計算錯誤。

  5. PyTorch Core Releases37

    PyTorch Core 替 macOS 建置工作加上逾時限制,避免卡住合併流程

    PyTorch 的 macOS 建置工作有時會卡住,讓等待中的程式碼合併一直停著。這次修改替建置步驟加上 90 分鐘限制,整個工作則設為 120 分鐘;如果建置超時,清理工作仍會執行,後續測試工作會跳過。過去 60 天,成功的 macOS 建置最久花了 50 分鐘,因此新限制能讓卡住的工作提早結束,減少它阻擋合併的時間。不過,造成卡住的 sccache 問題本身還沒有修好。

  6. Vercel Blog68

    Vercel 推出 Board,讓不同工具上的 AI 助理一起追蹤任務

    多個 AI 助理一起做專案時,任務、討論和進度容易散落在不同地方。Vercel 推出實驗性工具 Board,讓人和不同工具上的 AI 助理共用任務看板:AI 助理可以認領工作、回報進度、留下結果,也能把討論串和 Slack、GitHub 等工具雙向同步。團隊還能設定工作許可權、安排後續提醒,或讓新回覆自動喚醒 AI 助理。Vercel 表示,內部的 v0 軟體工廠目前用 Board 處理超過 50% 的 PR。

    推薦理由:多個 AI 助理分頭處理同一專案時,工作容易散落在不同工具;Vercel Board 把任務、討論與進度集中起來,並同步 Slack 或 GitHub。

  7. PyTorch Core Releases41

    PyTorch FSDP2 新增方法,讓啟用解除安裝的程式排好資料複製順序

    使用 CPUOffloadPolicy 時,FSDP 會把引數從主記憶體搬到 GPU;如果另一段程式同時搬回啟用函式需要的資料,兩邊會搶同一條傳輸通道,引數可能因此晚到,後續工作也跟著延遲。PyTorch FSDP2 新增 get_all_gather_copy_in_stream(),讓程式等引數複製完成後再搬回啟用函式需要的資料,讓兩種工作能重疊進行。這個方法要等 FSDP 完成延遲初始化後才能呼叫;若改用目前的資料流處理引數複製,等待它就不會改變執行順序。

  8. PyTorch Core Releases39

    PyTorch ROCm Inductor 新增 CK 後端支援 3D 通道優先卷積

    PyTorch 的 CK 卷積後端原本只提供 2D 卷積選項,這次加入 3D 卷積的通道優先選項。不過,分組卷積目前不會交給 CK 處理,因為它傳入的通道數和 CK 預期的數字不同,可能讓結果悄悄出錯。這項修改已在 MI300X 上測試,測試結果通過;它補上了卷積支援,也避免分組卷積算錯。

  9. AWS Machine Learning Blog57

    Exa 如何用 AWS Inferentia2 和 Trainium2 加快檔案向量嵌入

    要把網路上數百億份檔案轉成可搜尋的向量,運算速度和每份檔案的成本都會影響服務能處理多少資料。Exa 為了重新處理 300 億份重要檔案,調整模型在 AWS Inferentia2 和 Trainium2 晶片上的運作方式,包括減少多餘計算、改善資料在記憶體中的移動,並為模型實際使用的資料形狀量身調整運算核心。團隊也用 AI 助理協助測試和找出效能瓶頸,每次修改都要通過正確性檢查。最後,每百萬份檔案的處理效能和成本相較原本改善 47%。

  10. AWS Machine Learning Blog72

    AWS 說明如何在 SageMaker AI 使用完整微調

    微調大型語言模型時,只更新一小部分引數的 LoRA 較省資源,但遇到複雜任務和大量資料時,表現可能停在一定程度。AWS 在 SageMaker AI 的無伺服器模型自訂服務加入完整微調(FFT),並用 Qwen3-4B 和 110,000 組程式生成資料比較兩種方法。實驗中,FFT 在部分指標上表現較好,但結果也很受學習率、訓練回合數等設定影響;設定太激進時,模型可能失去一般知識,甚至在數學測試中退步。文章提供實驗結果與引數調整方向,協助判斷何時適合使用 FFT。

    推薦理由:文章以程式碼生成實驗比較 FFT 與 LoRA,並說明資料量和超引數如何影響模型表現與一般知識保留。

  11. PyTorch Core Releases44

    PyTorch Inductor 修正 reduction 融合後的數值差異

    PyTorch Inductor 把多個小程式合在一起執行時,可能會讓 reduction 的加總順序改變,結果就和單獨執行時差一點。這次修正會依照各程式調校好的執行設定,把設定不同的 reduction 分開;設定相同的仍可合在一起,含 reduction 的組合也不再於執行時重新調校。如此一來,在相同設定下,組合執行的結果能和單獨執行完全一致。測試的 7 個 Ads/IG 圖表中,執行時間變化落在平常測量誤差範圍內。

  12. AWS Machine Learning Blog66

    AWS 推出 SageMaker JumpStart Model Leaderboard,方便比較模型品質、速度與成本

    SageMaker JumpStart 有許多模型可選,但各處公佈的測試結果不一定能直接比較,也不容易看出實際執行成本。AWS 在 SageMaker Studio 推出 Model Leaderboard,讓人用相同測試方式比較 70 多個模型的品質、回應速度和預估費用。品質分數來自 BIG-Bench Hard、GPQA Diamond 和 MMLU-Pro;速度與費用則依不同部署設定測量,預估費用只計 SageMaker 執行個體成本。使用者可以先按授權和輸入輸出型別篩選,再挑符合工作需求的模型;AWS 也提醒,排行榜適合用來縮小選擇範圍,正式使用前仍要用自己的資料和提示詞測試。

    推薦理由:AWS 將模型品質、回應速度與執行成本放在同一套測試中比較,文中也說明如何依工作需求篩選,再用自己的資料確認模型表現。

  13. AWS Machine Learning Blog79

    Amazon SageMaker HyperPod 新增訓練故障檢查與工作復原功能

    大型 AI 訓練有時會卡住,或在硬體檢查通過後仍算出錯誤結果,白白佔用 GPU。AWS 為 Amazon SageMaker HyperPod 新增三項功能:MultiNodeTrainingValidation 會用固定訓練工作檢查 GPU 是否算出 NaN 或無限大的損失;Kubernetes 監控代理程式會整理故障涉及的節點、Pod 和工作;Slurm 的停滯工作偵測則能記錄問題,並依設定取消工作、讓它重新排隊。文中舉例,一項工作若卡住 15 分鐘便被偵測並重新排隊,估算成本可從約 $16,900 降至約 $530。這些檢查各自處理不同故障,設定時仍要留意規則是否正確,以及取消工作的條件。

    推薦理由:HyperPod 把訓練正確性、Kubernetes 故障和工作停滯分開監看,並說明各功能何時運作、如何回報及可能節省的 GPU 時間。

  14. cloudflare blog78

    Cloudflare 推出更新版 Clairic 和 9B 的 Clairic-flash

    從收據、圖片和 PDF 擷取資料,常會遇到表格難讀、欄位分散在不同頁面的問題。Cloudflare 更新了 Clairic,並推出較小、較快的 9B 模型 Clairic-flash;兩者能讀取最多 4 張圖片或 PDF 頁面,整理供應商、品項和總額等資料,也能處理估算、日期計算與明確的算術。Cloudflare 表示,兩款模型的權重已在 Hugging Face 開放,並可透過 Workers AI 使用。Clairic-flash 每百萬輸入 token 收費 $0.10,Clairic 為 $0.24;到 2026 年 12 月 1 日前,兩者都以每百萬輸入 token $0.10 優惠。文中的比較資料來自 Cloudflare 自行測試,適合用來瞭解其測試結果,不能當成公開基準。

    推薦理由:Clairic 改用新的欄位生成方式,並加入專門處理估算與日期計算的能力;文中也比較了文字、圖片與 PDF 的擷取表現及回應速度。

  15. AWS Machine Learning Blog73

    Airbnb 如何用每項任務成本管理 Amazon Bedrock 上的程式開發 AI 助理

    模型在測試中表現好,不一定代表工程師實際使用時花費也低。Airbnb 用自家程式開發任務比較不同模型的完成分數和每項任務成本,再搭配上線後的請求數、token 用量與延遲,決定預設模型和推理力道上限。文中一個模型在測試時成本差不多,但上線後每位使用者的平均週花費高出好幾倍,原因是每次請求較貴,使用者也送出更多請求。Airbnb 後來把重度使用者移到另一個模型,請求數大致相同,該群組在主要模型上的花費降到約七分之一。這套做法能幫團隊同時看見模型測試成績與實際使用成本。

    推薦理由:Airbnb把自家任務測試與上線後用量放在一起比較,呈現模型分數相近時,使用者行為仍可能讓每人花費差很多。

  16. LMSYS Org Blog68

    Humming 整合 SGLang,讓低位元 MoE 模型跑得更快

    大型 MoE 模型需要存放大量專家權重,怎麼在省記憶體的同時加快運算,是實際部署時的難題。Humming 把低位元權重接上專用運算核心,整合到 SGLang 後,仍由 SGLang 負責分派工作,Humming 負責處理輸入和矩陣運算。文章在 8 張 H20-3e GPU 上測試 DeepSeek-V4.1-Flash-1017:相同 A16 精度下,長上下文輸入的速度比 Marlin 快 1.07 到 1.23 倍;改用 FP8 專家運算也能提高部分測試的輸出速度。這些結果只適用於文中測試的設定,不能直接代表其他模型或工作負載。

    推薦理由:文章比較 Humming 在不同精度與專家分流設定下的速度,並交代測試條件,能看出加速幅度會隨工作負載與設定改變。

  17. AWS Machine Learning Blog55

    AWS 示範讓 Amazon Bedrock AgentCore Identity 連上使用私有 CA 的身分系統

    公司把身分系統放在私人網路時,AI 助理可能無法確認連線物件是不是可信的伺服器。AWS 示範如何設定 Amazon Bedrock AgentCore Identity,讓它透過 VPC Lattice 連上使用私有 CA 憑證的身分系統,並從 AWS Secrets Manager 或 Amazon S3 讀取 CA 憑證來檢查連線。文章也說明如何把新舊 CA 憑證一起放進檔案,更新設定後再換掉舊憑證,降低輪替時中斷服務的機會;此外,應限制誰能修改憑證資料,避免有人偷偷換掉受信任的 CA。

  18. PyTorch Core Releases41

    PyTorch 新增 `aten::_grouped_mm.out`,讓 ExecuTorch 能順利儲存相關程式

    ExecuTorch 儲存匯出的程式前,會把每個運算改成能把結果寫進指定位置的形式;但 aten::_grouped_mm 原本沒有這種版本,因此遇到它就存不下來。這次 PyTorch 新增 aten::_grouped_mm.out,可以把分組矩陣運算的結果直接寫進 out。例如有些情況下,運算會先寫到暫存位置,再複製到 out;CPU、MPS 和 XPU 則會把結果分組寫進 out 的不同區段。這項修改補上原本缺少的功能,讓相關程式能配合 ExecuTorch 的儲存流程。