跳到正文

#部署/工程

RSS
今日 0 則
11月19日週四
  1. AWS Machine Learning Blog76

    Amazon SageMaker AI 如何協助 Salesforce 跨區分流模型請求

    Salesforce 在多個地區替產品提供模型服務,但各地流量高峰不同,分開準備容量可能讓有些地區閒置、另一些地區卻不夠用。Amazon SageMaker AI 的跨區推論路由器能把多個地區和 AWS 帳戶裡已部署的端點放在同一條呼叫路徑上;本地端點出錯時,才把部分請求送到其他健康端點。Salesforce 可把必須留在原地區的請求固定在當地,也能從每次回應和 CloudWatch 檢視請求去了哪裡、原因是什麼。測試中,本地端點開始回傳錯誤後,流量逐步轉往另一地區,恢復後再慢慢切回。路由器使用既有容量,不會替端點部署模型或增加執行個體。

    推薦理由:Salesforce 的實測呈現路由如何在本地端點出錯後轉移流量,並在恢復後逐步切回,適合瞭解跨區備援的實際運作。

  2. Vercel Blog43

    Vercel Drives 讀取檔案速度最高快 6 倍

    Vercel Drives 更新後,讀取檔案的速度最高提升 6 倍,改善的是資料第一次讀取時比較慢的情況。新的讀取方式會參考應用程式平常怎麼取用資料,先從長期儲存空間載入接下來可能用到的內容,減少程式等待時間。所有 Drives 都會自動更新,不用升級 SDK 或更改設定,讀取費用也維持不變。

  3. AWS Machine Learning Blog35

    AWS Quick 如何讓企業資料準備好,讓 AI 助理能開始推理與工作

    企業想讓 AI 助理回答問題、幫忙處理工作,得先確保資料可信,也要能從同一個地方找到需要的資訊。Financial Independence Group 把客戶、財務等表格資料,以及內部檔案整合到 AWS Quick,讓員工能直接查資料、取得分析,並用 AI 助理處理一連串工作。活動中,參加者還在 50 分鐘內做出 AWS Quick 應用程式,也用 AWS Quick Flows 把重複的資料工作串成自動流程。這些例子顯示,做好資料整理和管理,團隊就能更快把想法變成實用工具。

  4. AWS Machine Learning Blog47

    Stretto 如何用 Amazon Nova 2 Sonic 打造破產諮詢電話 AI 助理

    Bankruptcy.com 原本用網頁表單收集資料,但問題問得太多,民眾常填到一半就離開;只收少量資料,又不夠律師判斷。Stretto 和 CI&T 因此打造 AI 助理 Tara,讓民眾用電話回答破產相關問題,再把談話整理成資料,交給律師訂下的規則分類,供律師判斷。 Tara 使用 Amazon Nova 2 Sonic 和 Amazon Bedrock,能一邊聽、一邊用語音回應,也會依來電者的情緒調整說話方式。完成試用後,團隊先讓它收集原本表單上的 13 項資料,再擴大到 18 種以上的問題類別,例如債務、車輛、房產和工作收入。Stretto 表示,每分鐘語音費用比舊方案少了 95%。這讓民眾能用聊天的方式提供較完整的資料,律師也更容易評估案件。

  5. Hugging Face Blog62

    Hugging Face 團隊用 272 次微調紀錄預測 GPU 工作時間

    共享 GPU 叢集很難排工作:微調任務若提早或延後結束,都會影響其他工作,單靠運算量公式也常估不準。Hugging Face 團隊整理 272 次實際監督式微調紀錄,用工作設定和模型資料訓練 CatBoost,預測任務從取得 GPU 到完成所需的時間。交叉驗證中,平均誤差約 1.71 小時;工作時間在 60 小時以內時,誤差通常較小,超過 60 小時的少數任務則較難預測。這套模型使用 H200 資料訓練,不能直接當成其他 GPU 的時間估算。

    推薦理由:文章比較公式估算與機器學習預測,呈現評估和檢查點設定如何影響 GPU 工作時間,也指出長時間任務的誤差較大。

  6. Meta Engineering74

    Meta 如何用 AI 助理把廣告排名模型的改進推廣到更多模型

    一種機器學習改進方法,往往不能直接搬到另一個廣告排名模型上,工程師得花時間逐一調整,訓練也會消耗大量運算資源。Meta 用 AI 助理找出值得嘗試的模型、調整技術做法、安排訓練工作,並協助診斷和處理失敗;工程師仍會審查重要決定,並核准要推出的模型。Meta 表示,AI 助理目前負責超過 60% 的技術推廣工作;在部分模型與技術組閤中,訓練運算量中位數減少 4 倍。這套做法希望讓經過驗證的改進更快用到更多模型。

    推薦理由:文章拆解 AI 助理如何找出可套用的技術、調整模型並管理訓練工作,呈現大規模推廣機器學習改進的方法。

  7. vLLM68

    vLLM v0.34.0 已發布,這次更新包含 1,061 次程式碼提交與 412 位貢獻者。新版加入 10 個模型,並預設啟用可擴充的 KV cache;Model Runner V2 成為唯一的 GPU 執行器。專案也表示,在 4× GB200 上,Step5 NVFP4 解碼最高可快 1.95 倍。升級前可參考公告附上的升級說明。

    推薦理由:這次更新同時加入 10 個模型並調整 GPU 執行方式,還列出 Step5 NVFP4 解碼的速度資料,可用來瞭解 vLLM 的更新範圍。

  8. Replit Blog68

    Replit 擴大與 Microsoft 合作,讓團隊用企業資料打造並部署應用程式

    企業團隊常知道哪裡需要改善,卻得先換工具、搬資料,才能把想法做成軟體。Replit 宣佈與 Microsoft 擴大合作,讓團隊可用 Fabric 的受管資料打造應用程式,並部署到企業的 Fabric 租戶;Replit Desktop 也能在 Windows、Mac 和 Linux 存取使用者指定的資料夾,讓人檢查本機修改。Replit 與 Microsoft Teams 的整合將讓團隊從對話開始提問和開工;Azure 部署則進入早期存取,管理員可設定每個工作區的發布位置。這些功能讓團隊能在熟悉的工具中建置和發布,同時由企業管理資料與部署環境。

    推薦理由:Replit 這次把建置、部署與工作對話接上企業既有的資料和系統,也交代各項整合的開放狀態與管理方式。

  9. Hugging Face Blog78

    作者用 Transformers 在 32 GB Mac 上執行 180B MoE 模型

    大型 MoE 模型的專家權重很佔空間,往往放不進一般筆電的記憶體。作者替 Transformers 加上串流載入方式,只從 SSD 讀取模型當下挑中的專家,並用有限大小的快取保留常用部分;其他權重和 n-gram 資料也分別處理,讓 Qwen3.8-Flash-Next 能在 32 GB 的 Mac 上執行。經過調整後,短文字生成速度是每秒 13.9 個 token,和 Strata 的每秒 14.8 個接近。作者也指出,剩下的速度差距主要和 Python 與 GPU 之間的等待有關。

    推薦理由:作者比較多種 MoE 推論引擎,並實測如何只載入當下用到的專家,讓大型模型在 32 GB Mac 上運作。

  10. Databricks Blog45

    AUMOVIO 如何用 Databricks Unity Gateway 集中管理 AI 模型

    AUMOVIO 的各團隊原本用不同方式連線大型語言模型,讓管理、計算費用和管控許可權變得複雜。公司改用 Databricks Unity Gateway 當共同入口,集中管理模型核准、使用紀錄和安全規則,也能透過 Microsoft Entra ID 身分驗證,不必另外發放 API 金鑰。 AUMOVIO 用代號連線核准使用的模型;需要更換模型或服務商時,可以在中央調整,使用中的應用程式不必跟著改程式碼。系統也會記錄 token 用量,搭配專案與成本中心資料,讓負責人檢視各團隊用了哪些模型、花了多少錢。這樣一來,各團隊能更方便使用核准的模型,公司也更容易掌握費用與許可權。

11月18日週三
  1. PostgreSQL Official News50

    WAL-G 發布 3.0.10,新增 PostgreSQL WAL 直接讀取功能

    備份資料庫時,如果要讓備用伺服器讀到新的記錄,過去可能得先把檔案搬到指定位置。WAL-G 3.0.10 新增 PostgreSQL 的 wal-send,可以透過串流複寫協定,讓備用伺服器直接從物件儲存讀取 WAL,並在新片段到達時接著讀取。這次也改善了備份上傳、S3 傳輸和 Greenplum、Cloudberry 的備份還原流程;要留意的是,永久備份雖然仍不會因保留期限而刪除,但指定刪除目標時可以刪掉。

  2. vLLM Official Blog75

    vLLM 如何用 FlyDSL MonoKernels 降低 AMD GPU 上 AI 助理的回應延遲

    AI 助理每次要產生回覆時,常得依序啟動許多 GPU 工作;工作量小時,等待工作開始和結束也會拖慢回覆。vLLM 的 FlyDSL MonoKernels 把互相依賴的工作排進較少的 GPU 執行流程,讓部分工作可以接續進行,也能提早讀取後續需要的資料。文章列出多款模型在 AMD Instinct GPU 上的測試,並發量為 1 時,回應速度或每個輸出 token 的時間改善約 1.20× 到 2.26×。這項功能需自行開啟,適用範圍依模型、GPU 和工作量而定;並發量提高時,改善幅度通常會縮小。

    推薦理由:文章比較多款模型在不同 AMD Instinct GPU 與並發量下的測試結果,也說明低並發時的延遲改善和步幅限制。

  3. llama.cpp Releases70

    llama.cpp b12503 大幅改善 OpenVINO 後端的推論與記憶體使用

    使用 OpenVINO 跑 llama.cpp 時,模型推論可能花太多時間搬動快取和資料,也會佔用不少記憶體。b12503 更新了 OpenVINO 後端在 CPU、GPU 和 NPU 上的多項做法,例如依實際注意力範圍讀取 KV 快取、減少 NPU 預填階段的資料搬動,並讓部分執行設定可以選擇開啟。更新也調整了模型快取與注意力處理,修正多種模型和執行模式下的問題;實際可用的選項與效能改善會依裝置和設定而異。

    推薦理由:這次更新集中改善 OpenVINO 後端在 CPU、GPU 與 NPU 上的快取、記憶體使用和推論效能,並提供多項可調整的執行選項。

  4. Vercel Blog65

    Vercel Speed Insights 開始追蹤 App 內切換頁面的速度

    使用者在 App 內切換頁面時,內容會更新,但不會重新載入整個頁面,過去的速度資料看不到這段過程。Vercel Speed Insights 現在會追蹤這類切換,記錄 LCP、FCP、INP 和 CLS,並納入 Real Experience Score;由於沒有新的檔案請求,不會記錄 TTFB。追蹤預設開啟,儀錶板也新增導覽型別篩選,可分開檢視完整載入或頁面內切換的資料。這些事件會計入 Speed Insights Plus 用量,也可透過程式設定關閉。

    推薦理由:過去只看完整載入時的速度,容易漏掉使用者在 App 內切換頁面時的體驗;這次新增的資料可用來比較兩種導覽情況。

  5. llama.cpp Releases44

    llama.cpp b12500 用 fastdiv 加快 CUDA 卷積運算

    llama.cpp 的 CUDA 卷積運算原本要反覆做整數除法,處理資料越多,這些運算越容易拖慢速度。這次改用事先算好的除法資料來找出每筆資料的位置;測試中,RTX PRO 6000 上一種卷積運算的時間從 221 微秒降到 138 微秒,其他測試案例也都變快。這表示 llama.cpp 能更快完成這類 CUDA 運算。

  6. Databricks Blog77

    Databricks 如何把叢集建立的預設請求速率上限提高 7.5 倍

    雲端服務變慢時,建立叢集的工作會拖更久;固定每分鐘接受多少請求,可能讓工作堆在系統裡,也可能在系統有空間時擋掉請求。Databricks 改用會看系統狀況調整的同時工作上限,讓排隊中的請求等到有空位再開始;系統吃緊時減少新工作,恢復後再慢慢增加。它仍保留固定請求上限,作為流量特別高時的防線。Databricks 表示,這套做法讓預設叢集建立請求上限提高 7.5 倍,報告範圍內的限流錯誤減少超過 99.99%,並移除了 100 多個客戶專屬上限。

    推薦理由:固定請求速率難以應付雲端依賴變慢帶來的長時間工作堆積;文章說明 Databricks 如何按系統健康調整同時進行的工作數量,並分享實際成效。

  7. llama.cpp Releases37

    llama.cpp 新增支援 A7 Q5_K 的非 MoE 二進位核心

    llama.cpp 這次更新加入一種新的運算程式,讓 OpenCL 能處理 A7 Q5_K 格式,而且這種程式不使用 MoE。簡單說,它就像替特定格式的資料準備一條新的處理路線。發布頁也列出 macOS、iOS、Linux、Android 和 Windows 等平臺的版本資訊;這次更新的重點,是讓 llama.cpp 多了一種可用的運算方式。

  8. AWS Machine Learning Blog76

    Amazon SageMaker HyperPod Inference 開始支援 NVIDIA Dynamo

    大型語言模型可能大到放不進單臺伺服器,長提示詞也會拖慢模型開始回答的速度。AWS 在 Amazon SageMaker HyperPod Inference 加入 NVIDIA Dynamo,讓團隊能把模型分散到多臺機器,也能把讀取提示詞和生成文字的工作交給不同的 GPU 工作池。文章用 Qwen3-235B 比較兩種做法,在符合延遲與生成速度條件的測試點中,分開處理的配置每張 GPU 每秒產生 207 個輸出 token,整合式配置則是 101 個。文中也說明如何設定部署、檢查機器間的網路連線,以及用接近實際流量的測試挑選配置。

    推薦理由:文章以 Qwen3-235B 的測試比較整合與分離式推論,呈現不同部署方式在吞吐量上的差異,並整理實際部署時的調校方向。

  9. ElevenLabs Official Blog45

    WebRTC 是什麼?帶你看懂即時網路通訊

    網路視訊和語音通話如果延遲、卡住或斷線,聊天就很難順利進行。WebRTC 讓瀏覽器或網頁應用程式能直接交換即時音訊、影片和資料,減少傳送延遲;它也能在無法直接連線時,透過中繼伺服器轉送資料。像是兩個人用瀏覽器視訊時,系統會先確認雙方同意使用的傳送方式,再加密傳送內容。WebRTC 適合視訊會議、語音通話和即時直播;多人一起通話時,則可能需要媒體伺服器協助傳送。

  10. AWS Machine Learning Blog66

    AWS 示範如何減少 Amazon Bedrock AgentCore 處理大型 JSON 的 token 用量與延遲

    AI 助理每次呼叫工具都把大型 JSON 傳進模型,會增加 token 用量、拉長等待時間,還可能讓對話塞滿資料。AWS 與 Flightscape 分享三種做法:把大型資料放到 Amazon S3,讓對話只儲存資料位置;清單先提供摘要,需要時再分頁取回;大型字典則改用精簡描述。以 23 MB 資料測試時,五題對話的 token 用量約減少 71%,平均延遲從 15.4 秒降到 3.1 秒;完整資料仍可按需讀取。

    推薦理由:文章拆解了大型 JSON 讓 AI 助理變慢、增加 token 用量的原因,並以實測比較三種減少上下文負擔的方法。

  11. Vercel Blog55

    Vercel 單秒靜態部署現在也支援 CSS、圖片和其他檔案

    靜態網站以前用 Vercel 單秒部署時,只能帶 HTML 和 Markdown,樣式、圖片等檔案還不在支援範圍內。現在符合條件的網站可以連同 CSS、圖片、字型、檔案和音訊等檔案一起部署,也能透過 Vercel CLI 或 REST API 操作,不需要另外設定。每次部署最多可有 100 個檔案,總大小不超過 25 MB;含 JavaScript、由 Git 觸發,或使用框架預設和特定建置設定的專案,仍會照原本方式建置。

  12. AWS Machine Learning Blog78

    Amazon SageMaker AI 推出 KV-aware routing,讓長對話更容易用到快取

    大型語言模型處理長對話時,常要重算已經看過的內容;如果請求被送到沒有這份快取的執行個體,就會多花時間。Amazon SageMaker AI 推出 KV-aware routing,讓模型容器回報各執行個體目前保留的快取,再把請求送到有最多相符內容、而且不太忙的地方。AWS 在一組長提示詞測試中,相較隨機路由,首個 token 的中位等待時間最多降低 97%,但結果會依流量而異。這項功能目前要求使用支援的 vLLM 容器,且至少有兩個執行個體或模型副本;新對話第一次送出時仍沒有快取可用。

    推薦理由:文章比較 KV-aware routing 與固定字首路由的差異,並提供長對話負載下的延遲與快取命中率資料,方便判斷是否適合自己的流量。

  13. AWS Machine Learning Blog70

    AWS 教你把固定規則交給程式,減少不必要的生成式 AI 呼叫

    生成式 AI 工作流程若每一步都呼叫模型,費用、等待時間和答案變動都可能跟著增加。AWS 用客服助理舉例,說明格式檢查、關鍵字分流等能用規則判斷的工作,可交給程式處理;需要從固定選項中挑答案時,則限制可選範圍,沒把握就升級給模型。只有撰寫回覆等開放式工作,才交給符合需求的 Amazon Bedrock 模型。文章也提醒,模型寫出的規則要先檢查,並用已標記答案的資料測試升級條件。

    推薦理由:文章用客服流程示範如何把格式檢查與固定選項交給程式處理,並讓不確定的情況再交由模型判斷。

  14. Vercel Blog50

    Vercel Sandbox Python SDK 1.0 正式推出,能在隔離環境執行程式碼

    用 Python 執行 AI 產生的程式、測試修改或分析資料時,若想避免程式直接影響其他工作,就需要隔離的執行環境。Vercel Sandbox Python SDK 1.0 已穩定公開介面,功能也追上 TypeScript SDK;它能在隔離的沙盒裡執行工作,並在工作結束後自動清理環境。例如,可以從 Git 分支建立沙盒、執行測試,完成後自動清理。從 0.x 升級的人要留意,指令輸入和輸出已改用 bytes。

  15. Vercel Blog52

    Vercel 新增只為有開啟中 pull request 的分支建置預覽

    分支沒有開啟中的 pull request 時,預覽建置可能會消耗建置資源。Vercel 在 Ignored Build Step 新增預設選項,可略過這類分支的預覽建置;有開啟中 pull request 的分支仍會建置預覽,正式環境部署也照常進行。GitHub 和 GitLab 專案中,被略過的預覽部署會在消耗 Build CPU Minutes 前取消。到專案的 Deployments > Configuration,在 Ignored Build Step 選擇 Only build previews for pull requests 並儲存,就能啟用這項設定。

  16. Vercel Blog38

    Vercel 調整新團隊 Standard builds 計費方式,改按使用量收費

    新加入的 Pro 和 Enterprise 團隊不再免費包含 Standard build 時段,Standard builds 改和其他建置機器一樣按使用量收費。Pro 每使用 1 分鐘收 $0.014,團隊每月的使用額度也能用來支付建置費用;Enterprise 則依合約計價。受這次調整影響的團隊,即使從 Elastic 切換到 Standard,Standard builds 仍會繼續收費。

  17. AWS Machine Learning Blog64

    AWS 擴大 FDE 服務,協助企業把 AI 專案帶進正式營運

    AI 原型在展示時看起來可行,真正放進公司使用後,卻會遇到資料混亂、規模變大和稽核等問題。AWS 表示,Forward Deployed Engineering(FDE)服務現已在 15 個國家提供,工程團隊會和客戶一起,在客戶自己的 AWS 帳號中打造 AI 系統,並把基礎建設、工作流程和治理控制一開始就納入設計。文章舉例,Marsh 的第一個應用約兩個月後進入正式營運,部分流程處理時間從數小時縮短到數秒;AWS 也表示,目標是讓客戶團隊能在合作結束後自行維護和擴充系統。

    推薦理由:文章整理企業把 AI 從展示原型帶進正式營運時,基礎建設、工作流程與治理三方面的難題,並以客戶案例說明 FDE 的做法。

  18. AWS Machine Learning Blog63

    AWS SageMaker JumpStart 開放部署 OpenTSLM 時間序列模型

    只看大量裝置數字,很難及早看出問題從哪裡來。OpenTSLM 能把 CPU 使用量、磁碟空間等數值,和維修紀錄或文字說明放在一起分析,再整理可能的狀況、建議檢查方式和預期結果。文中以 Nexthink 的 IT 支援為例,Spark 會先確認磁碟空間是否不足,經員工同意後才進行清理,並確認問題是否改善。AWS 也示範如何在 SageMaker JumpStart 部署模型,以及用 ARFBench 資料微調;這提供了把時間序列資料接進實際工作流程的做法。

    推薦理由:OpenTSLM把數值變化和文字背景放在一起分析,文中也示範如何部署與微調,呈現從資料到實際 IT 支援的做法。

  19. Google Developers Blog73

    Google 開源 ABFS,讓 Android 大型程式碼庫更快下載與建置

    Android 程式碼庫很大,下載原始碼和重新建置常要等很久,也讓開發者和 AI 助理難以快速開好多個工作區並平行測試。Google 做了開源工具 ABFS,先載入檔案清單,等建置真的需要某個檔案時才下載,並重用 CI 和開發者已經做好的建置結果。Google 表示,Android 原始碼下載時間從約 36 分鐘縮短到不到 8 秒,完整建置則從約 80 分鐘縮短到 2 分鐘多。ABFS 也能讓多個工作區共用快取;Google 正探索把它用在其他大型 Git 專案。

    推薦理由:ABFS 把大型 Git 專案的檔案按需載入,並重用 CI 與開發環境的建置結果,文中以 Android 實測呈現這套做法如何縮短等待時間。

  20. Databricks Blog56

    Databricks 在 Azure Government 開放新版平臺 Beta

    政府機關要使用新的資料與 AI 工具,常得同時滿足嚴格的安全與合規要求。Databricks 宣佈 Azure Government 上的新平臺進入 Beta,已提供 Unity Catalog、Databricks SQL 和無伺服器運算,並預設啟用加強監控、叢集自動更新與加密等防護;客戶資料只會存放和處理於美國政府雲端區域。FedRAMP Class D 與 DoW IL5 授權仍在申請中,預計於 2027 年初取得;Beta 目前僅供非正式環境使用,完整 AI 功能也還在規劃中。

  21. AWS Machine Learning Blog63

    ArisGlobal 如何用 Amazon Bedrock 提示詞快取降低推論成本

    每新增一家企業客戶,ArisGlobal 的共用提示詞就會變長;如果每次請求都重新處理,推論成本也會跟著上升。ArisGlobal 原先先快取每個案件的 PDF,後來改成先放共用提示詞,再設快取檢查點,讓不同案件和客戶的請求都能重用這段內容。每月處理超過 19 billion tokens 時,這種做法讓整體推論支出約減少 40%,也讓企業客戶數增加約 15%,而 EU 跨區推論設定維持不變。

    推薦理由:ArisGlobal 的實例呈現提示詞快取該如何取捨:把能跨案件重用的共用字首放在快取檢查點前,降低成本並支援更多企業客戶。

11月17日週二
  1. Databricks Blog50

    Databricks Lakebase Postgres 如何靠快取,避免查詢直接讀取物件儲存

    一般人會擔心,Postgres 把資料放在物件儲存裡,查詢就得等很久。Lakebase Postgres 的做法是先找電腦裡的快取,找不到再問 pageserver;只有兩邊都沒有,才去物件儲存找資料。實際上,約 99.46% 的頁面讀取都由電腦本機快取處理,物件儲存平均每秒只收到約 39 次請求。比較少見的情況,是很久沒使用的資料庫剛醒來,或有人還原舊資料;第一次讀取可能較慢,資料放進快取後,後續讀取就會走較快的路徑。這讓 Lakebase Postgres 能把資料放在物件儲存,同時維持快速查詢。