ExecuTorch 推出 WebGPU 後端,讓 PyTorch 模型在瀏覽器中使用 GPU 執行
ExecuTorch 推出 WebGPU 後端,讓 PyTorch 模型可匯出為 .pte 檔,並在支援 WebGPU 的瀏覽器中使用 GPU 執行。
推薦理由:同一個 .pte 檔可透過 ExecuTorch WebGPU 在瀏覽器與多種原生平臺執行,文中也提供了瀏覽器 GPU 與 CPU 路徑的效能比較。
ExecuTorch 推出 WebGPU 後端,讓 PyTorch 模型可匯出為 .pte 檔,並在支援 WebGPU 的瀏覽器中使用 GPU 執行。
推薦理由:同一個 .pte 檔可透過 ExecuTorch WebGPU 在瀏覽器與多種原生平臺執行,文中也提供了瀏覽器 GPU 與 CPU 路徑的效能比較。
Trovata 將自主 AI 代理整合進其企業財資管理平臺,透過 Amazon Bedrock 與 Amazon Bedrock AgentCore 執行持續性的工作流程,協助財資團隊監控活動、分析差異、偵測異常並自動提供更新。
在工作流程中分析資料,常得先處理工具設定和 S3 存取憑證。Amazon MWAA 無伺服器現在支援 DuckDB 運算元,可直接在工作流程中查詢 S3 資料,或在本機分析和轉換資料,不必手動設定憑證;預設連線會使用工作流程的執行角色憑證。在 SageMaker 融通式合作開發工作室的視覺化工作流程中,也能從任務面板加入 DuckDB 運算元。
GPU 硬體進步很快,但工程師常得在容易寫的程式工具和能細部控制硬體的寫法之間取捨。Meta 打造 TLX,讓工程師沿用 Triton 寫運算,再安排不同工作群組如何搬資料、計算和同步,讓資料搬移與運算能重疊進行。Meta 分享的案例包括推薦系統訓練、推論,以及大型語言模型訓練;其中一項推薦系統推論最佳化,讓特定模型的計算延遲最多降低三分之二。這些案例呈現 TLX 如何把新款 GPU 的功能用在實際工作中。
推薦理由:TLX 的實際案例說明,讓工程師直接安排 GPU 工作與資料搬移,如何改善推薦系統推論和大型語言模型訓練。
AWS 示範如何建置集中式 Amazon Bedrock 呼叫觀測資料湖,讓團隊跨帳戶查詢每次呼叫的提示詞、回應、Token 用量、模型與 IAM 身分。
想升級資料庫,又怕新版本讓工作變慢或不穩?Amazon RDS for MySQL 26.10 已在資料庫預覽環境開放測試,讓使用者先試用新版 MySQL。這次更新改善了繁忙工作時的效能,也會在清理工作累積、可能拖慢資料庫時,把警告寫進錯誤紀錄,方便及早處理。預覽環境中的資料庫最多保留 60 天,之後會自動刪除。
NVIDIA 將 OpenShell 捐贈給 CNCF,並公佈三項擴充 DSX AI Factory Platform 的開源元件,涵蓋AI 助理治理、Kubernetes 叢集管理與推論擴充套件。
推薦理由:OpenShell、Agent Substrate 與三項 Kubernetes 元件分別處理AI 助理治理、工作負載擴充套件和推論容量,可看出 NVIDIA 推進 AI 基礎設施開源的不同切入點。
GPU 執行模型時,工作被拆成許多小步驟,步驟之間的等待會讓部分晶片閒著。LMSYS 團隊為 Muse Spark Open 寫了一種叫 megakernel 的大型 GPU 程式,把每一層的多項工作合在一起,讓不同部分能趁空檔先處理下一件事。在 Blackwell GPU 上,單次請求的解碼速度從每秒 517 個 token 提升到 1,109 個 token;團隊也把草稿模型的執行步驟從 175 次減到 8 次。這種做法目前只支援搭配猜測解碼的單一請求,團隊接下來打算擴充到多個請求。
推薦理由:文章拆解 megakernel 如何合併 GPU 工作、減少等待,並以 Muse Spark Open 的實測展示效能變化,能看出低延遲推論的工程取捨。
混合模型會同時使用不同型別的記憶體,流量一變,原本分好的空間可能一邊用光、一邊閒置。SGLang 新增統一記憶體功能,讓各類資料共用一塊 GPU 空間,系統會依需求重新安排;即使資料大小和格式不同,也能一起管理。文章中的測試顯示,在 GPT-OSS-20B 的一種工作負載下,統一記憶體可同時處理約 1,000 個請求,原本的分池方式是 618 個,吞吐量也高 14%。這項功能目前仍屬實驗性,且有部分模型與功能限制。
推薦理由:文章比較共用記憶體與固定分池在不同流量下的表現,並說明統一配置如何減少容量閒置與請求退回。
Speed Insights 與 Web Analytics 現在會將部署到自訂環境的資料歸屬至該環境,讓使用者能分別追蹤 staging、QA 或 canary 環境的效能與流量。
管理不同 AWS 帳戶的 S3 存取授權時,得一個帳戶一個帳戶查,才能知道誰能讀取哪些資料。現在,Amazon S3 存取許可權管理可以用一次 API 呼叫,列出自己帳戶和別人分享給你的帳戶中的所有授權,並標明每筆授權屬於哪個帳戶。例如,要查某個 S3 路徑的存取憑證,系統也能找到負責的帳戶並回傳符合授權的憑證。這項功能已在所有提供 S3 存取許可權管理的 AWS 區域推出,不另收費。
llama.cpp b12247 修正 MoltenVK 上的越界讀取與寫入,並修復相關測試的 sentinel 不匹配錯誤;另調整 norm_f32、l2_norm_f32 和 sum_rows_f32 管線的 disable_robustness 設定。
PyTorch DCP 修正 Hugging Face safetensors 整併流程,略過對映中沒有實際儲存張量的專案,避免產生含空白 dtype 的無效標頭,導致下游載入器拒絕檔案。
PyTorch 將 gfx1100、gfx1101、gfx1102(RDNA3)及 gfx1150、gfx1151(RDNA3.5)加入 CK SDPA 支援架構,並新增 USE_ROCM_CK_SDPA_GFX11 選項,讓使用者可選擇建置此支援。
llama.cpp b12246 調整 Qualcomm Adreno 上大型注意力頭的 Vulkan scalar flash attention,每個 workgroup 最多使用 8 列,以避免暫存器溢位造成速度大幅下降及測試逾時。
在 Amazon EKS 上執行 AI 推論時,團隊可能難以看出 GPU 是否閒置、工作負載有沒有充分使用資源,或推論為什麼變慢。Amazon CloudWatch 新增加速運算洞察功能,啟用 Amazon CloudWatch Observability 附加元件後,會自動找出叢集中的 NVIDIA GPU,並讓團隊從整個執行個體群逐層檢視到單一工作負載或加速器。畫面也會列出閒置或使用不足的工作負載、每個推論工作負載每個 Token 的估計成本,協助團隊排查首個 Token 等待過久等問題。這項功能不另收費,收集遙測資料仍依標準 CloudWatch 費率計價。
推薦理由:這項功能把 GPU 使用情況、推論工作負載和每個 Token 的估計成本放在同一套監控檢視中,方便團隊找出閒置資源與效能問題。
遊戲連線安排不順時,開發者以前不容易知道是哪些伺服器地點出了問題。Amazon GameLift Servers 現在能記錄每個地點的評估結果,包含玩家連線延遲、成本如何影響安排,以及最後成功、失敗或逾時。開發團隊可以找出哪些地點總是安排得慢、常常失敗,或遊戲連線被安排到意料之外的地方,再調整設定。每個遊戲工作佇列都能開啟這項功能,並把紀錄存到 Amazon CloudWatch Logs、Amazon S3 或 Amazon Data Firehose。
llama.cpp b12243 解除 Alchemist 在 head_dim=64 時使用 oneDNN fused SDPA 的限制。 其他內容:版本頁列出 macOS、iOS、Linux、Android、Windows 與 openEuler 的建置專案,涵蓋 CPU、CUDA、Vulkan、ROCm、OpenVINO 和 SYCL 等支援組態;部分專案標示為停用。
使用 OpenTelemetry 指標的團隊,過去可能得另外保留傳統指標警報,才能自動調整容量。現在 Amazon CloudWatch 的 PromQL 警報可觸發 EC2 Auto Scaling 和 Application Auto Scaling 的簡單及分步擴縮策略,讓團隊能用和儀錶板、警報相同的 PromQL 查詢來調整容量。分步擴縮會依查詢結果超過門檻的程度選擇步驟;查詢必須只回傳一組序列。此功能目前不支援目標追蹤策略,所有提供 CloudWatch PromQL 警報的 AWS 區域均可使用,並依一般 CloudWatch 警報價格計費。
升級搜尋服務時,團隊可能擔心新版本出問題,影響正在使用的工作。Amazon OpenSearch Service 現在會把資料複製到執行新版本的另一個叢集,原本的叢集則繼續處理工作。團隊可以對新舊叢集執行相同的搜尋,並用 Amazon CloudWatch 指標比較表現;確認合適後再切換,若發現問題,也能在切換前取消,或在保留期限內回復舊版。這項功能適用於 OpenSearch 1.1 以上版本或 Elasticsearch 7.10 的網域,但部分 AWS 區域除外。
推薦理由:基於克隆的升級讓團隊能在正式切換前,用相同搜尋查詢和 CloudWatch 指標比較新舊版本,降低升級時判斷新版本是否合用的難度。
推薦理由:LibTorch Stable ABI 改變 PyTorch 與 vLLM 的升級和建置關係,文中列出使用者、發行者與開發者各自可減少的重建或重編譯負擔。
llama.cpp b12240 新增 Responses API 對 text.format.json_schema 轉換為 completions 的支援,並列出多種作業系統與硬體平臺的建置驗證專案。
想要在自己的電腦上跑專門寫程式的 AI 助理,常常會遇到跑不動或吃掉太多記憶體的問題。Ollama 這次推出 v0.40.16 更新,正式支援來自 Ricursive Intelligence、專門用來讓 AI 助理寫程式的 65B 稠密模型 Ripple Preview,只要輸入指令就能直接執行。這次更新還帶來不少好處,例如讓 Qwen3.8 Flash Next 在 Apple silicon 晶片上足足省下約 27 GiB 記憶體,並且修正了 Claude Code 的模型導向與多項介面錯誤,讓大家用電腦跑 AI 工具時更順暢、更省資源。
Vercel Sandbox 快照建立速度提升最高 10 倍,中位建立時間從 4.4 秒縮短至 0.4 秒以下。 - 還原速度:p50 從 500ms 改善至 250ms,提升 50%。
OpenAI 建置 Control Room,集中追蹤研究基礎設施中的模型工作負載,並在出現安全疑慮時停止模型輸出。 - 停止機制:推論引擎在處理請求前向 Control Room 確認工作是否仍可執行;工作遭停止後,後續推論請求會被拒絕。
PyTorch 新增 CUDA 13.5 CI 映像建置流程的第一步,加入 AlmaLinux 建置映像並發布 pytorch/almalinux-builder:cuda13.5-main,供 magma 建置使用。
日誌群組很多時,逐一設定資料要保留多久,容易讓規則不一致。Amazon CloudWatch Logs 現在可用帳戶級策略,替所有日誌群組,或名稱以特定字首開頭的群組設定保留時間;策略也能只套用到新群組,或一併套用到現有群組。若多個策略都符合某個群組,就採用保留時間較長的那個,例如一般日誌設為 90 天,/security 開頭的日誌設為 1 年。這項功能已在除中東(巴林)和中東(阿聯酋)以外的 AWS 商業區域推出,每個帳戶和區域最多可管理 20 種策略,且不額外收費。
Vercel Workflow SDK 現在預設透過 WebSocket 將事件與串流寫入 Vercel Workflows,升級至 workflow@5.2.0 或更新版本即可使用。
要把 SaaS 應用程式的資料匯進 AWS,以前常得自己寫程式。AWS Glue 現在新增 100 款原生連接器,使用者可在 AWS Glue Data Catalog 建立連線,並在不同 ETL 工作中重複使用,沿用 AWS Glue 原本的許可權設定。連接器涵蓋財務、人資、工程等工具,資料可載入 Amazon S3 或 Amazon Redshift,用來分析和製作報表。這些連接器已在所有 AWS 商業區域提供,適用於 Glue 5.0 及更新版本。
推薦理由:新增連接器涵蓋多種 SaaS 服務,並可在 ETL 工作中重複使用,有助於瞭解整合企業資料的做法。
Google 宣佈開源 JAX 訓練框架 MaxText 加入 Cloud TPU 長上下文訓練支援,提供四種 Context Parallelism 策略,並結合 Tokamax Splash Attention kernel。
推薦理由:文章比較四種 Context Parallelism 的記憶體、通訊與模型形狀取捨,並提供依 KV 是否能放入 HBM 選擇策略的實務指引。
Vercel 將 Basic 與 Standard 建置機器的磁碟空間從 32 GB 提升至 64 GB,與 Enhanced 和 Turbo 的容量一致,降低建置時磁碟空間不足的風險。 適用範圍與費用:變更自動套用至所有方案與建置機器型別,不額外收費,也不需要調整設定。
NVIDIA Nemotron 3.5 Super VL 現已可透過 Amazon SageMaker JumpStart 部署,支援影像、影片與文字輸入,並提供 NVFP4 和 BF16 兩種版本。
推薦理由:文章比較 NVFP4 與 BF16 在 JumpStart 的部署選項與推論資料,並說明量化版本在多項多模態基準上的表現差異。
Databricks 宣佈擴大歐洲主權雲端佈局,計畫在 Azure Italy、Azure Spain 和 AWS European Sovereign Cloud 提供服務,讓歐洲客戶能在資料與作業環境受歐洲控制的前提下使用其資料與 AI 平臺。
Vercel Container Registry 將每個壓縮映像檔層的大小上限從 500 MB 提高至 2 GB,映像檔總大小上限仍為 15 GB。
CrossnoKaye 說明如何將 ATLAS 工業自動化平臺與 AURA AI 系統部署在 AWS,讓AI 助理依據工廠裝置拓樸、控制邏輯與感測資料調查問題,並以隔離的 Python 執行環境驗證計算結果。