AWS 為 Apache Flink 託管服務推出增強型快照
更新 Apache Flink 應用程式時,如何保留目前的工作狀態,是部署和遷移時要處理的問題。AWS 為適用於 Apache Flink 的 Amazon 託管服務推出增強型快照,可用來啟動新版應用程式、匯入自行管理的 Flink 儲存點,也能匯出到 Amazon S3,再複製到其他區域供還原使用。這項功能支援 Apache Flink 1.20 及更新版本,快照備份依 GB/月計費。
更新 Apache Flink 應用程式時,如何保留目前的工作狀態,是部署和遷移時要處理的問題。AWS 為適用於 Apache Flink 的 Amazon 託管服務推出增強型快照,可用來啟動新版應用程式、匯入自行管理的 Flink 儲存點,也能匯出到 Amazon S3,再複製到其他區域供還原使用。這項功能支援 Apache Flink 1.20 及更新版本,快照備份依 GB/月計費。
升級大量 Apache Spark 作業,常要逐一規劃和聯絡負責人。AWS Glue 新增自動升級功能,將作業版本設為「Auto」後,就能自動使用較新的執行環境。升級前會檢查作業是否相容,並先取得同意;升級後則比對原有的輸出架構、資料量、延遲和格式。若作業需要修改程式碼,可以先留在目前版本,AWS Glue 也會列出升級分析和建議修正方式。此功能已在所有 AWS 商業區域推出。
推薦理由:AWS Glue 會先檢查作業能否適用新版本,再依原有輸出設定確認執行結果,讓大量 Spark 作業升級時有明確的檢查步驟。
映像管線失敗時,手動檢視建置紀錄、比對錯誤訊息和調整設定很花時間。AWS 把 DevOps AI 助理整合進 EC2 Image Builder 控制台,可讀取建置紀錄、工作流程、元件和網路設定,協助找出原因並提出修正步驟;一次最多能診斷 50 條失敗管線,也能依照使用者描述填入經過服務驗證的資源設定,供人檢查後提交。這項功能在所有商用區域提供,也可透過 AWS Agent Toolkit 的 EC2 Image Builder 技能使用。
推薦理由:EC2 Image Builder 可一次診斷最多 50 條失敗管線,也能依描述填入經驗證的資源設定,讓人瞭解這項整合如何減少手動查錯與反覆調整。
OpenRouter 以 GPT-6.1 Sol 翻譯網站字串,再由同一模型核對譯文,透過程式檢查、重試與人工審核維護 7 種語言的測試版在地化內容。
推薦理由:文章拆解翻譯從指紋追蹤、程式檢查到模型驗證與人工回報的流程,並以評測和成本資料說明各環節的取捨。
llama.cpp b12314 擴充 Adreno GPU 的 OpenCL 分解式 FA 支援,並調整 X2E 的支援範圍與 FA 核心建置方式。
AI 助理執行大型工作時需要更多運算資源,閒置時又可能持續佔用記憶體。AWS 現在讓 Amazon Bedrock AgentCore 新建的執行階段預設使用新一代環境:每個工作階段可擴充到 8 個 vCPU 和 32 GB 記憶體,閒置時會縮到零;工作階段會在隔離的 Firecracker microVM 中執行。以 2 GB 容器映像為例,P75 啟動時間從上一代的 29.7 秒降到 2 秒內;多輪 AI 助理每個工作階段的計費記憶體最多可減少 68%。既有執行階段要自行遷移,並可透過 platformVersion 選擇 V1 或 V2。
推薦理由:新執行環境把啟動速度、資源上限與閒置時的記憶體費用放在一起說明,方便評估多輪 AI 助理工作負載的部署成本。
llama.cpp b12311 更新 Discover 搜尋介面與下載狀態處理,改善搜尋期間下載專案的呈現、進度更新,以及不同使用者端之間的同步。 - 下載進度與狀態:改為分別節流每個檔案的進度更新,並確保每個檔案的首次更新會傳送;使用者端要求暫停或取消時,伺服器會回報停止狀態,避免被介面顯示為下載失敗。
PyTorch 更新 XPU 靜態啟動器,讓 loadKernel 在載入時拒絕請求共享區域記憶體(SLM)超過裝置 local_mem_size 的核心,並引發 torch.OutOfMemoryError,使 autotune 能捨棄該設定。
OpenRouter 比較自架開放權重模型與 API 的成本,說明 GPU 負載、模型吞吐量和 API 價格如何影響損益平衡。資料以 2026 年 10 月 8 日價格計算,並提供零資料保留與區域路由的隱私選項。
推薦理由:文章以同一組 token 組成比較 GPU 租用與 API 費用,並納入流量負載和每位使用者速度,呈現成本損益平衡的計算方式。
OpenRouter 說明如何用四種護欄阻止 AI 助理因工具呼叫失敗而持續重試,降低單次執行與多個工作階段累積的費用。 - 六個模型的測試:啟用 doom-loop detection 後,18 次測試中有 16 次在兩次實際工具呼叫後結束;工具呼叫總數從 314 降至 64,支出從 $0.29 降至 $0.05。
推薦理由:文章以六個模型的測試說明重試護欄如何減少工具呼叫與支出,並整理單次執行和 API 金鑰層級的控管方式。
AWS 說明如何在 Amazon SageMaker HyperPod 的 PyTorch DDP 訓練中偵測靜默資料損毀,定位疑似故障 GPU,隔離節點並從檢查點復原。
推薦理由:文章拆解三種訓練迴圈檢查如何定位靜默資料損毀,並以故障注入結果呈現偵測範圍、延遲與效能成本。
AWS 說明如何讓 Codex 透過 Amazon Bedrock 呼叫支援的 OpenAI 模型,並以小規模試行逐步驗證身分、模型存取與營運控管。
DXC Technology 說明如何以 Amazon Bedrock 建構多模型基礎層,支援 DXC OASIS 在企業 IT 營運中排程模型並管理代理行動。
把存放在 S3 的日誌和事件資料匯入時間序列集合,過去需要自行維護資料管線。Amazon OpenSearch Serverless 新增智慧攝取功能,可辨識資料格式、解析每筆內容並加入索引;你可以一次載入資料,也能在 S3 有新物件時持續更新,或先補齊舊資料再開始串流。資料必須包含有效時間戳,缺少或格式不對的資料會被拒收。載入後可使用時間序列集合的分層儲存、保留期限、警示和異常偵測功能,容量會依工作負載調整,並按活躍處理時間計費。
推薦理由:內容說明如何用單張 GPU 檢查分散式訓練中的當機、記憶體不足與數值錯誤,呈現大型訓練前可先採用的測試方法。
管理跨區域網路時,管理者往往得從許多 VPC、帳戶和區域拼湊流量紀錄。AWS Cloud WAN 現在能集中記錄核心網路中的 IP 流量,涵蓋 VPC、不同區域,以及透過 AWS Direct Connect、AWS Site-to-Site VPN 或 SD-WAN 連線的本地網路。紀錄包含 IP 位址、連線埠、協定、流量大小和封包遺失等資訊,可用來排查連線或效能問題、規劃容量、找出異常流量,或保留安全與法規所需紀錄。日誌可送到 Amazon CloudWatch Logs、Amazon S3 或 Amazon Data Firehose;AWS Cloud WAN 不另收流日誌費用,但目的地服務仍按標準費率計費。
AWS Frontier AI Engineering & Services 整理了 23 個開源生成式 AI 資產,涵蓋 RAG、檔案處理與AI 助理開發,提供經驗證的基礎元件與部署指南,協助團隊減少重複建置。
Amazon EKS 的 4XL 和 8XL 預置控制面板,現在有 24 GB 的 etcd 資料庫可用,原本是 16 GB。etcd 就像 Kubernetes 叢集的清單櫃,記著叢集裡有哪些物件;空間變大後,叢集能容納更多容器組、工作和其他資料,適合需要大量建立或修改物件的工作,例如 AI/ML 訓練、批次處理和 CI/CD。資料庫滿了,叢集就不能再新增或修改物件。使用 EKS 1.34 或更新版本的既有 4XL、8XL 叢集會自動升級;新叢集選這兩種級別也能使用。
llama.cpp b12291 啟用 Vulkan 搭配 coopmat2 的 KV 反量化最佳化,並以查詢 token 數乘上 GQA 比例作為啟用判斷的 heuristic。
要把現有的 x86 應用程式搬到 Lambda MicroVMs,原本可能得重新編譯或移植。AWS 現在讓使用者建立 MicroVM 映像時選擇 x86 或 Arm 架構,接著就能用該映像啟動 MicroVM,讓既有的 x86 應用程式、工具和軟體相依專案直接執行。Arm 仍是預設選項,使用 AWS Graviton 處理器;x86 支援已在提供 Lambda MicroVMs 的 AWS 區域推出,但亞太地區(香港、馬來西亞、泰國)和歐洲(西班牙)除外。
推薦理由:支援 x86 後,既有 x86 工作負載可直接搬到 Lambda MicroVMs 執行,減少重新編譯或移植的需要。
同一臺節點上的不同 Pod,有時需要連到不同資源,若只能共用節點的安全組,就不容易分開管理網路存取。Amazon EKS 自動模式現在可為個別 Pod 套用專用的 Amazon EC2 安全組,透過 SecurityGroupPolicy 指定哪些 Pod 使用哪些安全組;沒有符合任何策略的 Pod,仍會使用節點的安全組。這讓 Pod 能沿用 VPC 裡其他資源使用的安全規則,連線到以安全組控管存取的 Amazon RDS 或 Amazon ElastiCache。此功能適用於 Kubernetes 1.36 或更新版本的叢集,無須額外付費。
llama.cpp b12287 為少列數、長 K 維度且批次較小的 BF16 矩陣加入 MMVF 核心選擇條件,以減少 CUDA GPU 的運算單元閒置。
Meta 說明 Intelligent Delivery 如何在廣告服務系統中,依請求、模型、硬體與排序階段動態配置算力;自 2017 年以來,該系統在模型與系統改進之外,額外提升約 10% 的廣告排序效能。
開發 AWS 應用程式時,測試常得先部署到雲端,也需要 AWS 帳戶。AWS Emulator 讓既有的 AWS SDK 和 CLI 呼叫在本機或 CI 環境執行,支援的操作會回傳與 AWS 相同的結果和錯誤;尚未支援的操作則回傳「501 Not Implemented」。每個模擬器副本各自使用記憶體儲存資源狀態,彼此不會看到對方建立的資源。這樣可以先離線測試並修正程式,再部署到 AWS;模擬器本身不收額外服務費。
推薦理由:AWS Emulator 把 AWS 應用程式的測試搬到本機或 CI 環境,並說明支援範圍與各測試副本的隔離方式,方便評估部署前的測試流程。
Bright Machines 說明如何在不開放工廠入站連線的情況下,將受治理的工廠資料提供給客戶查詢。 - 資料流程:在工廠端以 Debezium 擷取 PostgreSQL 變更,寫入 Apache Iceberg,再透過單一可稽核的對外路徑傳送;Databricks 透過 Unity Catalog 聯合目錄讀取資料。
Amazon SageMaker AI 推出雙向串流用量計量,讓 AWS Marketplace 模型供應商能在即時推論期間回報用量,據此計算軟體費用。
推薦理由:這項功能把即時串流的軟體費用連結至供應商回報的用量,並說明中繼資料串流失效時如何取捨計量連續性與推論可用性。
Cloudflare 說明其全球控制平面系統 Meerkat 選用 QuePaxa 共識演演算法的原因,以及演演算法如何在網路延遲與連線波動時持續處理請求。
推薦理由:文章拆解 QuePaxa 如何以提案協作與選擇性領導因應全球網路延遲,並說明這些設計如何影響 Meerkat 的可用性與吞吐量。
llama.cpp 在 b12285 加入 CUDA FlashAttention 對 head size 40 與 72 的 MMA 支援,讓這兩種尺寸可使用 Tensor Core dispatch,不再回退至 tile kernel。
vLLM 說明如何以 Encoder/Prefill/Decode(EPD)分離多模態推論流程,並整理中繼資料轉送、編碼器執行、嵌入傳輸、快取與路由的工程進展。
推薦理由:文章整理 vLLM EPD 的媒體中繼資料、遠端嵌入傳輸與跨編碼器快取,並以不同工作負載的測試資料呈現效能差異。
llama.cpp b12284 加入 CUDA 的 OCP FP8 支援,並調整 FP8 相關核心與轉換路徑。
使用 Amazon SES 寄信的服務,客戶、品牌或 AI 助理增加時,電子郵件身份、租戶和設定檔也會跟著變多,原本的上限可能不夠用。現在 Amazon SES 提高了這些資源的上限,管理者可以在 AWS 服務配額主控臺檢視目前用了多少,也能申請提高上限;還能依名稱或狀態搜尋資源。這些調整已在所有提供 Amazon SES 的 AWS 區域推出,讓更多工作負載能留在同一個帳戶裡,不必為了避開上限而拆到多個帳戶。
llama.cpp 在 b12274 加入 FP8 KV cache 支援,並新增 scaled FP8 KV cache 測試。 相容性與測試:此版本調整 cache scale 對應與命名,支援 BF16 scales,並更新 KV cache 測試;也為使用 FP8 的 Gemma 4 Assistant 儲存及讀取 scale 指標。
PyTorch 調整 CUDA 與 ROCm 工作的測試設定,在多數工作中略過已由 CPU 工作執行的 GENERIC 測試類別。 - 重複執行量:這些工作每週約花 140k 測試分鐘執行 GENERIC 測試;變更後,相關測試只在特定定期、除錯及慢速測試工作中執行。
OpenRouter 說明 LLM 量化如何影響模型端點的品質與價格,並以 Qwen3.8 27B 測試 fp8、fp4 與 fp16 的表現。
推薦理由:OpenRouter 以 Qwen3.8 27B 的端點測試比較精度與價格,並說明樣本限制及路由篩選方式,可供評估不同端點的選擇策略。
OpenRouter 說明如何辨識 LLM API 的 429 速率限制來源,並以等待重設時間、切換備援模型及改由其他供應商提供服務三種方式處理。 - 等待重設時間:範例中的 60 筆請求使用預設重試時有 23 筆失敗;依 Retry-After 或 X-RateLimit-Reset 等待後,60 筆皆完成,Python 範例耗時 89 秒。
推薦理由:文章以 60 筆請求的實測比較等待重設時間與模型備援,呈現完成率、耗時和成本差異,並說明各自適用的限流情境。
PyTorch Inductor 透過支援編號 Z 軸與 GridND,啟用超過 3 維的逐點分塊,讓核心能產生並啟動具備 4 個以上逐點 tile 的 kernel。
合作夥伴或組織若要整理不同帳單群組和客戶的費用,過去得分別檢視各自的帳單檢視。AWS 現在讓自訂帳單檢視使用帳單管理處和帳單轉移檢視作為資料來源,也能搭配原有檢視、套用篩選條件,再於 Cost Explorer、AWS Budgets 和帳單與成本管理主控臺檢視。帳單群組檢視可合併各業務部門的成本;帳單轉移檢視和轉移成本展示檢視則分別呈現客戶轉給合作夥伴的費用,以及客戶看到的成本。自訂檢視也能透過 AWS Resource Access Manager 分享給其他帳戶。此功能已在所有 AWS 商業區域推出,無額外費用。
llama.cpp 在 b12263 調整 CUDA VMM 記憶體池的預留策略:預留失敗時會將預留大小減半後重試,並在合併記憶體的 GPU 上將預留量降至 8 GB,以處理 CUDA 記憶體不足錯誤。