AWS 提出 Amazon Bedrock AgentCore 七層可組合企業AI 助理參考架構
AWS提出 Pluggable Agentic AI Framework,以七層可組合參考架構協助多AI 助理應用從原型走向正式環境,涵蓋資料與知識、模型與推論、編排、安全防護、應用、可觀測性及AI 助理營運。
推薦理由:文章以七層參考架構拆解多AI 助理從原型走向正式環境的設計,並用零售客服實作呈現各層如何協作與替換。
AWS提出 Pluggable Agentic AI Framework,以七層可組合參考架構協助多AI 助理應用從原型走向正式環境,涵蓋資料與知識、模型與推論、編排、安全防護、應用、可觀測性及AI 助理營運。
推薦理由:文章以七層參考架構拆解多AI 助理從原型走向正式環境的設計,並用零售客服實作呈現各層如何協作與替換。
打造你想要的軟體,不必維護。 啟用 Replit Monitoring Agent,自動偵測並調查正式環境問題、驗證修正,並代你部署。 全天候 24/7 https://t.co/DZ9JSKXa1B
受監管客戶需要在符合資料留存要求的環境中使用大型語言模型。AWS 宣佈 Claude Fable 5.2 已在 AWS GovCloud(美國)推出,適用於軟體工程、科學研究和金融等工作。文中提到,它能長時間自主處理大型工程問題、邊做邊測試,也能協調數百個子 AI 助理。Anthropic 將 Fable 5.2 列為需留存資料以進行安全監控的模型;符合條件的客戶在企業前沿保障措施推出前,可使用零資料留存功能。
用 Amazon MWAA 跑資料工作時,想檢查或整理 Amazon S3 等來源的資料,現在可以直接使用 DuckDB。把環境更新到 Airflow 3.3.1,並讓執行角色有權存取資料儲存庫後,就能使用 DuckDBExecuteQueryOperator,不必另外設定。這項功能已在所有提供 Amazon MWAA 的 AWS 區域推出,讓使用者能更方便地把資料檢查、彙整和轉換工作排進流程裡。
Meta 建立 lldb-server 加速器外掛架構,讓 LLDB 在同一個偵錯工作階段中協調分別表示 CPU 與 GPU 的兩個 target。架構保留兩者各自的架構、執行緒、暫存器與記憶體空間,並由硬體專屬後端連線裝置偵錯 API。
推薦理由:文章說明如何以兩個獨立 LLDB target 表示 CPU 與 GPU,並透過 lldb-server 外掛協調偵錯,呈現跨硬體共用偵錯流程的設計取捨。
PyTorch 的 PR #201666 統一 CMake 建置選項的環境變數優先順序,讓所有轉送的變數都依同一規則套用,並在每次建置時重新生效。
Amazon DocumentDB 無伺服器版推出平臺版本 4,吞吐量最高可提升 35%。新建的無伺服器叢集會自動使用所在 AWS 區域提供的最新平臺版本;原本使用平臺版本 3 的叢集,則可透過待處理的維護操作升級,選擇立即更新或等到下次排定的維護時段。升級後無法退回舊版,因此管理者可以先安排更新時間,但要留意升級是單向的。
處理長提示詞時,DeepSeek-V4.1-Flash 的 Prefill 會排隊,等待時間也拉長。Ant International AI Infra Team 在 8 張 H200 上用 SGLang 分開處理提示詞和逐字生成,並調整索引器計分、Prefill 分塊與 MoE 資料傳送,也讓有限重播能搭配 CP 和 DSpark。合併設定的 8 個測試案例中,E2E 延遲降低約 15%–64%,但每個輸出 token 的時間增加 3%–52%;GSM8K 準確率則從 96.74% 降到 95.38%。文章提醒,整體結果包含多項改動,不能把改善歸功於單一調整;有限重播也會省略部分區域性運算,可能影響答案品質。
推薦理由:文中把各項加速分開測量,也列出合併設定的延遲與 GSM8K 變化,呈現輸入處理變快和逐字生成變慢之間的取捨。
Google 宣佈 Pathways 在 Google Cloud Platform 正式全面推出,這套分散式系統可透過單一 Python 使用者端描述訓練計算圖,由執行階段協調跨裝置工作。
推薦理由:文章說明 Pathways 如何以單一使用者端描述跨裝置的計算圖,並由執行階段安排資料傳遞與工作順序,呈現其相對於 SPMD 的執行方式差異。
PyTorch 的 FSDP 改為在分片群組大小為 1 時,重用打包後的輸入作為 reduction 輸出,避免為不會執行 collective 的群組額外配置並複製梯度緩衝區。
把 Workday 和 AWS 的資料放在一起分析,過去需要複製資料並維護 ETL 管線。現在,AWS 分析服務與 Workday Data Cloud 可直接查詢彼此的資料,不必搬動或複製資料,也會沿用兩邊原有的存取許可權。使用者可在 AWS 查詢 Workday 資料,也能在 Workday Analytics 查詢 AWS 的 Iceberg 資料表;例如把人力資料和業務資料連在一起,進行人才分析或人力規劃。這項整合已在提供 AWS Glue 的 AWS 商業區域推出。
現在,Amazon FSx 的檔案資料可以透過 S3 接入點,直接提供給使用 S3 的服務和程式使用,不必先搬動或複製資料。新增支援的範圍包括另外 4 個 AWS 區域的 FSx for NetApp ONTAP,以及另外 20 個區域的 FSx for OpenZFS。舉例來說,Amazon Bedrock 可以使用這些檔案資料提供回答所需的背景資訊,Amazon Athena 也能直接查詢同一份資料。這讓檔案留在原處,也能交給更多 AWS 工具使用。
以前,一個 VPC 只能連結一個 Route 53 Profiles 設定檔,所以負責 DNS 防火牆、私有託管區和轉送規則的不同團隊,都得把各自的設定放進同一個設定檔。現在,一個 VPC 可以連結多個設定檔,還能設定處理順序:Route 53 會先看優先順序數字較小的設定檔。這樣各團隊可以分開管理共用設定和團隊專用設定,不必把它們合在一起,也能配合最低許可權原則管理許可權。這項功能已在所有提供 Route 53 Profiles 的 AWS 區域推出,每個設定檔與 VPC 的連結都依標準價格計費。
在同一臺 EC2 上跑多個工作負載時,怎麼避免彼此影響,是多租戶和不受信任程式碼帶來的安全考量。AWS 推出 Nitro Sandboxes,讓 EKS 的容器組、ECS 的任務或輕量級虛擬機器,各自在 Nitro 硬體隔離的環境中執行;在 EKS 或 ECS 啟用只需改一行設定。工作負載也能透過加密認證確認隔離環境的完整性,再把機密資料交給它。這項服務可在多數 Nitro EC2 執行個體上使用,不另收費。
推薦理由:Nitro Sandboxes 為 EKS、ECS 工作負載提供各自的硬體隔離環境,也能在 EC2 上自行管理,適合評估不受信任程式碼的執行方式。
需要 GPU 和 EFA 的 Kubernetes 工作負載,得找到符合裝置條件的執行個體才能運作。Amazon EKS 自動模式和 Karpenter 現在支援動態資源分配(DRA),可依 GPU 或 EFA 的型號、架構等條件提出需求,再由 Karpenter 啟動符合條件且成本最低的 Amazon EC2 執行個體。執行分散式訓練或推論時,也能指定彼此拓撲相配的 GPU 和 EFA;Amazon EKS 自動模式還會避免使用 DRA 的工作負載與使用同類裝置外掛程式的工作負載共用節點。這項支援已在 AWS GovCloud(美國)和中國以外的 AWS 區域推出;EKS 自動模式需使用 Kubernetes 1.36 或更新版本。
NVIDIA 發布針對韓國多款開放模型的 Dynamo 部署配方,協助將模型部署至多節點環境中的 NVIDIA GPU。 - 涵蓋模型:SK Telecom 的 A.X K2、LG AI Research 的 K-EXAONE 2.0、Upstage 的 Solar Open 2,以及 Motif Technologies 的 Motif-3。
NVIDIA 與韓國科學技術情報通訊部(MSIT)擴大主權 AI 合作,範圍涵蓋 AI 半導體、資料中心基礎設施、人才、新創公司、模型、AI 助理與安全。
JFrog公佈第三季財報,營收年增 31% 至 $179 million,優於分析師預期,股價隨後上漲 35.3% 至 $101,創下新高。
DwarfStar 的 kimi-k3 分支現在可以直接從 safetensors 權重進行 K3.1 PRO 推論,並透過 SSD 串流。速度較慢,但足以應付 QA 任務。
OpenSharing 讓 Databricks 之間的資料共享不需複製檔案,直接以 Delta 表格做即時流式讀取。
Moonshot AI 的 Kimi K3.1 Pro(Highspeed)已在 Amazon Bedrock 上推出,可用於編碼、檔案處理等 AI 助理應用,並提供較高的每秒輸出 Token 數(OTPS),加快結果生成。
Amazon Bedrock AgentCore 提供的 AWS AI 助理登入服務已在 AWS GovCloud(美國西部) 區域推出,讓公共部門組織及合作夥伴能在環境中管理AI 助理與工具的集中式清單。
Vercel Tracing 正式向所有方案開放,使用者可從儀錶板或 Vercel CLI 搜尋與檢視追蹤資料;新建的 Next.js 專案也會預設啟用追蹤。 儀錶板搜尋:新增 Traces 頁面,集中顯示專案或整個團隊的 traces 與 spans,可切換清單、篩選並使用 Kibana Query Language(KQL)搜尋;Live 模式會串流顯示新 traces。 CLI 操作:儀錶板與 vercel traces search --query 使用相同的 KQL 查詢,可搜尋團隊內所有專案,或用 --project 指定專案;另可透過 vercel traces inspect <request-id> 檢視單筆 trace,並用 vercel traces config 管理取樣規則。 Next.js 預設追蹤:從 Next.js 16.5 起,在 Vercel 建立且包含至少一個 Node.js function 的新專案,首次成功建置後會啟用追蹤。Vercel 會新增一條涵蓋所有環境、追蹤 100% 請求的取樣規則,並在建置時注入 instrumentation;若要停用,可在 Settings → Tracing 移除所有取樣規則。 資料保留期限:Hobby 為 3 天(Beta 期間為 1 小時)、Pro 為 14 天(原為 1 天)、Enterprise 為 14 天(原為 3 天)。定價與 Beta 期間相同。
Vercel CLI 現已支援在部署時設定新專案的自動過期,過期後專案將被自動刪除。 - 使用方式:vercel deploy --delete-project-after <duration>,可選時間單位為 1h、1d、1w、2w、30d。
使用 Amazon MWAA 無伺服器時,資料工程師現在可以在工作流程中使用 Apache Airflow 提供商套件裡的運運算元,例如 HTTP、Snowflake、dbt,也能加入自己寫的運運算元。只要把運運算元放程序式碼套件、上傳到 Amazon S3,再在建立或更新工作流程時指定,就能用來串接不同系統或執行特定工作,不必先準備基礎架構。這項功能已在提供 Amazon MWAA 無伺服器的所有 AWS 區域推出。
使用 Okta Cross App Access 與 Amazon Bedrock AgentCore 管理 AI 代理存取 – 第 1 部分 **summary_zh。
Amazon MSK Replicator 現已於 AWS GovCloud(美國東部、美國西部)區域推出,可在 Amazon MSK 叢集之間,以及外部 Apache Kafka 叢集與 Amazon MSK 佈建叢集之間複製串流資料。
Snorkel 透過 Modal 的 GPU/CPU 沙盒與彈性記憶體,能在數百萬次模擬中重現真實環境,提升代理模擬的準確性與成本效益。 - 沙盒功能:支援多容器基礎設施與 GPU 加速深度學習環境,並可彈性擴充 CPU/記憶體。
AWS 已在 AWS Data Exports for CUR 2.0 與 AWS Cost Explorer 中支援攤銷適用於 ML 的 Amazon EC2 容量塊預付費用,讓使用者檢視各執行個體及未使用容量的攤銷成本,並將費用歸屬至使用容量的工作負載。
ToyBlocks 是一個開源模擬框架,提供可控環境、任務與示範自動生成、以及評估指標,讓研究者能在統一平臺上探討機器人學習資料需求、泛化與高階推理能力。
推薦理由:本文展示了 ToyBlocks 框架如何在可控環境下評估機器人學習的資料需求與泛化能力,並提供自動化任務與示範生成工具,為實驗設計與模型驗證提供可複製的基礎,促進機器人學習研究的可重現性與擴充套件性。
AWS 擴大容量預留資源組在 AWS GovCloud(美國)區域的支援範圍,現在可將適用於 ML 的 Amazon EC2 容量區塊與可中斷容量預留加入資源組。
Amazon Simple Email Service(Amazon SES)已在亞太地區的紐西蘭、墨爾本、臺北與泰國,以及墨西哥(中部)和歐洲(西班牙)推出,客戶可在這些區域使用服務寄送電子郵件,並在有需要時協助管理資料要求。
Artificial Analysis 釋出 Endpoint Accuracy Index v1.1,擴大 GLM‑5.3 Flash 與 Muse Spark Open 的評測覆蓋。
Franklin Templeton 正運用 OpenAI 工具與 Codex 開發投資研究工作流程,整合不同研究觀點與投資風險,協助投資組合經理取得洞見。