跳到正文

#部署/工程

RSS
今日 0 則
11月10日週二
  1. AWS Machine Learning Blog65

    AWS 提出 Amazon Bedrock AgentCore 七層可組合企業AI 助理參考架構

    AWS提出 Pluggable Agentic AI Framework,以七層可組合參考架構協助多AI 助理應用從原型走向正式環境,涵蓋資料與知識、模型與推論、編排、安全防護、應用、可觀測性及AI 助理營運。

    推薦理由:文章以七層參考架構拆解多AI 助理從原型走向正式環境的設計,並用零售客服實作呈現各層如何協作與替換。

  2. AWS What's New63

    Claude Fable 5.2 登上 AWS GovCloud(美國),供受監管客戶使用

    受監管客戶需要在符合資料留存要求的環境中使用大型語言模型。AWS 宣佈 Claude Fable 5.2 已在 AWS GovCloud(美國)推出,適用於軟體工程、科學研究和金融等工作。文中提到,它能長時間自主處理大型工程問題、邊做邊測試,也能協調數百個子 AI 助理。Anthropic 將 Fable 5.2 列為需留存資料以進行安全監控的模型;符合條件的客戶在企業前沿保障措施推出前,可使用零資料留存功能。

  3. AWS What's New47

    Amazon MWAA 支援 DuckDB,能直接檢查和整理資料

    用 Amazon MWAA 跑資料工作時,想檢查或整理 Amazon S3 等來源的資料,現在可以直接使用 DuckDB。把環境更新到 Airflow 3.3.1,並讓執行角色有權存取資料儲存庫後,就能使用 DuckDBExecuteQueryOperator,不必另外設定。這項功能已在所有提供 Amazon MWAA 的 AWS 區域推出,讓使用者能更方便地把資料檢查、彙整和轉換工作排進流程裡。

  4. Meta Engineering76

    Meta 擴充 LLDB,以單一偵錯工作階段除錯跨 CPU 與 GPU 的應用程式

    Meta 建立 lldb-server 加速器外掛架構,讓 LLDB 在同一個偵錯工作階段中協調分別表示 CPU 與 GPU 的兩個 target。架構保留兩者各自的架構、執行緒、暫存器與記憶體空間,並由硬體專屬後端連線裝置偵錯 API。

    推薦理由:文章說明如何以兩個獨立 LLDB target 表示 CPU 與 GPU,並透過 lldb-server 外掛協調偵錯,呈現跨硬體共用偵錯流程的設計取捨。

  5. AWS What's New48

    Amazon DocumentDB 無伺服器版升級平臺版本 4,吞吐量最高提升 35%

    Amazon DocumentDB 無伺服器版推出平臺版本 4,吞吐量最高可提升 35%。新建的無伺服器叢集會自動使用所在 AWS 區域提供的最新平臺版本;原本使用平臺版本 3 的叢集,則可透過待處理的維護操作升級,選擇立即更新或等到下次排定的維護時段。升級後無法退回舊版,因此管理者可以先安排更新時間,但要留意升級是單向的。

  6. LMSYS Org Blog69

    DeepSeek-V4.1-Flash 如何在 H200 上加快分離式 Prefill 與 Decode

    處理長提示詞時,DeepSeek-V4.1-Flash 的 Prefill 會排隊,等待時間也拉長。Ant International AI Infra Team 在 8 張 H200 上用 SGLang 分開處理提示詞和逐字生成,並調整索引器計分、Prefill 分塊與 MoE 資料傳送,也讓有限重播能搭配 CP 和 DSpark。合併設定的 8 個測試案例中,E2E 延遲降低約 15%–64%,但每個輸出 token 的時間增加 3%–52%;GSM8K 準確率則從 96.74% 降到 95.38%。文章提醒,整體結果包含多項改動,不能把改善歸功於單一調整;有限重播也會省略部分區域性運算,可能影響答案品質。

    推薦理由:文中把各項加速分開測量,也列出合併設定的延遲與 GSM8K 變化,呈現輸入處理變快和逐字生成變慢之間的取捨。

11月9日週一
  1. Google Developers Blog75

    Google 宣佈 Pathways 在 Google Cloud Platform 正式全面推出

    Google 宣佈 Pathways 在 Google Cloud Platform 正式全面推出,這套分散式系統可透過單一 Python 使用者端描述訓練計算圖,由執行階段協調跨裝置工作。

    推薦理由:文章說明 Pathways 如何以單一使用者端描述跨裝置的計算圖,並由執行階段安排資料傳遞與工作順序,呈現其相對於 SPMD 的執行方式差異。

  2. AWS What's New57

    AWS 分析服務推出 Workday Data Cloud 雙向資料整合

    把 Workday 和 AWS 的資料放在一起分析,過去需要複製資料並維護 ETL 管線。現在,AWS 分析服務與 Workday Data Cloud 可直接查詢彼此的資料,不必搬動或複製資料,也會沿用兩邊原有的存取許可權。使用者可在 AWS 查詢 Workday 資料,也能在 Workday Analytics 查詢 AWS 的 Iceberg 資料表;例如把人力資料和業務資料連在一起,進行人才分析或人力規劃。這項整合已在提供 AWS Glue 的 AWS 商業區域推出。

  3. AWS What's New49

    Amazon FSx 的 S3 接入點擴大支援更多 AWS 區域

    現在,Amazon FSx 的檔案資料可以透過 S3 接入點,直接提供給使用 S3 的服務和程式使用,不必先搬動或複製資料。新增支援的範圍包括另外 4 個 AWS 區域的 FSx for NetApp ONTAP,以及另外 20 個區域的 FSx for OpenZFS。舉例來說,Amazon Bedrock 可以使用這些檔案資料提供回答所需的背景資訊,Amazon Athena 也能直接查詢同一份資料。這讓檔案留在原處,也能交給更多 AWS 工具使用。

  4. AWS What's New48

    Amazon Route 53 Profiles 現可讓同一個 VPC 使用多個設定檔

    以前,一個 VPC 只能連結一個 Route 53 Profiles 設定檔,所以負責 DNS 防火牆、私有託管區和轉送規則的不同團隊,都得把各自的設定放進同一個設定檔。現在,一個 VPC 可以連結多個設定檔,還能設定處理順序:Route 53 會先看優先順序數字較小的設定檔。這樣各團隊可以分開管理共用設定和團隊專用設定,不必把它們合在一起,也能配合最低許可權原則管理許可權。這項功能已在所有提供 Route 53 Profiles 的 AWS 區域推出,每個設定檔與 VPC 的連結都依標準價格計費。

  5. AWS What's New86

    AWS 推出 Nitro Sandboxes,讓 EKS、ECS 和 EC2 工作負載各自隔離執行

    在同一臺 EC2 上跑多個工作負載時,怎麼避免彼此影響,是多租戶和不受信任程式碼帶來的安全考量。AWS 推出 Nitro Sandboxes,讓 EKS 的容器組、ECS 的任務或輕量級虛擬機器,各自在 Nitro 硬體隔離的環境中執行;在 EKS 或 ECS 啟用只需改一行設定。工作負載也能透過加密認證確認隔離環境的完整性,再把機密資料交給它。這項服務可在多數 Nitro EC2 執行個體上使用,不另收費。

    推薦理由:Nitro Sandboxes 為 EKS、ECS 工作負載提供各自的硬體隔離環境,也能在 EC2 上自行管理,適合評估不受信任程式碼的執行方式。

  6. AWS What's New60

    Amazon EKS 自動模式和 Karpenter 支援動態分配 GPU 與 EFA

    需要 GPU 和 EFA 的 Kubernetes 工作負載,得找到符合裝置條件的執行個體才能運作。Amazon EKS 自動模式和 Karpenter 現在支援動態資源分配(DRA),可依 GPU 或 EFA 的型號、架構等條件提出需求,再由 Karpenter 啟動符合條件且成本最低的 Amazon EC2 執行個體。執行分散式訓練或推論時,也能指定彼此拓撲相配的 GPU 和 EFA;Amazon EKS 自動模式還會避免使用 DRA 的工作負載與使用同類裝置外掛程式的工作負載共用節點。這項支援已在 AWS GovCloud(美國)和中國以外的 AWS 區域推出;EKS 自動模式需使用 Kubernetes 1.36 或更新版本。

11月8日週日
11月7日週六
  1. Vercel Blog64

    Vercel Tracing 向所有方案正式開放

    Vercel Tracing 正式向所有方案開放,使用者可從儀錶板或 Vercel CLI 搜尋與檢視追蹤資料;新建的 Next.js 專案也會預設啟用追蹤。 儀錶板搜尋:新增 Traces 頁面,集中顯示專案或整個團隊的 traces 與 spans,可切換清單、篩選並使用 Kibana Query Language(KQL)搜尋;Live 模式會串流顯示新 traces。 CLI 操作:儀錶板與 vercel traces search --query 使用相同的 KQL 查詢,可搜尋團隊內所有專案,或用 --project 指定專案;另可透過 vercel traces inspect <request-id> 檢視單筆 trace,並用 vercel traces config 管理取樣規則。 Next.js 預設追蹤:從 Next.js 16.5 起,在 Vercel 建立且包含至少一個 Node.js function 的新專案,首次成功建置後會啟用追蹤。Vercel 會新增一條涵蓋所有環境、追蹤 100% 請求的取樣規則,並在建置時注入 instrumentation;若要停用,可在 Settings → Tracing 移除所有取樣規則。 資料保留期限:Hobby 為 3 天(Beta 期間為 1 小時)、Pro 為 14 天(原為 1 天)、Enterprise 為 14 天(原為 3 天)。定價與 Beta 期間相同。

  2. AWS What's New42

    Amazon MWAA 無伺服器支援自訂運運算元和 Apache Airflow 提供商套件運運算元

    使用 Amazon MWAA 無伺服器時,資料工程師現在可以在工作流程中使用 Apache Airflow 提供商套件裡的運運算元,例如 HTTP、Snowflake、dbt,也能加入自己寫的運運算元。只要把運運算元放程序式碼套件、上傳到 Amazon S3,再在建立或更新工作流程時指定,就能用來串接不同系統或執行特定工作,不必先準備基礎架構。這項功能已在提供 Amazon MWAA 無伺服器的所有 AWS 區域推出。

  3. Baseten59

    Baseten Loops 正式推出無伺服器服務,提供 SFT 與 RL 訓練所需的基礎設施,並支援從訓練完成的 checkpoint 一鍵部署至正式環境推論。 服務特色:常駐暖機基礎設施可消除冷啟動;訓練與取樣採按 token 計價,並提供模型專屬數值驗證,以降低訓練與取樣之間的不匹配。 使用與權重:團隊提供資料、獎勵函式與訓練邏輯,模型權重由使用者持有。

11月6日週五
  1. Hugging Face Blog83

    ToyBlocks:機器人學習與評估的可控世界

    ToyBlocks 是一個開源模擬框架,提供可控環境、任務與示範自動生成、以及評估指標,讓研究者能在統一平臺上探討機器人學習資料需求、泛化與高階推理能力。

    推薦理由:本文展示了 ToyBlocks 框架如何在可控環境下評估機器人學習的資料需求與泛化能力,並提供自動化任務與示範生成工具,為實驗設計與模型驗證提供可複製的基礎,促進機器人學習研究的可重現性與擴充套件性。