跳到正文

全部動態

RSS
今日 4 則
11月10日週二
  1. LangChain Blog71

    LangChain 說明如何以評測驅動開發改善 AI 助理

    LangChain 說明如何透過評測驅動開發(EDD),在修改 AI 助理前先定義成功條件、建立評測,並比較每次變更的結果。 - 三個步驟:定義AI 助理應有的行為、先寫評測再開發,以及修改後比較實驗結果。

    推薦理由:文章以新增 IT 工單工具為例,示範如何先定義行為、建立評測並比較實驗,找出平均分數掩蓋的回歸問題。

  2. Wiz Blog & Research86

    Wiz 揭露 Qubole 跨帳戶存取遭濫用,攻擊者讀取 AWS 資料並竊取憑證

    Wiz 與 Sentra、Mandiant 發現,攻擊者於 2026 年 10 月 14 日至 26 日濫用與 Qubole 相關的 AWS 憑證,假冒受信任的跨帳戶角色進入多個客戶環境,列舉資源、取得設定與秘密、下載 S3 資料,並驗證找到的憑證。

    推薦理由:事件顯示,第三方跨帳戶信任角色即使閒置仍可能遭濫用;文中提供 CloudTrail 搜尋線索與縮限信任、許可權及網路來源的防禦做法。

  3. AWS What's New58

    Amazon Athena 推出系統表,方便查詢使用情況與稽核

    團隊想了解 Athena 的查詢使用情況,常得從不同服務收集資料,還要自己維護整理流程。現在可啟用 Athena 系統表,讓跨工作組的查詢使用資料在查詢完成數分鐘內,以唯讀 Iceberg 表的形式存放在 Amazon S3 表類資料儲存服務中;保留期限也能自行設定。平臺團隊可直接用 SQL 搜尋、篩選和彙整資料,例如檢視各工作組、使用者或資料表掃描了多少資料,進一步整理成本。AWS 會管理表格結構與維護工作,資料也能交給支援 Iceberg 的工具查詢。系統表已在提供 Athena 和 Amazon S3 表類資料儲存服務的 AWS 區域推出。

  4. AWS What's New48

    Amazon DocumentDB 無伺服器版升級平臺版本 4,吞吐量最高提升 35%

    Amazon DocumentDB 無伺服器版推出平臺版本 4,吞吐量最高可提升 35%。新建的無伺服器叢集會自動使用所在 AWS 區域提供的最新平臺版本;原本使用平臺版本 3 的叢集,則可透過待處理的維護操作升級,選擇立即更新或等到下次排定的維護時段。升級後無法退回舊版,因此管理者可以先安排更新時間,但要留意升級是單向的。

  5. LMSYS Org Blog69

    DeepSeek-V4.1-Flash 如何在 H200 上加快分離式 Prefill 與 Decode

    處理長提示詞時,DeepSeek-V4.1-Flash 的 Prefill 會排隊,等待時間也拉長。Ant International AI Infra Team 在 8 張 H200 上用 SGLang 分開處理提示詞和逐字生成,並調整索引器計分、Prefill 分塊與 MoE 資料傳送,也讓有限重播能搭配 CP 和 DSpark。合併設定的 8 個測試案例中,E2E 延遲降低約 15%–64%,但每個輸出 token 的時間增加 3%–52%;GSM8K 準確率則從 96.74% 降到 95.38%。文章提醒,整體結果包含多項改動,不能把改善歸功於單一調整;有限重播也會省略部分區域性運算,可能影響答案品質。

    推薦理由:文中把各項加速分開測量,也列出合併設定的延遲與 GSM8K 變化,呈現輸入處理變快和逐字生成變慢之間的取捨。

11月9日週一
  1. Databricks Blog64

    Databricks 推出 UCDataset Beta,直接從 Unity Catalog 表格加速 GPU 訓練

    Databricks 推出 UCDataset Beta,讓 PyTorch 訓練工作直接從 Unity Catalog 表格串流資料至 GPU,省去匯出資料與撰寫自訂載入器的步驟。

    推薦理由:UCDataset 直接從 Unity Catalog 表格串流資料至多 GPU 訓練;文中以 300 GB 特徵表的模擬工作負載比較 Parquet,呈現資料管線對訓練時間的影響。

  2. ElevenLabs Official Blog62

    ElevenAgents Campaign Manager 推出外呼活動管理功能

    ElevenLabs 推出 ElevenAgents Campaign Manager,可依聯絡人狀態持續追蹤與跟進,協助團隊推進外呼活動至指定結果。

    推薦理由:Campaign Manager 將追蹤、重試、轉接與停止條件串成外呼流程,並提供聯絡人決策紀錄,呈現其如何管理整體活動進度。

  3. AWS What's New82

    Anthropic Claude Fable 5.2 在 AWS 上推出,主打長時間處理複雜工作

    需要處理大型工程問題時,工作可能跨好幾個程式碼庫,也不一定有清楚的邊界。Anthropic 推出 Claude Fable 5.2,並讓 AWS 客戶透過 Amazon Bedrock 和 AWS 雲端 Claude Platform 使用。它能連續工作數小時甚至數天,過程中自行測試,也會檢查難以重現的結果;Anthropic 表示,它在測試中曾協調數百個子助理。官方建議將它用於軟體工程、科學研究和金融工作。使用時也要留意,這款模型被列為需要保留資料以進行安全監控的模型;符合條件的客戶可使用零資料留存功能。

    推薦理由:這次更新主打長時間自主處理大型工程問題,也延伸到科學研究與量化金融,可從中瞭解 Anthropic 建議的使用場景。

  4. NVIDIA Newsroom Press Releases78

    NVIDIA 在 CoRL 推出 GR00T 2、Isaac Lab 3.0 等機器人技術

    NVIDIA 在 CoRL 推出 GR00T 2、Isaac Lab 3.0、機器人模擬工具與評測基準,協助研究者訓練、評估並改善機器人精細操作能力。 - GR00T 2:在 50 項任務中,每項僅提供一次示範時平均成功率為 71%;提供五次示範時升至 95%。

    推薦理由:NVIDIA 同步推出機器人模型、模擬工具與評測基準,文中提供訓練成功率、GPU 時間與吞吐量比較,可瞭解各工具如何支援精細操作訓練。

  5. OpenBMB64

    OpenBMB 推出 AutoRLBench,使用真實失敗的強化學習訓練案例,評測 10 個前沿AI 助理能否找出看似正常的獎勵曲線背後的根本原因。 - 評測材料:保留完整程式碼、設定、紀錄與指標,未使用合成錯誤。

    推薦理由:AutoRLBench 保留真實失敗訓練的程式碼、設定、紀錄與指標,可用來比較 10 個前沿AI 助理定位強化學習問題根因的能力差異。

  6. Hugging Face Blog69

    HOPE 如何透過專家互動改善 MoE 模型剪枝

    HOPE 是一種納入專家成對互動的 MoE 剪枝方法;在 3 個模型與多組基準測試中,它取得最佳整體排名,且在 50% 剪枝時優勢較明顯。 - 方法:HOPE 以校準資料計算專家互動矩陣,再透過二次規劃選出要移除的專家;作者提供校準、求解與剪枝工具。

    推薦理由:HOPE 將專家間的成對互動納入剪枝決策,並以 50% 剪枝下的基準比較呈現這種方法在高剪枝率時的表現差異。

  7. Google Developers Blog75

    Google 宣佈 Pathways 在 Google Cloud Platform 正式全面推出

    Google 宣佈 Pathways 在 Google Cloud Platform 正式全面推出,這套分散式系統可透過單一 Python 使用者端描述訓練計算圖,由執行階段協調跨裝置工作。

    推薦理由:文章說明 Pathways 如何以單一使用者端描述跨裝置的計算圖,並由執行階段安排資料傳遞與工作順序,呈現其相對於 SPMD 的執行方式差異。

  8. AWS What's New57

    AWS 分析服務推出 Workday Data Cloud 雙向資料整合

    把 Workday 和 AWS 的資料放在一起分析,過去需要複製資料並維護 ETL 管線。現在,AWS 分析服務與 Workday Data Cloud 可直接查詢彼此的資料,不必搬動或複製資料,也會沿用兩邊原有的存取許可權。使用者可在 AWS 查詢 Workday 資料,也能在 Workday Analytics 查詢 AWS 的 Iceberg 資料表;例如把人力資料和業務資料連在一起,進行人才分析或人力規劃。這項整合已在提供 AWS Glue 的 AWS 商業區域推出。

  9. AWS What's New49

    Amazon FSx 的 S3 接入點擴大支援更多 AWS 區域

    現在,Amazon FSx 的檔案資料可以透過 S3 接入點,直接提供給使用 S3 的服務和程式使用,不必先搬動或複製資料。新增支援的範圍包括另外 4 個 AWS 區域的 FSx for NetApp ONTAP,以及另外 20 個區域的 FSx for OpenZFS。舉例來說,Amazon Bedrock 可以使用這些檔案資料提供回答所需的背景資訊,Amazon Athena 也能直接查詢同一份資料。這讓檔案留在原處,也能交給更多 AWS 工具使用。

  10. AWS What's New48

    Amazon Route 53 Profiles 現可讓同一個 VPC 使用多個設定檔

    以前,一個 VPC 只能連結一個 Route 53 Profiles 設定檔,所以負責 DNS 防火牆、私有託管區和轉送規則的不同團隊,都得把各自的設定放進同一個設定檔。現在,一個 VPC 可以連結多個設定檔,還能設定處理順序:Route 53 會先看優先順序數字較小的設定檔。這樣各團隊可以分開管理共用設定和團隊專用設定,不必把它們合在一起,也能配合最低許可權原則管理許可權。這項功能已在所有提供 Route 53 Profiles 的 AWS 區域推出,每個設定檔與 VPC 的連結都依標準價格計費。

  11. AWS What's New86

    AWS 推出 Nitro Sandboxes,讓 EKS、ECS 和 EC2 工作負載各自隔離執行

    在同一臺 EC2 上跑多個工作負載時,怎麼避免彼此影響,是多租戶和不受信任程式碼帶來的安全考量。AWS 推出 Nitro Sandboxes,讓 EKS 的容器組、ECS 的任務或輕量級虛擬機器,各自在 Nitro 硬體隔離的環境中執行;在 EKS 或 ECS 啟用只需改一行設定。工作負載也能透過加密認證確認隔離環境的完整性,再把機密資料交給它。這項服務可在多數 Nitro EC2 執行個體上使用,不另收費。

    推薦理由:Nitro Sandboxes 為 EKS、ECS 工作負載提供各自的硬體隔離環境,也能在 EC2 上自行管理,適合評估不受信任程式碼的執行方式。

  12. AWS What's New60

    Amazon EKS 自動模式和 Karpenter 支援動態分配 GPU 與 EFA

    需要 GPU 和 EFA 的 Kubernetes 工作負載,得找到符合裝置條件的執行個體才能運作。Amazon EKS 自動模式和 Karpenter 現在支援動態資源分配(DRA),可依 GPU 或 EFA 的型號、架構等條件提出需求,再由 Karpenter 啟動符合條件且成本最低的 Amazon EC2 執行個體。執行分散式訓練或推論時,也能指定彼此拓撲相配的 GPU 和 EFA;Amazon EKS 自動模式還會避免使用 DRA 的工作負載與使用同類裝置外掛程式的工作負載共用節點。這項支援已在 AWS GovCloud(美國)和中國以外的 AWS 區域推出;EKS 自動模式需使用 Kubernetes 1.36 或更新版本。