跳到正文

#部署/工程

RSS
今日 0 則
11月12日週四
  1. AWS What's New64

    AWS 為 Apache Flink 託管服務推出增強型快照

    更新 Apache Flink 應用程式時,如何保留目前的工作狀態,是部署和遷移時要處理的問題。AWS 為適用於 Apache Flink 的 Amazon 託管服務推出增強型快照,可用來啟動新版應用程式、匯入自行管理的 Flink 儲存點,也能匯出到 Amazon S3,再複製到其他區域供還原使用。這項功能支援 Apache Flink 1.20 及更新版本,快照備份依 GB/月計費。

  2. AWS What's New72

    AWS Glue 推出 Apache Spark 作業自動升級

    升級大量 Apache Spark 作業,常要逐一規劃和聯絡負責人。AWS Glue 新增自動升級功能,將作業版本設為「Auto」後,就能自動使用較新的執行環境。升級前會檢查作業是否相容,並先取得同意;升級後則比對原有的輸出架構、資料量、延遲和格式。若作業需要修改程式碼,可以先留在目前版本,AWS Glue 也會列出升級分析和建議修正方式。此功能已在所有 AWS 商業區域推出。

    推薦理由:AWS Glue 會先檢查作業能否適用新版本,再依原有輸出設定確認執行結果,讓大量 Spark 作業升級時有明確的檢查步驟。

  3. AWS What's New67

    AWS 把 DevOps AI 助理整合進 EC2 Image Builder,協助查錯和建立資源

    映像管線失敗時,手動檢視建置紀錄、比對錯誤訊息和調整設定很花時間。AWS 把 DevOps AI 助理整合進 EC2 Image Builder 控制台,可讀取建置紀錄、工作流程、元件和網路設定,協助找出原因並提出修正步驟;一次最多能診斷 50 條失敗管線,也能依照使用者描述填入經過服務驗證的資源設定,供人檢查後提交。這項功能在所有商用區域提供,也可透過 AWS Agent Toolkit 的 EC2 Image Builder 技能使用。

    推薦理由:EC2 Image Builder 可一次診斷最多 50 條失敗管線,也能依描述填入經驗證的資源設定,讓人瞭解這項整合如何減少手動查錯與反覆調整。

  4. AWS What's New78

    Amazon Bedrock AgentCore 新執行環境改為新建執行階段的預設版本

    AI 助理執行大型工作時需要更多運算資源,閒置時又可能持續佔用記憶體。AWS 現在讓 Amazon Bedrock AgentCore 新建的執行階段預設使用新一代環境:每個工作階段可擴充到 8 個 vCPU 和 32 GB 記憶體,閒置時會縮到零;工作階段會在隔離的 Firecracker microVM 中執行。以 2 GB 容器映像為例,P75 啟動時間從上一代的 29.7 秒降到 2 秒內;多輪 AI 助理每個工作階段的計費記憶體最多可減少 68%。既有執行階段要自行遷移,並可透過 platformVersion 選擇 V1 或 V2。

    推薦理由:新執行環境把啟動速度、資源上限與閒置時的記憶體費用放在一起說明,方便評估多輪 AI 助理工作負載的部署成本。

  5. llama.cpp Releases36

    llama.cpp b12311 改善模型下載搜尋、進度顯示與跨使用者端同步

    llama.cpp b12311 更新 Discover 搜尋介面與下載狀態處理,改善搜尋期間下載專案的呈現、進度更新,以及不同使用者端之間的同步。 - 下載進度與狀態:改為分別節流每個檔案的進度更新,並確保每個檔案的首次更新會傳送;使用者端要求暫停或取消時,伺服器會回報停止狀態,避免被介面顯示為下載失敗。

  6. OpenRouter Announcements72

    OpenRouter 分析自架 LLM 與 API 的成本損益平衡

    OpenRouter 比較自架開放權重模型與 API 的成本,說明 GPU 負載、模型吞吐量和 API 價格如何影響損益平衡。資料以 2026 年 10 月 8 日價格計算,並提供零資料保留與區域路由的隱私選項。

    推薦理由:文章以同一組 token 組成比較 GPU 租用與 API 費用,並納入流量負載和每位使用者速度,呈現成本損益平衡的計算方式。

  7. OpenRouter Announcements78

    OpenRouter 教學:如何阻止 AI 助理陷入無限迴圈

    OpenRouter 說明如何用四種護欄阻止 AI 助理因工具呼叫失敗而持續重試,降低單次執行與多個工作階段累積的費用。 - 六個模型的測試:啟用 doom-loop detection 後,18 次測試中有 16 次在兩次實際工具呼叫後結束;工具呼叫總數從 314 降至 64,支出從 $0.29 降至 $0.05。

    推薦理由:文章以六個模型的測試說明重試護欄如何減少工具呼叫與支出,並整理單次執行和 API 金鑰層級的控管方式。

  8. AWS What's New57

    Amazon OpenSearch Serverless 可直接從 S3 載入時間序列資料

    把存放在 S3 的日誌和事件資料匯入時間序列集合,過去需要自行維護資料管線。Amazon OpenSearch Serverless 新增智慧攝取功能,可辨識資料格式、解析每筆內容並加入索引;你可以一次載入資料,也能在 S3 有新物件時持續更新,或先補齊舊資料再開始串流。資料必須包含有效時間戳,缺少或格式不對的資料會被拒收。載入後可使用時間序列集合的分層儲存、保留期限、警示和異常偵測功能,容量會依工作負載調整,並按活躍處理時間計費。

  9. PyTorch61

    PyTorch 核心維護者 @ezyang 說明如何在大型訓練前用單張 GPU 測試分散式程式中的當機、GPU 記憶體不足與數值錯誤。 - 測試方法:以 fake process group 替代分散式通訊,檢查程式是否當機或發生 GPU 記憶體不足;也可使用 SPMD types 尋找數值錯誤,無須執行完整規模的分散式測試。

    推薦理由:內容說明如何用單張 GPU 檢查分散式訓練中的當機、記憶體不足與數值錯誤,呈現大型訓練前可先採用的測試方法。

  10. AWS What's New58

    AWS Cloud WAN 支援集中檢視全球網路流量的流日誌

    管理跨區域網路時,管理者往往得從許多 VPC、帳戶和區域拼湊流量紀錄。AWS Cloud WAN 現在能集中記錄核心網路中的 IP 流量,涵蓋 VPC、不同區域,以及透過 AWS Direct Connect、AWS Site-to-Site VPN 或 SD-WAN 連線的本地網路。紀錄包含 IP 位址、連線埠、協定、流量大小和封包遺失等資訊,可用來排查連線或效能問題、規劃容量、找出異常流量,或保留安全與法規所需紀錄。日誌可送到 Amazon CloudWatch Logs、Amazon S3 或 Amazon Data Firehose;AWS Cloud WAN 不另收流日誌費用,但目的地服務仍按標準費率計費。

  11. AWS What's New49

    Amazon EKS 的 4XL 和 8XL 預置控制面板可用 24 GB etcd 資料庫

    Amazon EKS 的 4XL 和 8XL 預置控制面板,現在有 24 GB 的 etcd 資料庫可用,原本是 16 GB。etcd 就像 Kubernetes 叢集的清單櫃,記著叢集裡有哪些物件;空間變大後,叢集能容納更多容器組、工作和其他資料,適合需要大量建立或修改物件的工作,例如 AI/ML 訓練、批次處理和 CI/CD。資料庫滿了,叢集就不能再新增或修改物件。使用 EKS 1.34 或更新版本的既有 4XL、8XL 叢集會自動升級;新叢集選這兩種級別也能使用。

  12. AWS What's New67

    AWS Lambda MicroVMs 新增 x86 支援,既有應用程式可直接執行

    要把現有的 x86 應用程式搬到 Lambda MicroVMs,原本可能得重新編譯或移植。AWS 現在讓使用者建立 MicroVM 映像時選擇 x86 或 Arm 架構,接著就能用該映像啟動 MicroVM,讓既有的 x86 應用程式、工具和軟體相依專案直接執行。Arm 仍是預設選項,使用 AWS Graviton 處理器;x86 支援已在提供 Lambda MicroVMs 的 AWS 區域推出,但亞太地區(香港、馬來西亞、泰國)和歐洲(西班牙)除外。

    推薦理由:支援 x86 後,既有 x86 工作負載可直接搬到 Lambda MicroVMs 執行,減少重新編譯或移植的需要。

  13. AWS What's New64

    Amazon EKS 自動模式讓每個 Pod 使用自己的安全組

    同一臺節點上的不同 Pod,有時需要連到不同資源,若只能共用節點的安全組,就不容易分開管理網路存取。Amazon EKS 自動模式現在可為個別 Pod 套用專用的 Amazon EC2 安全組,透過 SecurityGroupPolicy 指定哪些 Pod 使用哪些安全組;沒有符合任何策略的 Pod,仍會使用節點的安全組。這讓 Pod 能沿用 VPC 裡其他資源使用的安全規則,連線到以安全組控管存取的 Amazon RDS 或 Amazon ElastiCache。此功能適用於 Kubernetes 1.36 或更新版本的叢集,無須額外付費。

  14. AWS What's New82

    AWS 推出 Emulator,讓開發者在本機測試 AWS 應用程式

    開發 AWS 應用程式時,測試常得先部署到雲端,也需要 AWS 帳戶。AWS Emulator 讓既有的 AWS SDK 和 CLI 呼叫在本機或 CI 環境執行,支援的操作會回傳與 AWS 相同的結果和錯誤;尚未支援的操作則回傳「501 Not Implemented」。每個模擬器副本各自使用記憶體儲存資源狀態,彼此不會看到對方建立的資源。這樣可以先離線測試並修正程式,再部署到 AWS;模擬器本身不收額外服務費。

    推薦理由:AWS Emulator 把 AWS 應用程式的測試搬到本機或 CI 環境,並說明支援範圍與各測試副本的隔離方式,方便評估部署前的測試流程。

11月11日週三
  1. vLLM Official Blog84

    vLLM 如何以 EPD 分離多模態服務中的編碼、Prefill 與 Decode

    vLLM 說明如何以 Encoder/Prefill/Decode(EPD)分離多模態推論流程,並整理中繼資料轉送、編碼器執行、嵌入傳輸、快取與路由的工程進展。

    推薦理由:文章整理 vLLM EPD 的媒體中繼資料、遠端嵌入傳輸與跨編碼器快取,並以不同工作負載的測試資料呈現效能差異。

  2. AWS What's New40

    Amazon SES 提高電子郵件身份、租戶和設定檔的使用上限

    使用 Amazon SES 寄信的服務,客戶、品牌或 AI 助理增加時,電子郵件身份、租戶和設定檔也會跟著變多,原本的上限可能不夠用。現在 Amazon SES 提高了這些資源的上限,管理者可以在 AWS 服務配額主控臺檢視目前用了多少,也能申請提高上限;還能依名稱或狀態搜尋資源。這些調整已在所有提供 Amazon SES 的 AWS 區域推出,讓更多工作負載能留在同一個帳戶裡,不必為了避開上限而拆到多個帳戶。

  3. OpenRouter Announcements64

    OpenRouter 教你排除 OpenAI 與 Claude API 的 429 速率限制錯誤

    OpenRouter 說明如何辨識 LLM API 的 429 速率限制來源,並以等待重設時間、切換備援模型及改由其他供應商提供服務三種方式處理。 - 等待重設時間:範例中的 60 筆請求使用預設重試時有 23 筆失敗;依 Retry-After 或 X-RateLimit-Reset 等待後,60 筆皆完成,Python 範例耗時 89 秒。

    推薦理由:文章以 60 筆請求的實測比較等待重設時間與模型備援,呈現完成率、耗時和成本差異,並說明各自適用的限流情境。

  4. AWS What's New56

    AWS 自訂帳單檢視新增帳單管理處與帳單轉移資料

    合作夥伴或組織若要整理不同帳單群組和客戶的費用,過去得分別檢視各自的帳單檢視。AWS 現在讓自訂帳單檢視使用帳單管理處和帳單轉移檢視作為資料來源,也能搭配原有檢視、套用篩選條件,再於 Cost Explorer、AWS Budgets 和帳單與成本管理主控臺檢視。帳單群組檢視可合併各業務部門的成本;帳單轉移檢視和轉移成本展示檢視則分別呈現客戶轉給合作夥伴的費用,以及客戶看到的成本。自訂檢視也能透過 AWS Resource Access Manager 分享給其他帳戶。此功能已在所有 AWS 商業區域推出,無額外費用。