跳到正文

#部署/工程

RSS
今日 0 則
11月14日週六
  1. Next.js Releases54

    Next.js 發布 v16.5.0-canary.50,更新 Turbopack 與開發伺服器

    Next.js 的 canary 版本更新了多項建置和開發功能,涵蓋 Turbopack、路由預先載入與錯誤回報。這次更新預設啟用 Turbopack 的分塊前縮小程式碼功能和記憶體回收,也調整使用者端參照清單,並修正開發伺服器的路由處理與結束方式。這些改動主要影響使用 Next.js canary 版的開發者。

  2. PyTorch Core Releases55

    PyTorch 更新 NCCL Extensions 版本,並調整建置條件

    PyTorch 更新了 NCCL Extensions 的來源版本,並調整 NCCL-EP 的建置條件:沒有指定架構清單時,就不建置 NCCL-EP。更新說明也提到 NCCL-EP v0.3 已推出,加入 Vera Rubin 支援,並改善 NVLink 資料傳送與合併等功能。這次變更主要是更新 PyTorch 使用的來源版本,並讓建置依架構設定進行。

  3. Microsoft ONNX Runtime Releases73

    ONNX Runtime CUDA Plugin EP 0.4.0 加入 CPU 與 GPU 混合執行 MoE 模型

    大型 MoE 模型的專家層可能超出 GPU 記憶體容量,讓模型難以執行。ONNX Runtime CUDA Plugin EP 0.4.0 新增 CPU 與 GPU 混合解除安裝功能:放得下的專家留在 GPU,其他專家改由 CPU 處理,也能在執行過程中把常用專家移到 GPU。這項功能需要搭配 ONNX Runtime 1.32.0;版本或運算元格式不相符時,可能造成執行錯誤或程式崩潰。更新也加入直接執行 GGUF 等區塊量化權重的運算元,以及長上下文和推測解碼加速。

    推薦理由:這次更新把 MoE 模型的專家層分散到 CPU 與 GPU 執行,也補上多種量化格式支援,能協助評估 GPU 記憶體不足時的部署選項。

  4. PyTorch Core Releases39

    PyTorch Dynamo 修正字典的順序、型別與長度檢查

    Python 字典的專案順序、實際型別或長度改變時,PyTorch Dynamo 可能需要重新檢查原本建立的運算圖。這項修改會記住這些字典資訊;如果呼叫函式時,關鍵字的順序不影響結果,就能沿用原本的運算圖。遇到無法確定的情況,仍會保守檢查順序。這次修改只處理字典檢查,沒有更動公開介面;它也通過部分 Python 3.15.2 CPU 測試,但其他平臺和環境的測試仍有未完成專案。

  5. PyTorch Core Releases52

    PyTorch 更新 NCCL Extensions 版本,調整 NCCL-EP 建置條件

    PyTorch 這次更新了 NCCL Extensions 的來源版本,也調整 NCCL-EP 的建置條件。新的版本是 NCCL-EP v0.3,加入 Vera Rubin 支援,並改善 NVLink 資料傳送與合併等功能;不過,PyTorch 只有在指定的架構清單為 sm_90 或更新架構時才會建置 NCCL-EP。這次更新也同步調整了套件來源版本,讓 PyTorch 使用新的 NCCL Extensions 版本。

  6. OpenAI News47

    Shield 用 OpenAI GPT‑6 Astra 讓 AI 助理接手舊系統的 IT 工作

    中小企業的 IT 問題常得靠外包技術人員登入各種舊網站處理;有些系統沒有 API,AI 助理也因此卡住,只能等人接手。Shield 把 GPT‑6 Astra 接進 Forge,讓 AI 助理像技術人員一樣看著畫面操作,在支援的工作中登入入口網站、處理工單、裝置或軟體授權。哪些動作能自動做、哪些要由技術人員檢查或核准,仍由技術人員決定。 Shield 表示,這些流程每月已執行數千次,GPT‑6 Astra 平均比他們先前使用的模型快 35–40%,使用 AI 的工單也有較高的客戶滿意度。不過,電話、到府服務和遠端桌面工作仍需要人員參與;Shield 正在測試讓 AI 助理直接操作電腦桌面的流程。

  7. PyTorch Core Releases62

    PyTorch Inductor 重整分塊軸處理,為支援更多維度做準備

    PyTorch Inductor 原本把分塊軸固定在少數幾種名稱和最多三軸,讓後續擴充多維度分塊前,得先移除這些限制。這次更新改用輸入資料的維度產生軸名稱,並讓分塊選擇依設定的上限處理;同時調整區塊大小限制、描述子和指標位移的配合方式。作者回報,多軸分塊、描述子、區塊指標與自動調校的相關測試通過。這項重構本身為後續支援更多維度的分塊鋪路,區塊大小的既有限制則仍保留。

    推薦理由:這項重構整理了 Inductor 對分塊軸數量的假設,並以多軸測試檢查描述子、指標位移和自動調校能否正確配合。

  8. PyTorch Core Releases48

    PyTorch Inductor 移除分塊處理的三軸限制

    PyTorch Inductor 原本把分塊處理寫死為最多三個方向,讓超過三個方向的運算無法使用更多分塊方式。這次修改改成依照輸入資料的方向數自動產生名稱,並由設定決定分塊數量;例如,系統可處理四個方向的點對點運算,也能搭配不同方向的資料縮減。這讓後續支援更多方向的分塊有了基礎,也保留原有的區塊大小限制。

  9. Vercel Blog58

    Vercel Sandbox 支援代管 npm 憑證,可安裝團隊私有套件

    安裝團隊的私有 npm 套件時,AI 助理需要憑證,但憑證不該直接交給它。Vercel Sandbox 現在可以使用存放在團隊共用環境變數中的 npm 憑證,也支援 GitHub Packages 和 JFrog Artifactory 等自訂套件庫。建立沙盒時加入 credentials: { npm: true },防火牆就會替送往套件庫的安裝請求加上驗證,憑證則留在沙盒外。這讓 AI 助理能安裝所需套件,同時不必看到憑證。使用前需更新 Sandbox SDK 或 CLI。

  10. Vercel Blog53

    Vercel Daemons 可將背景工作追蹤資料送到 Vercel Tracing

    背景工作程式出了狀況時,開發者需要檢視它做了哪些事,才能和專案其他追蹤資料一起排查。Vercel Daemons 現在可把 OpenTelemetry 追蹤資料送到 Vercel Tracing;Node.js Daemons 使用 @vercel/otel 2.3.0 以上版本和預設設定,就能自動送出追蹤資料。之後可透過 Vercel CLI 按服務名稱搜尋,並以 JSON 取得結果,讓開發者和 AI 助理檢視背景工作的執行情況。

  11. AWS Machine Learning Blog60

    GS Caltex 如何用 SageMaker Canvas 和 Pipelines 部署模型

    模型在開發時能正常使用,接到正式工作流程時卻常要工程師重新串接資料和設定,花上不少時間。GS Caltex 讓流程工程師在 SageMaker Canvas 建立並檢查模型,再由機器學習工程師把模型和資料處理流程接到 SageMaker Pipelines,定期執行批次推論。文章也說明如何確認訓練資料和推論資料格式一致、避免重複處理,並檢查每次執行的結果。GS Caltex 表示,部署模型從約一週縮短到幾小時,並以每 30 分鐘執行一次批次推論,降低持續開著推論端點的需求與成本。

    推薦理由:文章拆解 SageMaker Canvas 模型轉入定期批次推論的流程,也提醒資料格式、執行重疊與成本都要納入上線檢查。

  12. Baseten75

    部署 DeepSeek V4.1-Flash 時,推論速度會受到使用的硬體配置影響。Baseten 宣佈用 Rust 和 CUDA 從頭打造了一套推論引擎,並將它開源。Baseten 表示,使用 4xB300 時,解碼速度約為 1,740 TPS;使用 8xB300 時,約為 2,060 TPS,而處理 1M-token 的預填約需 12 秒。

    推薦理由:Baseten 公開這套以 Rust 和 CUDA 從頭打造的推論引擎,並列出不同 B300 配置下的解碼速度與 1M-token 預填時間。

  13. AWS Machine Learning Blog60

    OpenFold3 如何在 Amazon SageMaker JumpStart 預測生物分子結構

    預測蛋白質和其他生物分子的立體結構,需要 GPU、模型檔案和能處理長時間工作的服務環境。這篇教學示範如何在 Amazon SageMaker JumpStart 部署 OpenFold3-preview,讓它預測蛋白質、DNA、RNA、小分子及其複合物的結構;工作會排進佇列,完成後把結果存到 Amazon S3,也能同時跑多筆預測。作者用碳酸酐酶、鋅離子和藥物的例子說明,加入多重序列比對(MSA)後,預測結果更接近已知結構;不過這是展示流程的案例,不代表模型對新目標也有同樣表現。端點可在閒置時縮到零臺,含有自有序列的資料也可留在自己的 AWS 帳戶內。

    推薦理由:文章示範如何在自己的 AWS 帳戶部署 OpenFold3,並用碳酸酐酶複合物案例比較有無 MSA 的預測差異,也提醒這不是新目標的準確度基準。

  14. AWS Machine Learning Blog72

    AWS 說明如何縮短 Amazon Bedrock AgentCore Runtime 的工作階段啟動時間

    AI 助理每次開始新的工作階段,都可能得重新載入程式和資料,讓使用者等候第一個回應。AWS 說明如何用 Amazon Bedrock AgentCore Runtime V2,先在建立或更新環境時準備好程式,再把準備結果存起來,讓新工作階段還原後就能使用。文中也介紹如何把常用資料留在記憶體、用建置掛鉤預熱大型檔案,以及在使用者開啟聊天視窗時背景啟動工作階段。會改變的資料、隨機值和時間資訊則要在每個工作階段開始後取得,避免沿用過期或重複的內容。

    推薦理由:文章拆解 AgentCore Runtime V2 的啟動流程,並說明哪些工作適合提前準備、哪些資料必須每個工作階段重新載入。

  15. cloudflare blog76

    Cloudflare 將 Kitesurf 開源,讓開發者自行部署 AI 助理用的瀏覽器

    AI 助理需要瀏覽網頁時,完整瀏覽器會使用較多 CPU 和記憶體。Cloudflare 現在把 Kitesurf 的程式碼放上 GitHub,開發者可以在自己的電腦執行、修改,再部署到自己的 Cloudflare 帳戶。Kitesurf 能載入網頁、執行 JavaScript,並支援 Chrome DevTools Protocol,因此可連線 Puppeteer 等工具。自架部署需要 Workers Paid 方案,因為它會為網頁建立隔離的 Workers。

    推薦理由:Kitesurf 開源後,開發者能自行閱讀、修改並部署瀏覽器引擎;文章也說明瞭本機試用方式與自架時的方案要求。

  16. AWS Machine Learning Blog57

    AWS 說明 AssemblyAI 如何用 Spot 執行個體降低語音轉文字成本

    大量處理語音時,GPU 運算費用很高;Spot 執行個體雖然較省錢,卻可能在收到通知後被收回。AWS 說明 AssemblyAI 如何把工作放進 SQS 佇列,交給 ECS 上的 GPU 執行個體處理,並混用 Spot 與隨時可用的 On-Demand 執行個體,也分散使用 g4dn、g5 和 g6 等機型。遇到中斷時,還沒完成的工作會回到佇列,讓其他執行個體接手;每個 AWS 區域也各自處理資料,以符合客戶的資料所在地要求。AssemblyAI 表示,這套做法讓推論運算成本比 On-Demand 定價低 70%,而 Spot 中斷只會讓部分轉錄多花一點時間。

  17. Databricks Blog39

    Apache Spark 和 Apache Flink 怎麼選?多數團隊用 Spark 就能兼顧批次處理和即時資料

    團隊要處理大量資料,又想快速看到新資料,常得在 Apache Spark 和 Apache Flink 之間做選擇,甚至同時維護兩套系統。Databricks 的文章認為,多數團隊用 Apache Spark 就夠了:它能處理批次工作、資料分析和串流資料;Real-Time Mode 也讓資料能在幾毫秒內一路處理完成,不必為了更快的串流另外架一套 Flink。文章的測試中,處理有狀態的資料整理時,Spark 的 p99 延遲是 14 ms,Flink 是 45 ms;不過測試由 Databricks 執行,實際表現仍要看自己的工作內容。若需要超大型狀態資料、複雜事件比對,或已經在使用 Flink,Flink 仍可能更適合。

  18. AWS Machine Learning Blog61

    AWS 說明如何追蹤 AI 工具在 Amazon Bedrock 的個人費用並設定支出限制

    公司匯入 AI 程式開發和辦公工具後,常會遇到費用都算在同一個帳號、難以看出誰用了多少的問題。AWS 說明如何用 IAM Identity Center 讓每位使用者以自己的身分呼叫 Amazon Bedrock,再把使用者和團隊標記帶進帳單資料,透過 Athena 查詢各人或各團隊的花費。帳單資料按時段彙整,不能查到每次提示詞的費用;若要逐次檢視,需使用模型呼叫記錄或請求標記。文章也比較幾種支出限制方式:AWS Budgets 設定較簡單,但帳單更新可能延遲;CloudWatch 搭配 Lambda 可較快反應,其他方法則各有維運負擔。

    推薦理由:文章整理 Amazon Bedrock 如何把每次模型呼叫連到使用者身分,並比較不同支出控管方式的延遲與維運負擔,方便規劃企業管理流程。

  19. PyTorch Core Releases39

    PyTorch 修正 XPU 使用 DLPack 時的裝置編號

    XPU 裝置原本需要把 SYCL 的裝置編號換成另一個編號,傳給 DLPack 時才會對得上 PyTorch;這次 PyTorch 改成直接使用 PyTorch 自己的裝置編號,做法和 CUDA 一樣。以 xpu:0、xpu:3、xpu:7 為例,修改前傳出的編號是 9、12、16,修改後變成 0、3、7。這項改動也讓原本會失敗的 managed_tensor_allocator 搭配 kDLOneAPI、data=NULL 情況順利運作。

  20. Vercel Blog48

    Vercel 把建置快取上限提高到 5 GB

    Vercel 的建置機器現在最多能保留 5 GB 的建置快取。你可以把已安裝的依賴套件和框架檔案留著,下次部署時重複使用,減少安裝和建置程式所花的時間。以前,快取超過各方案的上限就會被清掉,下一次建置得重新準備;現在這項調整會自動套用到所有建置機器型別,不用另外設定,也不會額外收費。

  21. Vercel Blog43

    Vercel Sandbox 在部分地區啟動速度最高提升 4 倍

    Vercel Sandbox 在華盛頓特區以外的地區,若能從附近的快取讀取重複使用的映像檔,啟動速度最高可提升 4 倍,因為不必每次都跑到華盛頓特區的儲存位置拿資料。這項功能適用於 Vercel Container Registry 裡的代管映像檔、自訂映像檔,以及以它們為基礎建立的快照。內部測試中,巴黎的啟動時間約縮短 75%;首爾則從約 3.5 秒降到 1.05 秒。離原本儲存位置較近的地區,改善幅度通常較小。

  22. llama.cpp Releases39

    llama.cpp b12364:機率式取樣時使用 p_min 會顯示提醒

    llama.cpp 的 p_min 設定會丟掉信心分數太低的草稿 token,但這些 token 有時仍可能被正式模型接受。這次更新保留原本的篩選方式,並在同時使用 --spec-draft-p-min 和機率式草稿取樣時顯示提醒,建議把 p_min 設為 0。這項提醒只會出現在有使用 p_min 的草稿方式;n-gram 草稿不使用它,DSpark 則把它拿來設定信心門檻。

  23. AWS Machine Learning Blog74

    AWS SageMaker HyperPod 示範如何用線上資料找出模型盲點並微調

    新產品上市後,分類模型可能沒有對應的類別,讓客服工單被分錯或只能送進通用佇列。AWS 示範用 SageMaker HyperPod Data Capture 把線上請求與回答存到 S3,再用 Athena 找出新產品造成的分類變化,透過 SQL 規則整理訓練資料,並在同一個叢集上微調模型。示範使用合成資料;測試集準確率從 83.9% 提升到 100%,但手寫測試為 20/24,也暴露出模型把「提到產品名稱」直接當成產品分類的問題。文章提醒,完整請求可能含個資,收集前應設定抽樣、加密與去識別處理。

    推薦理由:文章示範如何從線上請求找出新產品分類缺口,再用 SQL 標記資料並微調模型,呈現一套可重做的改善流程。

  24. Vercel Blog66

    Vercel Workflow SDK 5 加強資料加密,讓長流程跑得更快

    AI 助理和背景工作常要跑很久,途中還會經過佇列、傳送大量資料,遇到故障也得接著執行。Vercel 推出 Workflow SDK 5,會在資料離開程式前加密工作內容,也把工作流程的資料放在啟動它的區域,減少跨區傳送。Vercel 公佈的測試中,1,020 個步驟的流程從 21 分鐘縮短到 3 分鐘;串流回應送達時間也從 226.1 秒降到 53.5 秒。這些數字來自特定工作和區域,其他應用的結果可能不同。

    推薦理由:Workflow SDK 5 把加密、區域部署與執行速度放在同一版更新中,文中的基準測試也呈現長流程與串流延遲的差異。

  25. PyTorch Core Releases42

    PyTorch 調整 CSR SpMM 的 CPU 工作分配,讓稀疏矩陣運算更有效率

    CSR SpMM 遇到每列有很多非零值、而且右側資料有很多欄時,每列要做的運算會變多。這次 PyTorch 修改了 CPU 分配工作的方式,讓這類情況可以把資料列切得更細,也把原本每處理一個非零值都要呼叫的程式改成直接累加,少一次額外呼叫。修改也保留非連續資料的支援,並加入浮點數與複數資料的正確性測試,確認右側資料和輸出都不是連續排列時仍能正確運算。

  26. AWS What's New54

    AWS CloudFormation 支援快速設定 Aurora PostgreSQL

    用 CloudFormation 管理資料庫時,原本需要在範本中分別設定 Aurora 叢集和資料庫執行個體。AWS 現在支援用快速設定建立 Aurora PostgreSQL,新增的 withExpressConfiguration createOnly 屬性可以一次建立叢集和主要資料庫執行個體,不必另外替執行個體寫設定。這讓範本更簡單,也能用基礎架構即程式碼管理這類叢集;相關支援已在提供快速設定 Aurora PostgreSQL 的所有 AWS 區域推出。

  27. AWS What's New62

    Amazon RDS for Oracle 預先準備維護資源,縮短資料庫停機時間

    資料庫進行次要版本升級或作業系統更新時,停機可能影響正在使用服務的應用程式。Amazon RDS for Oracle 現在會在維護時段前最多 30 分鐘準備所需資源,資料庫在準備期間仍可繼續處理工作;維護開始後,停機時間因此縮短。若準備工作和使用者的變更衝突,RDS 會退回已準備的資源,讓使用者的變更繼續進行;準備失敗時,仍會照原定維護時段執行更新。這項功能適用於企業版與標準版 2 資料庫執行個體,並已在 AWS 商業區域及 AWS GovCloud(美國)推出,無需額外付費。

11月13日週五
  1. Databricks Blog70

    Databricks Genie Migrate 正式推出,支援將七種資料倉儲的 SQL 轉到 Lakehouse

    企業把舊資料倉儲搬到 Databricks Lakehouse,常得花很多時間改寫 SQL、查檔案之間的關係,還要逐一找出轉換錯誤。Databricks 的 Genie Migrate 現已正式推出,可處理 Microsoft SQL Server、Azure Synapse、Teradata、Oracle、Snowflake、Amazon Redshift 和 Google BigQuery 的 SQL。它會整理檔案與資料表的依賴關係、同時轉換多個檔案,並檢查和修正產出的程式碼,讓工程師比對新舊版本後核准結果。Databricks 表示,七種來源的基準測試中,每種都有超過 90% 的檔案轉換正確;MIXI 測試的 BigQuery 檔案則約有 85% 不必手動修改即可執行。

    推薦理由:文章以七種資料倉儲的轉換基準與 MIXI 實例,呈現 Genie Migrate 的轉換成果及工程師仍需檢查的工作。

  2. PyTorch Core Releases38

    PyTorch 支援 torch-xpu-ops 使用發行分支版本

    維護 PyTorch 的 XPU 元件時,主分支和發行分支可能要使用不同版本,直接指定分支名稱也不方便確認最後抓到哪份程式碼。這次更新讓 third_party/xpu.txt 可以寫完整的 SHA,或寫成 release/X.Y 這類發行分支名稱;建置時會找到該分支對應的 SHA,並記錄依賴版本,方便重現發行版使用的程式碼。遇到隻影響發行版的變更時,也會改用對應的 XPU 分支。

  3. Hugging Face Transformers Releases76

    Hugging Face Transformers 發布 v5.23.0,更新模型匯出與多模態支援

    模型要在不同執行環境使用,匯出、分享和重新載入往往得處理不同流程。Hugging Face Transformers v5.23.0 把這些步驟整合到 ExportedModel,支援 Dynamo、ONNX Runtime、OpenVINO 和 ExecuTorch;匯出的模型可以推送到 Hub,再由對應環境載入。這版也加入多個模型支援,修正視覺、音訊、快取和分散式運算問題。效能比較顯示,在列出的測試中,ONNX Runtime 和 OpenVINO 都比 eager PyTorch 快,但實際差異會依硬體和設定而變。

    推薦理由:這次更新把模型匯出、分享與載入整合成相近的操作方式,也列出不同執行環境的速度比較,可看出部署流程有哪些變化。

  4. cloudflare blog71

    Cloudflare 推出支出管理,Workers 和 Durable Objects 可設定花費上限

    雲端用量突然增加,可能讓開發者收到超出預期的帳單;只有花費通知,無法阻止費用繼續增加。Cloudflare 推出測試版 Spend Management,讓隨用隨付的客戶為 Workers 和 Durable Objects 設定花費上限與提醒,達到上限時會自動暫停會產生費用的操作。使用者可以在儀錶板、cf CLI 或 REST API 管理限制,並檢視接近即時的費用和修改紀錄。暫停後可提高上限、停用限制,或等到下一個帳單週期恢復。Cloudflare 表示,之後會把支出限制擴充套件到更多產品。

    推薦理由:Cloudflare 說明支出計算與限制如何從用量彙整一路傳到全球節點,呈現成本控制在大型分散式平臺上的設計取捨。

  5. Hugging Face Blog64

    llama.cpp 與 ggml 發布 v1.0.0,讓 API 相容性變更更清楚

    使用 llama.cpp 和 ggml 的開發者越來越多,程式庫介面一旦改變,可能影響依賴它們的其他軟體。ggml-org 發布 llama.cpp 與 ggml 的 v1.0.0,並說明往後若公開 API 或 ABI 出現不相容變更,主版本號就會增加,讓開發者更容易看出升級可能帶來的影響。文章也列出主版本號、小版本號與修補版本各自適用的變更型別,並說明目前支援超過 150 種模型架構變體。

    推薦理由:llama.cpp 與 ggml 升至 v1.0.0 後,公開 API 的相容性變更會反映在主版本號,方便依賴這些程式庫的開發者掌握升級影響。

  6. AWS What's New52

    AWS 在 GovCloud 的 Kiro 推出 Grok 4.7

    在需要長時間處理程式碼或知識工作的任務中,模型得持續專注並檢查自己的工作。AWS 現在讓 GovCloud(美國)區域的 Kiro IDE 和 CLI 使用 Grok 4.7;官方表示,和 Grok 4.6 相比,它在大型程式庫工作的規劃和修正錯誤上更可靠,也提供實驗性支援與 500K 上下文視窗。管理員可以控制組織成員能使用哪些模型;使用者更新並重新啟動 Kiro 後,就能從模型選單選取 Grok 4.7。

  7. llama.cpp Releases82

    llama.cpp 發布 v1.0.0,新增模型支援並加強伺服器防護

    使用本機模型時,開發者會遇到模型格式、硬體和伺服器安全等不同問題。llama.cpp v1.0.0 更新了公開 API,加入 FP8 KV 快取、CPU 專家快取和外部資料分片載入,也支援 Kimi-K3.1-Pro、Ripple、xing4_0 等模型,以及語音和視覺輸入。伺服器部分修正了 DNS rebinding、CORS 和 SSRF 等安全問題,也新增語音生成 API;網頁介面則加入聊天分組和 Markdown 編輯器。這次更新涵蓋模型執行、伺服器和操作介面,並同步升級 ggml 至 v1.0.0。

    推薦理由:這次更新同時調整 llama.cpp 的公開 API、模型支援與伺服器防護,能看出這個工具如何擴充套件本機多模態應用並處理常見網路風險。

  8. Microsoft ONNX Runtime Releases75

    ONNX Runtime 1.32.0 加快大型模型啟動,新增 CPU 與 GPU 混合處理功能

    大型模型的計算圖很大時,ONNX Runtime 建立工作階段可能要等很久。1.32.0 改善了記憶體安排和計算圖整理方式,讓一個有 10 萬個節點、內容以常數為主的模型,啟動時間從超過 10 分鐘縮短到約 5 秒。新版也能把量化 MoE 模型的工作分配給 CPU 和 GPU,並加入 ONNX opset 28 支援。使用者升級時要留意,舊的 ACL 執行提供者已移除;CUDA 和 WebGPU 外掛也要搭配相符版本,以免運作錯誤或當機。

    推薦理由:新版把大型計算圖的啟動時間從超過 10 分鐘降到約 5 秒,也加入 CPU 與 GPU 混合處理量化 MoE 模型的功能,能看出它在大型模型部署上的改進。

  9. PyTorch Core Releases48

    PyTorch Inductor 加快 FakeTensor 資料更新,區域性修改最快快 54 倍

    PyTorch Inductor 原本每次更新 FakeTensor 資料時,都會掃描整張運算圖;如果只改了其中一小部分,連沒受影響的地方也得檢查,編譯就會花較多時間。這次新增的更新方式從已知的修改位置開始,只往受影響的地方檢查,資料沒有變化時就提早停下。測試中,對一張有 1,605 個節點的運算圖做 200 次區域性修改,更新時間從 25.4 秒降到 0.47 秒,快了 54 倍。結果顯示,若修改隻影響小範圍,就能少做很多不必要的檢查,讓更新更快。