跳到正文

#部署/工程

RSS
今日 0 則
11月17日週二
  1. llama.cpp Releases41

    llama.cpp 修好 OpenCL 注意力運算的 3 個問題

    llama.cpp 修正 OpenCL 的 flash-attention 預填運算路徑中的 3 個問題。第一個問題會讓每次運算留下沒釋放的資料,讓伺服器越跑越慢;修正後會釋放這些資料。第二個問題是在 q8_0 的 K/V 資料搭配 512 大小的注意力頭時,可能算出錯誤結果,現在會改走一般運算路徑。第三個問題是輸入太長、超過裝置能處理的影像寬度時,原本會失敗;現在也會改走一般路徑。

  2. llama.cpp Releases39

    llama.cpp 發布 b12449,增加多張裝置的設定數量

    llama.cpp 的 b12449 更新調整了 --tensor-split 和 --fit-target,讓這兩項設定最多可以列出與裝置數量上限相同的設定組數。這次更新也列出 macOS、iOS、Linux、Android、Windows 和 openEuler 等系統的建置專案,涵蓋 CPU、GPU 與 NPU 等不同硬體選項;部分專案標示為停用。

  3. vLLM54

    在本機部署大型模型時,如何讓模型留在 GPU 記憶體裡,並用多張 GPU 提供服務,是這份指南處理的重點。NVIDIA 製作了影片示範和部署指南,介紹如何透過 vLLM 在兩臺 DGX Station 上執行 GLM-5.3 NVFP4:模型權重放在 GPU 記憶體中,由兩張 GB300 GPU 分擔運算,再透過相容 OpenAI 的單一 API 提供服務。設定也啟用了 MTP 推測解碼、FP8 KV cache 和字首快取。

  4. NVIDIA Newsroom Press Releases72

    NVIDIA 推出 DGX Spark Developer Kit,讓研究人員在桌邊使用四臺系統

    研究人員常得排隊等共用 GPU 叢集,才能測試大型模型或科學模擬。NVIDIA 推出 DGX Spark Developer Kit,把四臺 DGX Spark 直接連成一組,不必另外購買或設定網路交換器;四臺合計有 512GB 記憶體和 20TB 儲存空間,可在桌邊分配模型與科學運算工作。研究團隊能先在本地開發、除錯,再把成熟的工作放大到更大的系統,也能讓未公開成果和專有資料留在自己的裝置上。套件已在 SC26 展示並開放購買。

    推薦理由:四臺 DGX Spark 可組成桌邊運算叢集,讓研究團隊先在本地測試多節點工作,再決定如何擴充套件到大型系統。

  5. Together AI41

    兩週前,我們宣佈推出 Together Compiler:可依據你的模型、晶片和流量調校推論的 AI 助理,吞吐量最高可提升 2.6 倍。 今天,我們分享背後的開發歷程:挑戰我們對 megakernels 假設的實驗、Torch Compile 出乎意料的優勢,以及促成我們開發新一代推論最佳化系統的經驗。 感謝 @dylan__lim @reyna_abhyankar @simran_s_arora 和團隊! 閱讀更多:https://t.co/9Yb1toI5jq

  6. Together AI Official Blog64

    Together AI 推出 Together Compiler,用 AI 助理加快模型推論

    模型推論要跑得快,常得針對不同模型、硬體和工作量調整程式;把所有運算塞進一個大型 GPU 核心,雖然有時很快,卻難以套用到不同情況。Together AI 推出 Together Compiler,讓 AI 助理直接修改模型執行流程,並用真實資料測量速度,再反覆嘗試不同做法。文章提到,這套系統在不到 24 小時內、使用不超過兩臺運算節點,於多種模型和其他程式專案中取得加速;作者也提醒,測試資料不貼近實際使用情況,可能讓最佳化方向出錯。

    推薦理由:文章拆解 Together Compiler 的設計取捨,說明實際資料、測量方式與 AI 助理的搜尋流程如何影響推論最佳化。

  7. AWS Machine Learning Blog69

    AWS 說明多個 AI 助理如何分工,以及製造業常見的設計錯誤

    多個 AI 助理一起工作,步驟變多後,出錯和花費也可能跟著增加。AWS 把分工方式分成兩大類:一類是先排好固定流程,另一類是讓模型在工作中決定下一步;文章建議先用固定流程,只有工作步驟無法事先確定時,再考慮讓模型自行安排。文章也提醒,重試要設上限、不同助理交接時要用清楚的資料格式,會影響裝置或客戶的動作則應經過檢查與人工核准。在製造現場,還要把延遲、安全和裝置端資料納入設計。

    推薦理由:文章用製造現場的延遲、安全與資料限制,說明如何從固定流程開始,再判斷何時需要讓 AI 助理自行安排工作。

  8. Microsoft ONNX Runtime Releases55

    ONNX Runtime WebGPU Plugin EP v0.6.0 擴充模型支援並改善效能

    使用 WebGPU 執行模型時,可能遇到運算元不支援、運算不穩或不同 ORT 版本無法搭配的問題。ONNX Runtime WebGPU Plugin EP v0.6.0 新增多種運算支援,也改善部分運算的速度與數值穩定性,並加入設定選項和著色器快取功能。升級時要留意 ORT 版本:最低需求是 1.24.4;部分版本支援不同工作階段同時執行,其他版本則要讓同一裝置上的 WebGPU 操作依序進行。即使能同時執行,也不能在同一個工作階段重疊進行 I/O 繫結和 Run。

  9. Vercel Blog72

    Vercel AI Gateway 支援連線團隊的私有模型

    企業使用自行微調、自架或尚未正式推出的模型時,過去得另外管理金鑰、程式碼和紀錄。Vercel AI Gateway 現在能把這些模型接到團隊自己的端點,並沿用相同的驗證方式、SDK、API 和監控工具;呼叫時只要更換模型 ID,也能在私有模型和目錄模型間切換。私有模型只供團隊檢視與呼叫,憑證會加密儲存,也可為各家服務商啟用零資料保留。團隊還能檢視用量、設定端點故障時改用目錄模型,或在連線 AI Gateway 的程式開發工具中使用私有模型。

    推薦理由:原文說明私有模型如何沿用 AI Gateway 的介面與監控,方便團隊把自架模型和目錄模型放在同一處管理。

  10. Together AI Official Blog72

    Together AI 和 Ollama 說明如何讓開放模型長時間執行 AI 助理工作

    AI 助理做長時間的程式工作時,每回合都可能重新送出前面整段對話,讓處理速度變慢、花費增加。Together AI 和 Ollama 說明,快取能保留前面已處理的內容,但提示詞前面的文字一改,後面的快取就得重做;推論引擎若把請求送到別臺機器,也可能用不上原有快取。文章建議讓系統提示詞保持不變,把會變動的資訊放進任務內容,並避免工具一次回傳過多資料。這些做法能減少重複處理,也讓 AI 助理跑長任務時比較順。

    推薦理由:文章從 AI 助理每回合重送整段對話的成本切入,說明提示詞設計與推論引擎如何共同保留快取,並整理可直接採用的做法。

  11. Google Developers Blog74

    Google 推出 TPU 模型設計與效能調校指南

    同一個模型放到 TPU 上,矩陣尺寸、模型結構和資料怎麼分工,都會影響訓練速度與服務延遲。Google 推出開源指南,整理模型設計和 TPU 硬體配合的方法,涵蓋把重要尺寸對齊 256、讓 MoE 專家模型少搬運資料,以及依晶片連線方式安排平行運算。文中也用 Ironwood 的測試說明調整效果,例如一種 LatentMoE 設計讓訓練速度提升 14%。指南提醒,架構改動可能影響模型品質,應用實際執行時間比較,並先確認答案品質。

    推薦理由:指南把 TPU 的矩陣尺寸、模型結構與平行運算方式連到實際效能資料,呈現團隊可如何依瓶頸調整設計。

  12. Vercel Blog46

    Vercel Spend Management 開放專案與產品預算管理

    Vercel 的 Spend Management 現在能分別設定專案和產品的預算,也能檢視目前帳單週期的花費。以專案預算為例,達到上限時可以選擇暫停該專案的正式環境部署,不會影響其他專案;產品預算則能追蹤整個團隊在 Fast Data Transfer 等單一產品上的花費。預算用到 50%、75% 和 100% 時,Vercel 會發出通知;團隊與專案預算也能設定自動暫停部署,產品預算則不支援。Pro 團隊與採用 Flexible Commitment 方案的 Enterprise 團隊可免費使用這項功能。

  13. PyTorch Core Releases45

    PyTorch 的 ROCm FlyDSL TopK 改用執行時迴圈,減少程式碼並提升速度

    FlyDSL 的 TopK 程式每次掃描 256 個數字格子,原本會把整段工作一次展開,讓程式碼變大,也佔用較多晶片資源。這次修改改成逐步重複掃描,降低編譯後的資源用量;在 gfx950 的測試中,暫存器溢位從 424 次降到 0 次。45 組測試的平均速度提升 12%,最快提升 63%,最慢則慢了 2%;所有結果都和 ATen 完全相同。

  14. Vercel Blog69

    Vercel 示範如何測試 AI 助理能不能完成使用者的工作

    AI 助理看起來完成了工作,結果卻可能點錯飲料,或花超過使用者設定的預算。Vercel 用咖啡訂單示範如何反覆執行同一項任務,檢查最後結果是否符合飲料、取餐時間和總金額等要求,再檢視失敗紀錄,找出助理在哪一步出錯。文章也說明成功率、Pass@k 和 Pass^k 的差別:如果使用者每次都需要答對,Pass^k 能看出助理是否夠可靠。團隊可以用這些測試比較修改前後的結果,並在產品更新時重跑,及早發現問題。

    推薦理由:文章用咖啡訂單示範如何從使用者常遇到的錯誤設計測試,並比較成功率與 Pass^k,幫助團隊找出需要修正的環節。

  15. AWS Machine Learning Blog52

    MoEngage 如何用 Amazon Bedrock AgentCore 打造 AI 助理行銷平臺

    行銷團隊規劃活動時,常得在分析、內容和活動工具之間來回切換。MoEngage把原有平臺 API 接成 MCP 工具,讓 AI 助理能在同一段對話中查資料、寫活動內容和調整流程。使用者身分與工作區資訊由系統傳送,不交給模型判斷;每位使用者的工作階段也各自隔離,並可設定人工審核後才執行。文章也分享了平臺實際成效:客戶 Glance 的活動上線速度提升 50%,推播點閱率提升 38%。

  16. Databricks Blog45

    Databricks AI Runtime 如何協助企業使用表格資料 AI 模型

    用表格資料預測客戶會不會流失、商品需求有多少,通常得為每種工作各自訓練和維護模型,既花時間,也得處理 GPU 設定和管理。表格基礎模型(TFM)先用大量合成資料預訓練,拿到新資料時,就能參考已知答案來預測,不必從頭訓練;例如 TabICLv2 約有 28M 個引數,商用授權較寬鬆,但不同模型在效能、成本和授權上各有取捨。 Databricks AI Runtime 提供代管 GPU,並整合實驗追蹤、資料治理和模型部署,讓團隊能在資料所在的平臺測試或微調 TFM,再把模型用於批次工作或即時預測。這類模型有機會省下建置和維護專用模型的時間,但每次預測都要把資料交給模型處理,GPU 用量可能隨資料列數和欄位增加;企業仍得用自己的資料評估準確度與運算成本。

  17. AWS Machine Learning Blog57

    Novo Nordisk 如何用 Amazon Bedrock AgentCore 查詢製造檔案

    製藥流程檔案數量龐大,還得確認檔案是否核准、版本是否有效,以及內容適用哪個廠區、產品和裝置,人工查詢容易耗時,也可能漏掉重要關聯。Novo Nordisk 團隊與 AWS 合作打造 AI 助理,先用知識圖譜釐清問題範圍,再結合關鍵字與語意搜尋找出相關檔案,並附上來源;問題不夠清楚時,會先詢問使用者。若找不到合適資料,系統會說明限制,不自行補答案。團隊表示,部分過去要花數小時或數天的工作,現在可在幾分鐘內完成。

  18. AWS Machine Learning Blog48

    AWS 示範如何用 Amazon Bedrock 和 AWS Transform 把主機 Assembler 程式改成 Java

    銀行、保險公司和航空公司有些重要工作仍靠主機上的 Assembler 程式處理,但懂得維護這些程式的人愈來愈少,手動重寫又花時間,也可能弄丟沒人記得的規則。這套做法先用 Amazon Bedrock 分析程式、整理出業務規則,再請熟悉業務的人檢查;接著把 Assembler 轉成較容易閱讀的 COBOL,確認結果符合原本功能後,再由 AWS Transform 轉成 Java Spring Boot 應用程式。 例如,程式裡的資料對應和計算規則會先整理成檔案,交給專家確認,降低轉換時漏掉規則的風險。這種分階段做法能協助縮短改寫時間,也讓人能在每個重要步驟檢查程式是否維持原本的業務功能。

  19. Google Developers Blog74

    Google 教你依 AI 助理的工作時段配置 GKE 節點

    AI 助理的工作空間可能整天開著,卻只在收到提示詞時工作;如果每個工作階段都一直佔著機器,等待時間也要付費。Google 說明如何用 Agent Substrate 和 AX 把閒置的工作環境暫存到物件儲存,空出機器,等下一次提示詞來時再恢復。以 100 個程式開發 AI 助理為例,每小時 2 次提示詞並設定 2 分鐘閒置時間,節點費用可省 40%;每小時 4 次提示詞時,節省幅度降到 4%。文章也提醒,工作池要依最忙時的需求配置,並和提供相同 CPU 保證的做法比較。

    推薦理由:文章用提示詞頻率和閒置時間比較 GKE 節點成本,並說明工作池滿載與 CPU 保證會怎麼影響停放效益。

  20. ollama release44

    Ollama v0.40.17-rc1 加入批次式推測驗證

    多個請求同時產生內容時,逐一檢查草稿可能拖慢速度。Ollama v0.40.17-rc1 的 mlxrunner 改成批次檢查,讓不同請求共用目標模型的驗證工作,同時保留各自的抽樣方式和快取回復。它也會分別學習同時處理多個請求時該寫多長的草稿,並處理取消請求、不同生成方式混用等情況,讓並行生成時的草稿和檢查更能配合。

  21. Google Developers Blog77

    Google 用 Zero-TIM 讓 TPU 上的 AI 模型取樣與訓練結果完全一致

    大型語言模型用強化學習訓練時,取樣和更新模型若算出些微不同的機率,訓練可能變得不穩。Google 在 Tunix 中做出 Zero-TIM,讓 TPU 上的取樣、服務預填和訓練三條流程,對同一個動作算出完全相同的機率;做法包括固定運算順序,並讓訓練重用服務端的計算。團隊在 64 張 TPU v5p 上測試 200 步,Zero-TIM 每一步的取樣與訓練機率差異平均為零,這些測試中的解題率也比另外兩種做法高。結果來自 FrozenLake 測試環境,文章沒有說明其他模型或任務的表現。

    推薦理由:文中拆解 TPU 上取樣與訓練算出不同機率的原因,並提供三段比對流程,方便定位數值差異從哪裡出現。

  22. NVIDIA Newsroom Press Releases58

    Lambda 用 NVIDIA Photonics 連線超過 10,000 張 GPU,提升 AI 工廠網路效率

    數千張 GPU 一起訓練 AI 模型時,網路如果太慢或中斷,整批工作都可能卡住。雲端服務商 Lambda 使用 NVIDIA Photonics 交換器,連線裝有 GB300 NVL72 的機櫃,整個 AI 工廠有超過 10,000 張 GPU。Lambda 的測試顯示,網路延遲在機櫃規模約降低 4%,在機群規模最多降低約 10%,耗電效率最高提升 5 倍、可靠度最高提升 15 倍。交換器採用液冷,也能在現場更換光源模組;如果雷射故障,就不必更換整個模組。

11月16日週一
  1. AWS Machine Learning Blog66

    Amazon Bedrock 開放權重模型支援明確提示詞快取

    每次請求都重送很長的背景資料,會增加處理時間和輸入費用。Amazon Bedrock 的開放權重模型現在支援明確提示詞快取,開發者可以標出要重複使用的內容,讓後續請求直接讀取快取;也能使用自動快取,或同時使用兩種方式。文章用產品手冊問答和 OpenCode 寫程式的例子,示範如何檢視快取讀取與寫入用量。把不常變的指示和參考資料放在前面,有助於重複使用;實際支援方式、最低長度和儲存時間則依模型而異。

    推薦理由:文章比較自動與手動標記快取字首的做法,並示範如何檢視讀寫用量,方便估算重複使用長提示詞時的費用與延遲變化。

  2. Tauri Framework Releases38

    tauri-bundler v2.10.5 修正 Windows 安裝與打包問題

    更新 tauri-bundler v2.10.5 後,Windows 安裝程式會在許可權不足、系統帳號或特定資料夾位置時顯示更清楚的錯誤,並修正程式簽章失敗,以及 MSI 更新時把使用者刪掉的桌面捷徑加回來的問題。這次也修好 NSIS 的波斯文和希伯來文顯示、Linux 和 macOS 重複下載工具,以及 RPM 套件無法處理 beta 版本等狀況,讓不同系統上的安裝與打包流程更順利。

  3. PyTorch Core Releases52

    PyTorch 修正 WebAssembly SIMD 建置,讓 XNNPACK 使用 SIMD 核心

    ExecuTorch 模型要在 WebAssembly 的 SIMD 模式執行時,原本只編入純量核心,造成程式連結失敗;即使改用純量核心,速度也較慢。這項修改讓 XNNPACK 在啟用 SIMD 時編入對應的 SIMD 核心,並調整 pthreadpool,避免在 WebAssembly 使用不支援的 x86 指令。作者測試一個小型卷積網路,使用 SIMD 核心每次執行需 9 毫秒,純量版本則需 90 毫秒。

  4. PyTorch Core Releases58

    PyTorch 修正 XNNPACK,讓 WebAssembly SIMD 建置能使用加速核心

    ExecuTorch 模型在 WebAssembly 啟用 SIMD 時,原本會因缺少 XNNPACK 對應的核心程式而無法完成連結;改用較慢的純量版本也會拖慢運算。這次修改讓啟用 SIMD 的建置納入 XNNPACK 的 SIMD 核心,並避免 pthreadpool 在 WebAssembly 使用不適用的 x86 指令。作者實測一個小型卷積網路,單執行緒每次執行從純量版本的 90.0 ms 降到 9.0 ms;未啟用 SIMD 的建置則不會多編譯這些程式。

  5. Ollama Blog77

    Ollama 和 Together AI 說明如何讓開源模型跑長時間 AI 助理任務

    AI 助理處理長任務時,每一步都會帶上先前的對話與工具結果;如果每次都重新讀完整份內容,等待時間和成本會一路增加。Ollama 和 Together AI 說明,前面讀過的內容可以先存在快取裡,下一次只處理新增部分。要讓快取派上用場,工具說明和系統提示詞要盡量保持不變,工具結果也要避免塞入不必要的大量內容;推理程度最好從一開始就固定。引擎還得把後續請求送回存有快取的機器,並在等待工具執行時妥善儲存快取。這些做法能減少重複處理,讓長工作流程更順暢。

    推薦理由:文章從提示詞安排與 GPU 快取兩端說明長任務為何會變慢,並整理維持快取的做法,適合用來改善 AI 助理的工作流程。

  6. PyTorch Core Releases45

    PyTorch DTensor 改用本地分片計算 any/all,等需要時再合併結果

    DTensor 計算 any/all 時,原本會先把所有資料分片集中起來,才能判斷結果,可能因此多做一次資料傳輸。這次修改讓每個分片先在本地計算,再把中間結果留到真的需要完整答案時才合併;例如檢查一個布林值時,會先取得所有分片的整體結果。原本的雙 GPU 測試從 any() 需要一次資料集中傳輸,變成運算當下不傳資料,取用結果時才做一次合併。這能減少不必要的 GPU 資料傳輸,讓分散式運算更有效率。

  7. PyTorch Core Releases35

    PyTorch FlyDSL 新增 gfx950 的 fused matmul 與 reduce-scatter 原型

    這次更新在 FlyDSL 的選用版本中加入一種把矩陣運算和資料分散合在一起處理的原型。它使用 bf16 和加總方式,沿第 0 維分散資料,支援 TP 2、4、8,並限定用在 gfx950;運算時也會在同一個核心裡加總這個處理單位負責的資料區塊。這項功能需要 FlyDSL 和 gfx950 才能測試。

  8. llama.cpp Releases39

    llama.cpp 發布 b12420,支援 MiniMax-M3.1

    llama.cpp 的 b12420 加入對 MiniMax-M3.1 的支援,也列出 macOS、iOS、Linux、Android 和 Windows 等平臺的版本。像是 Linux 和 Windows 都有可搭配 CUDA 12、CUDA 13 或 Vulkan 使用的版本,部分平臺也提供 CPU 版本。這次更新讓使用者能在不同系統上使用 llama.cpp 執行 MiniMax-M3.1。

11月15日週日
  1. llama.cpp Releases36

    llama.cpp 發布 b12389,修正 OpenCL 多項運算問題

    llama.cpp 的 b12389 修正了 OpenCL 執行時的幾個問題,包括讀寫超出範圍、資料複製時沒有配合目的地的排列方式,以及處理多批資料和 bf16 數值時的錯誤。像是 f16 SwiGLU 運算原本可能寫到不該碰的地方,這次也一併修好。這些修改能讓相關運算更可靠;更新也提供多種作業系統和硬體平臺的版本。

  2. PyTorch Core Releases50

    PyTorch Inductor 修正 reinplacement 後過期的 FX 圖資訊

    PyTorch Inductor 把某些運算改成可修改資料的版本時,過去沒有同步更新相關資料,可能讓後續運算誤判資料的排列方式;遇到特定的 all-reduce 運算時,甚至會算出錯誤結果。這次修正會在每次改寫後,立刻更新受影響的資料和連結;如果無法安全更新,就保留原本的運算。像矩陣相乘後轉置再做 all-reduce,修正前結果錯誤,修正後結果正確,讓圖中的資料關係和實際運算保持一致。

11月14日週六
  1. PyTorch Core Releases45

    PyTorch Dynamo 修正 AOT 執行時包裝程式的迴圈匯入問題

    PyTorch 的 AOT 執行時包裝程式和 Dynamo 互相匯入時,可能讓 Dynamo 還沒準備好就被其他程式使用,之後呼叫 torch.compile 便可能失敗。這次修改把部分匯入延後到擷取反向計算圖時才進行,避免兩邊卡在彼此載入的狀況,也不改變反向計算。維護者用新的程式執行環境重現並檢查這個問題,確認修正後能順利匯入;CUDA 和完整的 PhysicsNeMo 流程則沒有測試。

  2. llama.cpp Releases47

    llama.cpp 重整 DFlash 推測解碼,加入 DFlash2 和 LiliCorr 專用型別

    llama.cpp 重新整理 DFlash 家族的推測解碼程式,讓不同草稿模型各自使用對應的讀取和執行方式。新增的 draft-dflash2 和 draft-lilicorr 可指定 DFlash2 與 LiliCorr;原有的 draft-dflash 也會依草稿模型的資料自動選擇 DFlash、DFlash2 或 LiliCorr。若型別和模型不相符,或同一次執行混用多種 DFlash 家族型別,系統會拒絕開始推測解碼。這次整理也讓 DSpark 使用自己的讀取方式,並把共用的程式拆分整理。