跳到正文

#部署/工程

RSS
今日 0 則
11月22日週日
  1. llama.cpp Releases54

    llama.cpp b12621 加快 SYCL 轉置卷積運算

    處理影片影格時,轉置卷積可能花上不少時間。llama.cpp 的 b12621 更新縮小了 SYCL 轉置卷積每次要讀取的輸入範圍;在文中列出的測試中,部分運算快了 2.90 到 710.23 倍。測試輸出與舊版逐位元相同,相關運算元測試也全部通過。不過,這些數字是單一核心運算的測試結果,不能直接當成整體語音生成速度的提升。

  2. llama.cpp Releases36

    llama.cpp 加入 SYCL 版 gated_delta_net 運算核心

    llama.cpp 的這次更新加入一種 SYCL 運算核心,能把 gated_delta_net 的工作分成區塊處理。更新頁也列出 macOS、iOS、Linux、Android、Windows 和 openEuler 等平臺的建置專案,涵蓋 CPU、GPU 與 NPU 等不同硬體環境;部分專案標示為停用。這讓使用者能看出更新支援哪些平臺與運算方式,但頁面沒有進一步說明這項新核心的效能差異。

11月21日週六
  1. PyTorch Core Releases41

    PyTorch 修正不同裝置處理特殊資料格式時的錯誤

    PyTorch 的 float4 等特殊資料格式沒有一般的數值轉換方式,彼此混算時原本只有 CPU 會拒絕;其他裝置可能算錯,CUDA 還可能因此報錯,讓後續操作也受影響。這次修改讓 TensorIterator 在所有裝置上遇到這類轉換時,都用相同方式回報「尚未實作」,例如拿 float4 張量和整數或浮點數比較,或把結果加到 float4 輸出中。這讓不同裝置的錯誤處理一致,也避免 CUDA 因不支援的轉換而出問題。

  2. ollama release48

    Ollama 發布 v0.40.17,加入 Inkling 2 Mini 並改善多項功能

    Ollama v0.40.17 加入 Thinking Machines 的 Inkling 2 Mini:它有 26B 個引數、每次運作會用到其中 5.4B,能處理文字和圖片、呼叫工具,也能進行推理;在 SWE-Bench Verified 的分數是 79.2%。這個模型約佔 20GB,能在 Apple silicon 的 Mac 上執行;這次版本還不支援 PC,之後才會加入。 這次更新也讓 Apple silicon 上的 Ollama 能同時處理多個請求,並改善 Claude Code 延後載入工具等功能。其他修正包括讓共用記憶體的顯示卡載入模型更順利,以及避免 Ollama 在非互動式終端機中因沒有輸入指令而顯示錯誤。

  3. PyTorch Core Releases48

    PyTorch Dynamo 加快檢查張量是否共用記憶體

    PyTorch Dynamo 編譯程式時,會檢查多個張量有沒有用到重疊的記憶體;原本就算 3,103 個張量彼此沒有重疊,也可能要做超過 481 萬次比較。這次修改讓系統先按記憶體位置排序,再逐一檢查相鄰區段;遇到不適用的情況,仍會使用原本的檢查方式。在一個使用 3,103 個區塊的測試中,檢查時間從 86.75 毫秒降到 4.90 毫秒,讓編譯後的更新工作更快。

  4. PyTorch Core Releases46

    PyTorch 把 FloorDiv 移出核心運算,讓 GLM-5.3 FP8 權重處理快 1.17 到 1.22 倍

    PyTorch 原本會在處理每個資料時,重複計算一個其實整次運作都不會變的除法,白白多花時間。這次修改讓 PyTorch 先算好這個數字,再交給後續運算使用。在 GB200 上測試 GLM-5.3 的 FP8 權重時,速度快了 1.17 到 1.22 倍;例如其中一種權重,單次運算時間從 739.2 微秒降到 607.8 微秒。測試結果在修改前後都和 eager 的結果一致。

  5. PyTorch Core Releases53

    PyTorch 為 NIXL 傳輸加入對端通知功能

    使用 NIXL 傳送資料時,程式需要知道傳輸何時完成,才能接著處理。這次 PyTorch 更新加入對端通知功能:讀取或寫入資料時可以附上通知,接收端會在傳輸完成後收到;也能查詢或等待通知。通知內容上限是 4 KiB,零位元組傳輸不能附帶通知。由於 NIXL 1.5.2 的 UCX 傳輸要等發起端檢查傳輸才會送出通知,而且 NIXL 無法主動提醒有新通知,這項更新會在背景輪詢傳輸和通知。

  6. AWS Machine Learning Blog68

    AWS 的分散式 KV 快取技能,幫忙評估與設定 LLM 快取

    自架大型語言模型時,不同 GPU 伺服器若沒有共用對話紀錄,使用者回來接續工作時,伺服器就得重新計算,讓第一個回應變慢。AWS 介紹一項分散式 KV 快取技能,可在支援技能的程式開發 AI 助理中,先檢查工作負載是否適合,再估算快取成本、協助設定 Amazon ElastiCache,或排查傳輸問題。文章也提醒,短提示詞可能不適合用快取;是否划算要看提示詞重複情況與實際流量,釋出的 GPU 時間也只有在減少伺服器或承接更多流量時,才會轉成省下的費用。

    推薦理由:文章以四段實際操作說明技能如何先估算工作負載是否適合,再協助設定與排除故障,呈現從評估到部署的完整流程。

  7. AWS Machine Learning Blog76

    Amazon SageMaker HyperPod 推出 Slurm 叢集擴充套件,管理監控與使用者設定

    共享的 Slurm 叢集常得靠多份指令碼和設定檔管理軟體、監控資料與使用者帳號,節點增加或更換後也容易出現設定不一致。Amazon SageMaker HyperPod 推出叢集擴充套件,讓管理者透過 API 或主控臺安裝、調整和更新監控與使用者管理功能;設定送出時會先檢查,之後套用到每個節點,並回報狀態與問題。監控擴充套件可把節點、GPU 和 Slurm 工作的指標送到指定的監控服務;使用者管理擴充套件則能讓各節點維持一致的帳號與許可權。組織專用軟體仍可用自訂 AMI 或生命週期指令碼管理,每項功能應由其中一種方式負責,避免互相衝突。文章表示這些擴充套件不另收費,但使用的 AWS 服務仍照常計費。

    推薦理由:文章以共享 Slurm 叢集的維運流程說明擴充套件如何管理節點軟體,並比較它和生命週期指令碼各自適合負責的工作。

  8. Replit ⠕67

    開發一項工作時,常得自己安排規劃、建置和測試。Replit 推出 Missions,使用者先設定想達成的結果、預算和限制,再由多個 AI 助理分工處理並反覆調整;文中舉例,可以要求它協助找到第一批 10 位客戶。Replit 也更新了 Microsoft Fabric 整合、Teams 服務和 Replit Desktop 的本機工作功能。文中提到,一名早期測試者花 $35 執行一項 Mission,五天後促成 $25K 的交易。

    推薦理由:Replit Missions 讓使用者設定目標、預算與限制,再由多個 AI 助理分工規劃、建置和測試,呈現了以成果安排開發工作的做法。

  9. Replit ⠕61

    雲端 AI 助理在瀏覽器裡執行時,碰不到電腦上的本機檔案和工具。Replit Desktop 讓模型在雲端執行,程式碼則在使用者的電腦上,並透過 Microsoft Execution Containers 提供的沙盒運作。使用者可以選擇 AI 助理能存取哪些資料夾,讓它配合手邊的檔案和工具工作。

    推薦理由:Replit Desktop 把雲端模型和電腦上的程式碼分開執行,並讓使用者選擇 AI 助理能讀取哪些資料夾,呈現了本機檔案與雲端開發工具的協作方式。

  10. AWS Machine Learning Blog78

    Amazon SageMaker HyperPod 推出跨叢集與跨區域的單一推論入口

    模型服務分散在多個叢集和區域時,流量可能塞在忙碌的叢集,其他地方的 GPU 卻閒著;叢集故障時也得手動改設定。AWS 推出 Amazon SageMaker HyperPod Global Inference Gateway,讓使用者端只呼叫一個入口,服務會依 GPU 記憶體與 KV cache 餘裕、排隊情況、區域遠近和錯誤率,把請求送到合適的叢集。若叢集故障,流量會自動切換;請求透過 AWS PrivateLink 傳送,並以 SigV4 和 IAM 驗證。每個叢集原有的 Inference Gateway 仍負責把請求送到模型。這項服務已在 13 個 AWS 區域推出。

    推薦理由:這項更新把多個叢集的模型服務整合到單一入口,並說明如何依負載與錯誤狀況分配流量及自動切換,適合瞭解跨區部署的管理方式。

  11. Google Developers Blog71

    Google 教你安全連線 Gemini Enterprise 與內部 Cloud Run MCP 服務

    企業把內部系統接到 Gemini Enterprise 時,得避免 MCP 服務暴露在公開網路,也要確認每次呼叫來自哪個服務和使用者。Google 說明如何用 Egress Agent Gateway、Private Service Connect 和精確網域的 Private Cloud DNS,讓 Gemini Enterprise 私下連到 Cloud Run;DNS 只套用在指定的 MCP 網址,避免影響共用 VPC 裡的其他 Cloud Run 服務。文章也說明兩層驗證的分工:Cloud Run IAM 確認呼叫服務的身分,MCP 程式則檢查使用者的 OAuth 2.0 權杖。文中附有參考程式和設定步驟,並介紹如何用 Cloud Logging 確認連線狀況。

    推薦理由:文章整理 Cloud Run 內部 MCP 服務的私有連線與雙重驗證做法,也說明如何避免 DNS 設定影響共用 VPC 中的其他服務。

  12. vLLM Official Blog75

    vLLM 支援 Thinking Machines 的 Inkling 2 Mini 迴圈模型

    模型把部分中間層重複運算,會讓推論時的快取和訊息傳遞更難處理。vLLM 宣佈支援 Thinking Machines 的 Inkling 2 Mini,並在 NVIDIA Blackwell、Hopper 和 DGX Spark 上提供 Day-0 支援。Inkling 2 Mini 的 12 個核心層會對每個 token 運算三次,每次各自保留 KV cache,並讀取前一次運算傳來的訊息;模型有 26B 總引數、3.5B 啟用引數,支援最多 1M tokens 的上下文。vLLM 也支援可調整運算次數的研究檢查點,讓團隊能測試速度、記憶體用量和品質之間的取捨。

    推薦理由:Inkling 2 Mini 的迴圈層會讓每個核心層重複運算三次,vLLM 透過分開管理快取並融合訊息讀取來支援這種架構。

  13. Vercel Blog49

    Vercel Functions 開放接收最大 20MiB 的請求資料

    Vercel Functions 現在在 Public Beta 中可接收最大 20MiB 的請求資料,原本上限是 4.5MB。要使用較大的上限,必須設定環境變數 VERCEL_SUPPORT_LARGE_REQUEST_BODY=1,並讓專案的函式使用 4GB 效能記憶體設定;功能適用於 Node.js、Python、Bun 和 Routing Middleware。Edge runtime 仍維持 4.5MB 上限,超過會回傳 413。啟用後,Routing Middleware 看得到請求標頭和其他資料,但收不到請求本文;處理大檔案時也要盡快讀取,避免記憶體和傳輸壓力。

  14. ollama release46

    Ollama 發布 v0.40.17-rc3,改善多個 AI 工具的使用方式

    Ollama v0.40.17-rc3 加入多項更新:Claude Code 需要工具時才載入 MCP 工具;Apple silicon 上的 Ollama 現在能同時處理多個請求。更新也修正了部分顯示卡載入模型或配置記憶體失敗的問題,並讓 API 傳遞工具設定時保留原有的 JSON 格式規則。這次更新還調整了多行輸入、模型推理設定和 ChatGPT 設定檔切換等操作,讓使用過程少一些卡關。

  15. Vercel Blog61

    Vercel Priority Projects 開放公開測試,增加流量辨識與網頁安全管控

    網站管理者常需要分辨可疑流量,也要知道網頁載入了哪些指令碼。Vercel 開放 Priority Projects 公開測試,供 Pro 和 Enterprise 團隊按專案加購,每個專案每月 $200。它能標示來自 Tor、VPN 和代理伺服器等流量,提供更多機器人資訊、防火牆警示,也能透過 Page Integrity 檢視並封鎖未核准的網頁資源。流量來源規則可用來記錄、要求驗證或封鎖請求,但 Vercel 提醒,分類中也可能包含正常使用者;Page Integrity 和 OWASP 檢查另行計費。

  16. Together AI Official Blog73

    Together AI 開放使用 Qwen3 TTS,可調整語氣並串流生成語音

    把文字變成語音時,開發者可能希望調整說話情緒、維持熟悉的聲音,也讓語音更快開始播放。Together AI 現在提供 Qwen3 TTS,可從 9 種預設聲音中挑選,再用簡短文字改變說話方式;每種聲音都支援 10 種語言。串流時,第一段音訊最快可在 97ms 後送出,文字若還在逐步產生,也能透過 WebSocket 分段送入。服務費用是每 1M 個字元 $20;Qwen 建議使用聲音原本的語言,以取得較好的品質。

    推薦理由:文章整理了 Qwen3 TTS 在 Together AI 的語音控制與串流方式,並說明不同語言的聲音品質可能因預設聲音而異。

11月20日週五
  1. PyTorch Core Releases36

    PyTorch 修正 XPU 的 grouped_mm 遇到空張量時失敗的問題

    在 MoE 裡,有時一批資料不會分到任何專家,讓輸入的 token 數變成 0;這時 PyTorch 的 XPU 版 grouped_mm 會出錯。問題是底層 oneDNN 無法處理某些維度為 0 的分組資料。這次修正會在輸出沒有元素時直接結束;如果 K 維度是 0、但輸出仍有內容,就把輸出設為全 0,因為這時沒有任何數值可以加總。測試涵蓋這兩種情況,讓空輸入也能得到正確結果。

  2. DuckDB Official Blog80

    DuckDB 2.0.1 LTS 修正安全與資料問題,新增 GPU 查詢擴充功能

    DuckDB 2.0.0 有些情況會漏掉資料,也有設定可能讓外部存取沒有被擋住。DuckDB 2.0.1 LTS 修正這些問題,並修補 Linux 記憶體管理與 Brotli 解碼器相關漏洞;若暫時不能升級,Linux 使用者可設定 DUCKDB_JE_MALLOC_CONF=muzzy_decay_ms:0,降低其中一項記憶體問題的影響。這版也新增 Sirius,能在符合條件的 Linux 電腦上用 NVIDIA GPU 執行 DuckDB 查詢;第一次載入時會下載約 1 GB 的對應程式。升級前還要檢查 SECRET 許可權範圍,以及 UPDATE ... FROM 和 MERGE 的更新結果可能受到多筆符合資料影響。

    推薦理由:這次更新同時修正資料遺失與安全問題,也調整部分舊行為;文中列出升級前需檢查的設定與暫時緩解方式。

  3. PyTorch Core Releases74

    PyTorch 為 MPS 加入 segment_reduce 前向運算

    PyTorch 使用 MPS 做 segment_reduce 時,原本沒有這項運算的原生前向實作。這次更新加入加總、平均、最大值、最小值和乘積運算,支援 float32、float16 與 bfloat16;反向運算目前還未實作。在 M5 Pro 的測試中,使用 offsets 的多種資料形狀都有加速,依運算種類約為 13 到 101 倍;改用 lengths 時,共用前端每次呼叫會多出兩次主機同步,部分測試因此變慢。

    推薦理由:這次更新提供 MPS 上 segment_reduce 前向運算的實測比較,也顯示輸入方式會大幅影響速度,評估效能時可一併留意主機同步成本。

  4. llama.cpp Releases54

    llama.cpp b12561 加入 Vulkan 版 GATED_DELTA_NET 分段處理

    在不同顯示卡上執行同一種運算時,效能調整和相容性處理可能各不相同。llama.cpp b12561 更新 Vulkan 版 GATED_DELTA_NET,加入分段處理,並針對 RDNA4、Ampere 和 NVIDIA 顯示卡調整程式,也修正部分驗證錯誤與效能問題。這次更新還列出多種系統與硬體的下載版本,方便使用者依自己的裝置選用。

  5. PyTorch Core Releases42

    PyTorch 修正 ROCm 分析工具處理活動紀錄時的當機問題

    ROCm 分析工具處理紀錄時,背景工作可能同時新增資料,讓正在讀取資料的程式遇到問題而當機。這次修改會先把待處理的紀錄分批取出,再放開鎖來分類和處理;處理期間新來的紀錄會留到下一次處理或清理時再讀。修改也保留共用緩衝區的事件數量限制,並加入檢查這些情況的測試。不過,這項作法不保證每筆同時送來的紀錄都會被處理;新測試也尚未在 CI 工作中執行。

  6. PyTorch Core Releases77

    PyTorch 修正 Inductor 長串資料寫入造成的效能問題

    PyTorch Inductor 把一長串資料寫入操作合併執行時,每個工作區塊都會讀取大量用不到的資料,拖慢了補零工作。這次修正調整了圖形最佳化方式,遇到較長的寫入鏈時,改成直接把資料寫進指定位置,避免重複讀取。在 GB300 的本機測試中,每輪工作約省下 25 毫秒;GB200 測試也觀察到每輪至少省下 44 毫秒。

    推薦理由:這項 PyTorch Inductor 修正說明,長鏈融合可能讓每個執行區塊重複讀取不需要的資料,並以實測呈現改用原地寫入後的效能差異。

  7. PyTorch Core Releases55

    PyTorch 為 ROCm 的可擴充套件記憶體加入 UALink 分享支援

    ROCm 原本用 POSIX 檔案描述符,讓不同 GPU 分享可擴充套件記憶體;但每個區塊都會佔用一個描述符,數量太多時就可能分享失敗。這次 PyTorch 改用 fabric handle,讓支援 UALink 的 GPU 能交換記憶體區塊,也避開檔案描述符上限。測試中,16,384 個區塊都能完成分享;POSIX 檔案描述符方式則在系統上限較低時提早失敗。改動也繞過一個 HIP 問題:從 fabric handle 匯入的記憶體只開放 GPU 存取。測試顯示,這項改動主要改善分享的穩定性,沒有帶來明顯頻寬提升。

  8. AWS Machine Learning Blog71

    Amazon SageMaker Inference 回顧 2026 年後續 14 項更新

    模型上線後,團隊還得處理延遲變高、GPU 沒用滿、流量塞在單一區域等問題。這篇文章整理 Amazon SageMaker Inference 後續推出的 14 項更新,涵蓋效能建議、LoRA adapter 調校、GPU 分割、多節點模型服務、跨區域流量分配和持續監控。例如,跨區域路由能把請求送到其他已登記的端點,並限制哪些區域可以處理流量;原有端點也能用少量額外機器分批更新模型,再重複使用既有機器。文章透過一個客服 AI 助理團隊的假想案例,說明這些工具如何協助團隊管理模型上線後的工作。

    推薦理由:文章依照模型上線後常見的營運難題,整理 SageMaker Inference 的更新如何協助團隊調校效能、共用 GPU 資源並跨區域分流。

  9. PyTorch Core Releases53

    PyTorch 將舊版 ProcessGroupNCCL 移出開源版,改用 nccl2

    PyTorch 開源版原本還會建置舊版 ProcessGroupNCCL,這次更新把它移到內部程式碼,讓開源版的 ProcessGroupNCCL 改用 nccl2。舊版後端和部分 Python、C++ 介面也一併移除;需要使用相關 C++ 擴充功能的開發者,得改用新的 nccl2 標頭檔。直接建立 ProcessGroupNCCL 時,現在會依群組排名設定裝置並提早初始化通訊;若程式要使用其他裝置,就必須設定群組排名,或啟用延後初始化。

  10. Together AI Official Blog65

    Tencent Hy4 登上 Together AI,可讀圖片並用來寫瀏覽器遊戲

    想讓 AI 助理看懂圖表,還能照著要求做出簡單遊戲,可以試試 Tencent Hy4。Together AI 現在提供這個模型的雲端服務,可用文字和圖片輸入,也支援工具呼叫與 JSON 輸出。文章測試它讀取圖表數字並重畫成 HTML,也讓它用單一提示詞寫出瀏覽器遊戲;作者實際開啟遊戲,確認能玩到結束並重新開始。Together AI 列出的價格是每 1M 輸入 token $0.83、輸出 token $2.50,快取輸入 token $0.042。

    推薦理由:文章用讀取圖表、重畫圖表和製作瀏覽器遊戲的實測,呈現 Hy4 在 Together AI 上的圖文輸入與程式生成表現,並列出使用價格。