PyTorch Dynamo 修正測試互相影響與設定還原問題
PyTorch Dynamo 的測試放在同一個程式裡跑時,會互相影響,原本有 63 個測試失敗。這次修改了測試共用的程式,讓設定能還原、只有能重新載入的函式才會寫進重現問題用的程式碼,也避免載入測試檔時就先執行整套測試設定。修改後只剩 1 個失敗,而且那個測試單獨執行也會失敗,與這次問題無關。這表示測試彼此幹擾的情況大多獲得修正。
PyTorch Dynamo 的測試放在同一個程式裡跑時,會互相影響,原本有 63 個測試失敗。這次修改了測試共用的程式,讓設定能還原、只有能重新載入的函式才會寫進重現問題用的程式碼,也避免載入測試檔時就先執行整套測試設定。修改後只剩 1 個失敗,而且那個測試單獨執行也會失敗,與這次問題無關。這表示測試彼此幹擾的情況大多獲得修正。
llama.cpp 的伺服器新增了在單一 ubatch 中處理非因果批次的功能。這次更新也列出 macOS、iOS、Linux、Android、Windows 和 openEuler 等平臺的版本與建置專案,涵蓋 CPU、GPU 和多種運算環境;部分專案標示為停用。
處理影片影格時,轉置卷積可能花上不少時間。llama.cpp 的 b12621 更新縮小了 SYCL 轉置卷積每次要讀取的輸入範圍;在文中列出的測試中,部分運算快了 2.90 到 710.23 倍。測試輸出與舊版逐位元相同,相關運算元測試也全部通過。不過,這些數字是單一核心運算的測試結果,不能直接當成整體語音生成速度的提升。
llama.cpp 這次更新加入對 kyutai/hibiki 即時雙向語音的支援,也修正了 Hibiki 雙向語音功能並改善長時間使用時的品質。更新還補上 Metal 對 Moshi 架構中幾種運算融合的測試基準。
llama.cpp 的這次更新加入一種 SYCL 運算核心,能把 gated_delta_net 的工作分成區塊處理。更新頁也列出 macOS、iOS、Linux、Android、Windows 和 openEuler 等平臺的建置專案,涵蓋 CPU、GPU 與 NPU 等不同硬體環境;部分專案標示為停用。這讓使用者能看出更新支援哪些平臺與運算方式,但頁面沒有進一步說明這項新核心的效能差異。
llama.cpp 載入 Inkling2 模型時,會先複製專家層的資料,之後才載入額外的尺度資料,導致後續運算使用 NVFP4 專家層時少了每個專家需要的尺度資料。這次修改新增一個載入後的處理步驟,等尺度資料也載入後再分享專家層資料,讓後續運算拿得到完整資訊。
用 torch.compile 編譯程式時,PyTorch Dynamo 原本無法處理 bytearray 的 strip()、lstrip() 和 rstrip()。這次更新補上支援:不給引數或給 None 時,會去除空白;也能傳入 bytes 型別的內容來指定要移除哪些字元,而且結果會是新的 bytearray,不會改動原本資料。若傳入字串或整數等不合規的內容,會比照 Python 顯示錯誤;遇到無法確認的引數,則會改走原本的處理方式。更新也讓部分原本被跳過的 Python 測試可以通過。
PyTorch 原本會在處理每個資料時,重複計算一個其實整次運作都不會變的除法,白白多花時間。這次修改讓 PyTorch 先算好這個數字,再交給後續運算使用。在 GB200 上測試 GLM-5.3 的 FP8 權重時,速度快了 1.17 到 1.22 倍;例如其中一種權重,單次運算時間從 739.2 微秒降到 607.8 微秒。測試結果在修改前後都和 eager 的結果一致。
一整排輸入數值都相同時,LayerNorm 理應輸出全 0,但 PyTorch 在某些 GPU 上可能算出約 0.00001。原因是它合併部分平均值時,四捨五入後的權重加起來不一定剛好是 1。這次修正改用另一種計算方式;測試確認,MI355X 和 NVIDIA L4 上,相關測試都順利通過。
使用 NIXL 傳送資料時,程式需要知道傳輸何時完成,才能接著處理。這次 PyTorch 更新加入對端通知功能:讀取或寫入資料時可以附上通知,接收端會在傳輸完成後收到;也能查詢或等待通知。通知內容上限是 4 KiB,零位元組傳輸不能附帶通知。由於 NIXL 1.5.2 的 UCX 傳輸要等發起端檢查傳輸才會送出通知,而且 NIXL 無法主動提醒有新通知,這項更新會在背景輪詢傳輸和通知。
模型把部分中間層重複運算,會讓推論時的快取和訊息傳遞更難處理。vLLM 宣佈支援 Thinking Machines 的 Inkling 2 Mini,並在 NVIDIA Blackwell、Hopper 和 DGX Spark 上提供 Day-0 支援。Inkling 2 Mini 的 12 個核心層會對每個 token 運算三次,每次各自保留 KV cache,並讀取前一次運算傳來的訊息;模型有 26B 總引數、3.5B 啟用引數,支援最多 1M tokens 的上下文。vLLM 也支援可調整運算次數的研究檢查點,讓團隊能測試速度、記憶體用量和品質之間的取捨。
推薦理由:Inkling 2 Mini 的迴圈層會讓每個核心層重複運算三次,vLLM 透過分開管理快取並融合訊息讀取來支援這種架構。
llama.cpp 這次更新讓 fish_s2_spkenc 也能用在 drama3,把參考音訊轉成模型可使用的資料,並透過 drama3 的語音流程產生聲音。使用者提供參考音訊時,系統會把其中的音訊資料送進模型;呼叫端提供下一段音訊的程式碼時,也能用來引導生成。這讓 llama.cpp 能處理 drama3 的聲音複製流程,並新增讀取生成狀態中參考音訊程式碼的方式。
把文字變成語音時,開發者可能希望調整說話情緒、維持熟悉的聲音,也讓語音更快開始播放。Together AI 現在提供 Qwen3 TTS,可從 9 種預設聲音中挑選,再用簡短文字改變說話方式;每種聲音都支援 10 種語言。串流時,第一段音訊最快可在 97ms 後送出,文字若還在逐步產生,也能透過 WebSocket 分段送入。服務費用是每 1M 個字元 $20;Qwen 建議使用聲音原本的語言,以取得較好的品質。
推薦理由:文章整理了 Qwen3 TTS 在 Together AI 的語音控制與串流方式,並說明不同語言的聲音品質可能因預設聲音而異。
在 MoE 裡,有時一批資料不會分到任何專家,讓輸入的 token 數變成 0;這時 PyTorch 的 XPU 版 grouped_mm 會出錯。問題是底層 oneDNN 無法處理某些維度為 0 的分組資料。這次修正會在輸出沒有元素時直接結束;如果 K 維度是 0、但輸出仍有內容,就把輸出設為全 0,因為這時沒有任何數值可以加總。測試涵蓋這兩種情況,讓空輸入也能得到正確結果。
llama.cpp 原本會讀取 MoE 模型中各專家的部分縮放資料,卻漏掉合併在一起的 gate 和 up 權重。這會讓 Inkling 2 傳給運算流程的專家縮放資料不完整。這次更新補上載入方式:模型沒有分開的 up 權重時,會把合併權重的縮放資料交給 up 權重使用,讓 Inkling 2 像其他 MoE 模型一樣,把專家縮放資料傳進運算流程。
這次 llama.cpp 更新加入 Domyn Edge 4B 模型,並調整模型名稱格式,也修正模型轉換時可能遇到的錯誤和相關測試。簡單來說,這讓 llama.cpp 能處理這個新模型;更新內容也列出 macOS、Linux、Android 和 Windows 等平臺的建置專案。
llama.cpp 的 b12566 加入 KleidiAI 對 HarmonyOS AArch64 的支援,讓這個版本能用於搭載 AArch64 架構的 HarmonyOS 裝置。這次更新也列出 macOS、iOS、Linux、Android、Windows 和 openEuler 等系統的建置專案,包含不同處理器與加速方式;不過清單中有些專案標示為停用。
在不同顯示卡上執行同一種運算時,效能調整和相容性處理可能各不相同。llama.cpp b12561 更新 Vulkan 版 GATED_DELTA_NET,加入分段處理,並針對 RDNA4、Ampere 和 NVIDIA 顯示卡調整程式,也修正部分驗證錯誤與效能問題。這次更新還列出多種系統與硬體的下載版本,方便使用者依自己的裝置選用。
ROCm 分析工具處理紀錄時,背景工作可能同時新增資料,讓正在讀取資料的程式遇到問題而當機。這次修改會先把待處理的紀錄分批取出,再放開鎖來分類和處理;處理期間新來的紀錄會留到下一次處理或清理時再讀。修改也保留共用緩衝區的事件數量限制,並加入檢查這些情況的測試。不過,這項作法不保證每筆同時送來的紀錄都會被處理;新測試也尚未在 CI 工作中執行。
ROCm 原本用 POSIX 檔案描述符,讓不同 GPU 共享可擴充的記憶體區塊;區塊很多時,開啟的檔案描述符會碰到數量上限。這項 PyTorch 修改加入 fabric handle,讓支援 UALink 的 GPU 改用另一種共享方式,並修正 HIP 不接受特定主機存取設定的問題。作者在 MI450 和 ROCm 10.3 上測試,16,384 個區塊都能完成共享,而檔案描述符方式在上限較低時會提早失敗。測得的頻寬提升不大,這項修改主要改善大量區塊共享時的可靠性。
推薦理由:這項修改主要改善 UALink GPU 間共享大型記憶體區塊時的穩定性,也避開檔案描述符數量上限;文中測試顯示傳輸頻寬提升有限。
nginx 有五個新漏洞,攻擊者可能利用其中一些漏洞讓伺服器當機,或在特定條件下執行指令。Cloudflare 表示,透過自家 HTTP 代理連線的網站,HTTP/2 和 HTTP/3 攻擊會在 Cloudflare 邊緣節點終止,無法直接把攻擊用的連線資料送到網站的 nginx;但郵件代理、部分 DNS 查詢設定,以及能繞過 Cloudflare 直連來源伺服器的情況,不在這項防護範圍內。Cloudflare 建議更新至 nginx 1.30.7 或 1.31.9,並確認來源伺服器只能透過 Cloudflare 存取。文中也指出,截至 11 月 19 日,尚無這些漏洞在野外遭利用的通報;其中一項 Linux 核心漏洞當時還沒有修補程式。
推薦理由:文章拆解五個 nginx 漏洞各自需要的設定與攻擊條件,並說明 Cloudflare 代理在哪些情況能擋住攻擊、哪些情況仍須直接修補。
推薦理由:Amuse 把研究、瀏覽、提醒和製作小型應用程式放在自家電腦執行,也讓使用者保留自己的資料與登入資訊,呈現了個人 AI 助理的另一種使用方式。
llama.cpp b12550 加入一批測試,檢查模型運算工作交給不同硬體後,排程能不能照預期運作。測試會反覆嘗試不同工作組合,也加入短暫等待的操作,幫忙找出排程錯誤;其中一項測試也確認了修補方式能處理特定問題。這些改動能讓開發者更容易抓到 CPU、GPU 等不同後端的相容問題,減少測試漏掉錯誤的機會。
在本機訓練和執行 AI 模型時,硬體支援、模型格式和等待時間常讓人卡關。Unsloth 這次更新讓轉換後的 Q4NX 模型能在 AMD NPU 上載入,也會標示每個模型能不能執行;此外,使用者可以訓練 LTX-2.5 和 MOSS-Image 的 LoRA,並在影片頁面載入 NVIDIA Cosmos3 的 FP8 模型。更新也加入聊天排程,讓排程任務的回覆直接出現在原本的聊天室。部分影像與訓練工作在特定硬體上每步最多快 42%,實際速度會依顯示卡和設定而異。
推薦理由:這次更新把 AMD NPU、影像與影片模型訓練,以及聊天排程整合進 Unsloth,呈現本機 AI 工作流程涵蓋的範圍。
llama.cpp 的 Vulkan 版本加入 stream-k MUL_MAT,會把計算分成小塊,平均分給各個 SM 處理。每個工作群組算完一塊後,有些會直接寫入結果,其他則先存到暫存區,再由另一個著色器整理。程式碼已涵蓋 scalar、cm1 和 cm2,目前只有 cm2 啟用這項功能。
llama.cpp 的多模態功能加入對 VoxCPM2 的支援,也讓 VoxCPM 跑得快一些。這次更新還提供多種系統和硬體平臺的版本,例如 macOS、Linux、Android 和 Windows,並列出可使用 CPU、GPU 或其他加速硬體的組合,方便使用者依自己的裝置選擇。
PyTorch Inductor 把多個小型運算合在一起跑時,可能讓不同運算共用同一組執行設定;如果其中有加總運算,設定不同就可能改變加總順序,讓結果和單獨執行時出現些微差異。這次修改會按各運算調好的設定拆分組合,並讓含加總運算的組合跳過執行時再次調整設定。測試中,原本 32 個輸出有 22 個和單獨執行不同;修正後,結果能逐位元相同。實際測試的 7 組圖表,執行時間變化平均為 +0.09%,落在每次測量的自然波動範圍內。
PyTorch Inductor 把多個小程式合在一起執行時,可能會讓 reduction 的加總順序改變,結果就和單獨執行時差一點。這次修正會依照各程式調校好的執行設定,把設定不同的 reduction 分開;設定相同的仍可合在一起,含 reduction 的組合也不再於執行時重新調校。如此一來,在相同設定下,組合執行的結果能和單獨執行完全一致。測試的 7 個 Ads/IG 圖表中,執行時間變化落在平常測量誤差範圍內。
FastAPI 0.165.0 加入可調整的表單解析限制,讓開發者能設定系統處理表單內容時的限制。這次更新也附上官方技能,協助寫程式的 AI 助理使用目前安裝版本的新功能和建議寫法;可在專案中用 uvx library-skills 安裝。
備份資料庫時,如果要讓備用伺服器讀到新的記錄,過去可能得先把檔案搬到指定位置。WAL-G 3.0.10 新增 PostgreSQL 的 wal-send,可以透過串流複寫協定,讓備用伺服器直接從物件儲存讀取 WAL,並在新片段到達時接著讀取。這次也改善了備份上傳、S3 傳輸和 Greenplum、Cloudberry 的備份還原流程;要留意的是,永久備份雖然仍不會因保留期限而刪除,但指定刪除目標時可以刪掉。
llama.cpp 的 Vulkan 版本新增了對更多 bfloat16 運算的支援,包含一元與二元運算,以及 rms_norm。這表示使用 Vulkan 執行相關運算時,能處理更多 bfloat16 操作;同一版也替 CPU 增加幾種 bfloat16 運算支援,並修正 SYCL 的一項條件設定。
使用 OpenVINO 跑 llama.cpp 時,模型推論可能花太多時間搬動快取和資料,也會佔用不少記憶體。b12503 更新了 OpenVINO 後端在 CPU、GPU 和 NPU 上的多項做法,例如依實際注意力範圍讀取 KV 快取、減少 NPU 預填階段的資料搬動,並讓部分執行設定可以選擇開啟。更新也調整了模型快取與注意力處理,修正多種模型和執行模式下的問題;實際可用的選項與效能改善會依裝置和設定而異。
推薦理由:這次更新集中改善 OpenVINO 後端在 CPU、GPU 與 NPU 上的快取、記憶體使用和推論效能,並提供多項可調整的執行選項。
llama.cpp 的 b12502 更新加入一項新功能:在 V100 顯示卡上,MoE 可使用 CUDA MMQ。這次更新也列出 macOS、iOS、Linux、Android、Windows 和 openEuler 等系統的版本檔案,涵蓋 CPU、CUDA、Vulkan 等不同執行環境。使用者可以依自己的裝置和系統挑選合適的版本。
llama.cpp 這次更新加入一種新的運算程式,讓 OpenCL 能處理 A7 Q5_K 格式,而且這種程式不使用 MoE。簡單說,它就像替特定格式的資料準備一條新的處理路線。發布頁也列出 macOS、iOS、Linux、Android 和 Windows 等平臺的版本資訊;這次更新的重點,是讓 llama.cpp 多了一種可用的運算方式。
ShapeEnv 查詢時,如果當下不知道答案,就會先回傳備用結果;但舊的快取會把這個暫時答案一直留下來。即使後來加入新線索、已經能判斷答案,查詢仍可能拿到舊結果。這次修改把「已經確認的答案」和「暫時用來代替的答案」分開存:新線索讓答案變得明確後,系統就能回傳正確結果。像是查詢一開始回傳備用答案,替符號加上範圍限制後,就能改回 True。
Pydantic AI v2.70.0 修補兩項高風險漏洞:特定文字格式可能讓事件迴圈卡住數十秒到數分鐘。若使用者開啟 ANSI 清理功能,並處理攻擊者能影響的工具輸出,可能受第一項漏洞影響;使用預設 JWT 遮蔽規則處理這類文字,則可能受第二項影響。兩項漏洞都已在 pydantic-ai-harness 0.70.0 修正。這次更新也加入串流內容檢查、工具結果摘要等功能,並支援 OpenAI gpt-6.2-sol 和 gpt-6.2-astra。