跳到正文

#開源專案

RSS
今日 0 則
11月22日週日
  1. PyTorch Core Releases36

    PyTorch Dynamo 修正測試互相影響與設定還原問題

    PyTorch Dynamo 的測試放在同一個程式裡跑時,會互相影響,原本有 63 個測試失敗。這次修改了測試共用的程式,讓設定能還原、只有能重新載入的函式才會寫進重現問題用的程式碼,也避免載入測試檔時就先執行整套測試設定。修改後只剩 1 個失敗,而且那個測試單獨執行也會失敗,與這次問題無關。這表示測試彼此幹擾的情況大多獲得修正。

  2. llama.cpp Releases54

    llama.cpp b12621 加快 SYCL 轉置卷積運算

    處理影片影格時,轉置卷積可能花上不少時間。llama.cpp 的 b12621 更新縮小了 SYCL 轉置卷積每次要讀取的輸入範圍;在文中列出的測試中,部分運算快了 2.90 到 710.23 倍。測試輸出與舊版逐位元相同,相關運算元測試也全部通過。不過,這些數字是單一核心運算的測試結果,不能直接當成整體語音生成速度的提升。

  3. llama.cpp Releases36

    llama.cpp 加入 SYCL 版 gated_delta_net 運算核心

    llama.cpp 的這次更新加入一種 SYCL 運算核心,能把 gated_delta_net 的工作分成區塊處理。更新頁也列出 macOS、iOS、Linux、Android、Windows 和 openEuler 等平臺的建置專案,涵蓋 CPU、GPU 與 NPU 等不同硬體環境;部分專案標示為停用。這讓使用者能看出更新支援哪些平臺與運算方式,但頁面沒有進一步說明這項新核心的效能差異。

  4. PyTorch Core Releases35

    PyTorch Dynamo 支援 bytearray 去除字串前後的指定內容

    用 torch.compile 編譯程式時,PyTorch Dynamo 原本無法處理 bytearray 的 strip()、lstrip() 和 rstrip()。這次更新補上支援:不給引數或給 None 時,會去除空白;也能傳入 bytes 型別的內容來指定要移除哪些字元,而且結果會是新的 bytearray,不會改動原本資料。若傳入字串或整數等不合規的內容,會比照 Python 顯示錯誤;遇到無法確認的引數,則會改走原本的處理方式。更新也讓部分原本被跳過的 Python 測試可以通過。

11月21日週六
  1. PyTorch Core Releases46

    PyTorch 把 FloorDiv 移出核心運算,讓 GLM-5.3 FP8 權重處理快 1.17 到 1.22 倍

    PyTorch 原本會在處理每個資料時,重複計算一個其實整次運作都不會變的除法,白白多花時間。這次修改讓 PyTorch 先算好這個數字,再交給後續運算使用。在 GB200 上測試 GLM-5.3 的 FP8 權重時,速度快了 1.17 到 1.22 倍;例如其中一種權重,單次運算時間從 739.2 微秒降到 607.8 微秒。測試結果在修改前後都和 eager 的結果一致。

  2. PyTorch Core Releases53

    PyTorch 為 NIXL 傳輸加入對端通知功能

    使用 NIXL 傳送資料時,程式需要知道傳輸何時完成,才能接著處理。這次 PyTorch 更新加入對端通知功能:讀取或寫入資料時可以附上通知,接收端會在傳輸完成後收到;也能查詢或等待通知。通知內容上限是 4 KiB,零位元組傳輸不能附帶通知。由於 NIXL 1.5.2 的 UCX 傳輸要等發起端檢查傳輸才會送出通知,而且 NIXL 無法主動提醒有新通知,這項更新會在背景輪詢傳輸和通知。

  3. vLLM Official Blog75

    vLLM 支援 Thinking Machines 的 Inkling 2 Mini 迴圈模型

    模型把部分中間層重複運算,會讓推論時的快取和訊息傳遞更難處理。vLLM 宣佈支援 Thinking Machines 的 Inkling 2 Mini,並在 NVIDIA Blackwell、Hopper 和 DGX Spark 上提供 Day-0 支援。Inkling 2 Mini 的 12 個核心層會對每個 token 運算三次,每次各自保留 KV cache,並讀取前一次運算傳來的訊息;模型有 26B 總引數、3.5B 啟用引數,支援最多 1M tokens 的上下文。vLLM 也支援可調整運算次數的研究檢查點,讓團隊能測試速度、記憶體用量和品質之間的取捨。

    推薦理由:Inkling 2 Mini 的迴圈層會讓每個核心層重複運算三次,vLLM 透過分開管理快取並融合訊息讀取來支援這種架構。

  4. llama.cpp Releases50

    llama.cpp b12590 加入 drama3 聲音複製支援

    llama.cpp 這次更新讓 fish_s2_spkenc 也能用在 drama3,把參考音訊轉成模型可使用的資料,並透過 drama3 的語音流程產生聲音。使用者提供參考音訊時,系統會把其中的音訊資料送進模型;呼叫端提供下一段音訊的程式碼時,也能用來引導生成。這讓 llama.cpp 能處理 drama3 的聲音複製流程,並新增讀取生成狀態中參考音訊程式碼的方式。

  5. Together AI Official Blog73

    Together AI 開放使用 Qwen3 TTS,可調整語氣並串流生成語音

    把文字變成語音時,開發者可能希望調整說話情緒、維持熟悉的聲音,也讓語音更快開始播放。Together AI 現在提供 Qwen3 TTS,可從 9 種預設聲音中挑選,再用簡短文字改變說話方式;每種聲音都支援 10 種語言。串流時,第一段音訊最快可在 97ms 後送出,文字若還在逐步產生,也能透過 WebSocket 分段送入。服務費用是每 1M 個字元 $20;Qwen 建議使用聲音原本的語言,以取得較好的品質。

    推薦理由:文章整理了 Qwen3 TTS 在 Together AI 的語音控制與串流方式,並說明不同語言的聲音品質可能因預設聲音而異。

11月20日週五
  1. PyTorch Core Releases36

    PyTorch 修正 XPU 的 grouped_mm 遇到空張量時失敗的問題

    在 MoE 裡,有時一批資料不會分到任何專家,讓輸入的 token 數變成 0;這時 PyTorch 的 XPU 版 grouped_mm 會出錯。問題是底層 oneDNN 無法處理某些維度為 0 的分組資料。這次修正會在輸出沒有元素時直接結束;如果 K 維度是 0、但輸出仍有內容,就把輸出設為全 0,因為這時沒有任何數值可以加總。測試涵蓋這兩種情況,讓空輸入也能得到正確結果。

  2. llama.cpp Releases36

    llama.cpp 修正 Inkling 2 的專家權過載入

    llama.cpp 原本會讀取 MoE 模型中各專家的部分縮放資料,卻漏掉合併在一起的 gate 和 up 權重。這會讓 Inkling 2 傳給運算流程的專家縮放資料不完整。這次更新補上載入方式:模型沒有分開的 up 權重時,會把合併權重的縮放資料交給 up 權重使用,讓 Inkling 2 像其他 MoE 模型一樣,把專家縮放資料傳進運算流程。

  3. OpenBMB58

    老師批改手寫英文作文時,得先辨認字跡,再逐句檢查拼字和文法。OpenBMB 推出的開源 app PaperReview 可匯入作文照片,辨認手寫內容,並把修改建議連回原文,讓老師對照學生寫的字和辨識結果。MiniCPM-OCR 1.0 負責辨識,MiniCPM5-2B 檢查拼字、文法、標點和大小寫;老師可以逐項接受或略過建議,也能保留進度、稍後接著改。下載模型和執行環境後,辨識與文字檢查會在 Apple Silicon Mac 本機進行,學生作文不必送到雲端模型。

  4. llama.cpp Releases54

    llama.cpp b12561 加入 Vulkan 版 GATED_DELTA_NET 分段處理

    在不同顯示卡上執行同一種運算時,效能調整和相容性處理可能各不相同。llama.cpp b12561 更新 Vulkan 版 GATED_DELTA_NET,加入分段處理,並針對 RDNA4、Ampere 和 NVIDIA 顯示卡調整程式,也修正部分驗證錯誤與效能問題。這次更新還列出多種系統與硬體的下載版本,方便使用者依自己的裝置選用。

  5. PyTorch Core Releases42

    PyTorch 修正 ROCm 分析工具處理活動紀錄時的當機問題

    ROCm 分析工具處理紀錄時,背景工作可能同時新增資料,讓正在讀取資料的程式遇到問題而當機。這次修改會先把待處理的紀錄分批取出,再放開鎖來分類和處理;處理期間新來的紀錄會留到下一次處理或清理時再讀。修改也保留共用緩衝區的事件數量限制,並加入檢查這些情況的測試。不過,這項作法不保證每筆同時送來的紀錄都會被處理;新測試也尚未在 CI 工作中執行。

  6. PyTorch Core Releases69

    PyTorch 為 ROCm 的 UALink GPU 加入 fabric handle 記憶體共享

    ROCm 原本用 POSIX 檔案描述符,讓不同 GPU 共享可擴充的記憶體區塊;區塊很多時,開啟的檔案描述符會碰到數量上限。這項 PyTorch 修改加入 fabric handle,讓支援 UALink 的 GPU 改用另一種共享方式,並修正 HIP 不接受特定主機存取設定的問題。作者在 MI450 和 ROCm 10.3 上測試,16,384 個區塊都能完成共享,而檔案描述符方式在上限較低時會提早失敗。測得的頻寬提升不大,這項修改主要改善大量區塊共享時的可靠性。

    推薦理由:這項修改主要改善 UALink GPU 間共享大型記憶體區塊時的穩定性,也避開檔案描述符數量上限;文中測試顯示傳輸頻寬提升有限。

  7. cloudflare blog91

    nginx 揭露五個可能導致伺服器遭入侵的漏洞,Cloudflare 說明代理防護範圍

    nginx 有五個新漏洞,攻擊者可能利用其中一些漏洞讓伺服器當機,或在特定條件下執行指令。Cloudflare 表示,透過自家 HTTP 代理連線的網站,HTTP/2 和 HTTP/3 攻擊會在 Cloudflare 邊緣節點終止,無法直接把攻擊用的連線資料送到網站的 nginx;但郵件代理、部分 DNS 查詢設定,以及能繞過 Cloudflare 直連來源伺服器的情況,不在這項防護範圍內。Cloudflare 建議更新至 nginx 1.30.7 或 1.31.9,並確認來源伺服器只能透過 Cloudflare 存取。文中也指出,截至 11 月 19 日,尚無這些漏洞在野外遭利用的通報;其中一項 Linux 核心漏洞當時還沒有修補程式。

    推薦理由:文章拆解五個 nginx 漏洞各自需要的設定與攻擊條件,並說明 Cloudflare 代理在哪些情況能擋住攻擊、哪些情況仍須直接修補。

  8. Replit ⠕61

    使用線上 AI 助理時,聊天紀錄、記憶和登入資訊可能都放在服務商的伺服器上。Replit 用 Missions 挑戰製作一款 AI 助理,3 天後完成 Amuse。它免費、開放原始碼,可在自己的電腦上研究資料、瀏覽網頁、設定提醒和製作小型應用程式;採取行動前會先詢問使用者。Replit 也用 Security Scanner 找出並修補漏洞,並檢查成品是否安全。

    推薦理由:Amuse 把研究、瀏覽、提醒和製作小型應用程式放在自家電腦執行,也讓使用者保留自己的資料與登入資訊,呈現了個人 AI 助理的另一種使用方式。

  9. llama.cpp Releases39

    llama.cpp b12550 加入後端排程壓力測試

    llama.cpp b12550 加入一批測試,檢查模型運算工作交給不同硬體後,排程能不能照預期運作。測試會反覆嘗試不同工作組合,也加入短暫等待的操作,幫忙找出排程錯誤;其中一項測試也確認了修補方式能處理特定問題。這些改動能讓開發者更容易抓到 CPU、GPU 等不同後端的相容問題,減少測試漏掉錯誤的機會。

11月19日週四
  1. Unsloth AI Releases64

    Unsloth 更新 AMD NPU 支援,並加入影像與影片 LoRA 訓練

    在本機訓練和執行 AI 模型時,硬體支援、模型格式和等待時間常讓人卡關。Unsloth 這次更新讓轉換後的 Q4NX 模型能在 AMD NPU 上載入,也會標示每個模型能不能執行;此外,使用者可以訓練 LTX-2.5 和 MOSS-Image 的 LoRA,並在影片頁面載入 NVIDIA Cosmos3 的 FP8 模型。更新也加入聊天排程,讓排程任務的回覆直接出現在原本的聊天室。部分影像與訓練工作在特定硬體上每步最多快 42%,實際速度會依顯示卡和設定而異。

    推薦理由:這次更新把 AMD NPU、影像與影片模型訓練,以及聊天排程整合進 Unsloth,呈現本機 AI 工作流程涵蓋的範圍。

  2. PyTorch Core Releases43

    PyTorch Inductor 修正含 reduction 的組合核心設定,讓結果與單獨執行一致

    PyTorch Inductor 把多個小型運算合在一起跑時,可能讓不同運算共用同一組執行設定;如果其中有加總運算,設定不同就可能改變加總順序,讓結果和單獨執行時出現些微差異。這次修改會按各運算調好的設定拆分組合,並讓含加總運算的組合跳過執行時再次調整設定。測試中,原本 32 個輸出有 22 個和單獨執行不同;修正後,結果能逐位元相同。實際測試的 7 組圖表,執行時間變化平均為 +0.09%,落在每次測量的自然波動範圍內。

  3. PyTorch Core Releases44

    PyTorch Inductor 修正 reduction 融合後的數值差異

    PyTorch Inductor 把多個小程式合在一起執行時,可能會讓 reduction 的加總順序改變,結果就和單獨執行時差一點。這次修正會依照各程式調校好的執行設定,把設定不同的 reduction 分開;設定相同的仍可合在一起,含 reduction 的組合也不再於執行時重新調校。如此一來,在相同設定下,組合執行的結果能和單獨執行完全一致。測試的 7 個 Ads/IG 圖表中,執行時間變化落在平常測量誤差範圍內。

11月18日週三
  1. PostgreSQL Official News50

    WAL-G 發布 3.0.10,新增 PostgreSQL WAL 直接讀取功能

    備份資料庫時,如果要讓備用伺服器讀到新的記錄,過去可能得先把檔案搬到指定位置。WAL-G 3.0.10 新增 PostgreSQL 的 wal-send,可以透過串流複寫協定,讓備用伺服器直接從物件儲存讀取 WAL,並在新片段到達時接著讀取。這次也改善了備份上傳、S3 傳輸和 Greenplum、Cloudberry 的備份還原流程;要留意的是,永久備份雖然仍不會因保留期限而刪除,但指定刪除目標時可以刪掉。

  2. llama.cpp Releases70

    llama.cpp b12503 大幅改善 OpenVINO 後端的推論與記憶體使用

    使用 OpenVINO 跑 llama.cpp 時,模型推論可能花太多時間搬動快取和資料,也會佔用不少記憶體。b12503 更新了 OpenVINO 後端在 CPU、GPU 和 NPU 上的多項做法,例如依實際注意力範圍讀取 KV 快取、減少 NPU 預填階段的資料搬動,並讓部分執行設定可以選擇開啟。更新也調整了模型快取與注意力處理,修正多種模型和執行模式下的問題;實際可用的選項與效能改善會依裝置和設定而異。

    推薦理由:這次更新集中改善 OpenVINO 後端在 CPU、GPU 與 NPU 上的快取、記憶體使用和推論效能,並提供多項可調整的執行選項。

  3. llama.cpp Releases37

    llama.cpp 新增支援 A7 Q5_K 的非 MoE 二進位核心

    llama.cpp 這次更新加入一種新的運算程式,讓 OpenCL 能處理 A7 Q5_K 格式,而且這種程式不使用 MoE。簡單說,它就像替特定格式的資料準備一條新的處理路線。發布頁也列出 macOS、iOS、Linux、Android 和 Windows 等平臺的版本資訊;這次更新的重點,是讓 llama.cpp 多了一種可用的運算方式。

  4. PyTorch Core Releases42

    PyTorch 修正 ShapeEnv 快取,避免形狀資訊更新後還回傳舊答案

    ShapeEnv 查詢時,如果當下不知道答案,就會先回傳備用結果;但舊的快取會把這個暫時答案一直留下來。即使後來加入新線索、已經能判斷答案,查詢仍可能拿到舊結果。這次修改把「已經確認的答案」和「暫時用來代替的答案」分開存:新線索讓答案變得明確後,系統就能回傳正確結果。像是查詢一開始回傳備用答案,替符號加上範圍限制後,就能改回 True。

  5. Pydantic AI Releases57

    Pydantic AI 發布 v2.70.0,修補兩項高風險漏洞並加入多項功能

    Pydantic AI v2.70.0 修補兩項高風險漏洞:特定文字格式可能讓事件迴圈卡住數十秒到數分鐘。若使用者開啟 ANSI 清理功能,並處理攻擊者能影響的工具輸出,可能受第一項漏洞影響;使用預設 JWT 遮蔽規則處理這類文字,則可能受第二項影響。兩項漏洞都已在 pydantic-ai-harness 0.70.0 修正。這次更新也加入串流內容檢查、工具結果摘要等功能,並支援 OpenAI gpt-6.2-sol 和 gpt-6.2-astra。