跳到正文

#開源專案

RSS
今日 0 則
11月18日週三
  1. Google Developers Blog73

    Google 開源 ABFS,讓 Android 大型程式碼庫更快下載與建置

    Android 程式碼庫很大,下載原始碼和重新建置常要等很久,也讓開發者和 AI 助理難以快速開好多個工作區並平行測試。Google 做了開源工具 ABFS,先載入檔案清單,等建置真的需要某個檔案時才下載,並重用 CI 和開發者已經做好的建置結果。Google 表示,Android 原始碼下載時間從約 36 分鐘縮短到不到 8 秒,完整建置則從約 80 分鐘縮短到 2 分鐘多。ABFS 也能讓多個工作區共用快取;Google 正探索把它用在其他大型 Git 專案。

    推薦理由:ABFS 把大型 Git 專案的檔案按需載入,並重用 CI 與開發環境的建置結果,文中以 Android 實測呈現這套做法如何縮短等待時間。

  2. Replit Blog78

    Replit 推出 Missions,讓多個 AI 助理分工完成複雜任務

    團隊想完成大型專案,常會卡在人手和時間不夠。Replit 推出 Missions,使用者先說明目標、預算和哪些動作要先核准,接著由多個 AI 助理分工規劃、開發、測試和修改;完成進度與待核準事項都能檢視。Replit 用它打造自家的監控平臺 DataCat,花 2 天、預算上限 $3,000,完成儀錶板、警示和追蹤功能;測試時,平臺在 38 秒內找出刻意加入的資料庫錯誤。Replit 表示,DataCat 的自架版本也已開放原始碼。

    推薦理由:Missions 把多個 AI 助理分工執行、預算限制與人工核准放進同一流程,文中 DataCat 案例也呈現這套做法如何處理監控平臺建置與效能檢查。

  3. LMSYS Org Blog76

    SGLang Summit 發表 SGLang v1.0 與 Miles v0.2,擴大推論和訓練支援

    AI 模型越來越大,AI 助理也會累積大量工作紀錄,讓推論和訓練更難在不同硬體上順利進行。SGLang Summit 發表 SGLang v1.0,聚焦提升正式環境的效率與擴充能力;Miles v0.2 則支援 NVIDIA 和 AMD GPU、Google TPU,並將強化學習擴充套件到圖片、影片和音訊。大會也分享多個部署案例,例如 Meta 表示,改用 SGLang 後 GPU 用量減少超過 2 倍。這些更新與案例呈現了團隊如何把實際部署需求帶回開源工具的開發中。

    推薦理由:SGLang 與 Miles 的更新涵蓋推論和強化學習,也整理了不同硬體與實際部署的經驗,可看出開源工具如何回應現場需求。

11月17日週二
  1. PostgreSQL Official News58

    Apache Cloudberry 2.2.0 更新至 PostgreSQL 14.10 核心

    大型分析資料庫要跟上 PostgreSQL 的修補,也得照顧不同作業系統和硬體平臺。Apache Cloudberry 2.2.0 把核心從 PostgreSQL 14.4 更新到 14.10,納入多項上游安全修補,並加入六種擴充功能與多項查詢改進。這個版本支援 Rocky Linux 8、9、10 和 Ubuntu 22.04、24.04,Ubuntu 20.04 則不再支援;安裝套件也支援 x86_64 和 ARM64。

  2. PostgreSQL Official News62

    pg_fastload 1.0.0 用平行處理加快 PostgreSQL 大量資料載入

    大量資料載入 PostgreSQL 時,原本的工具會在單一工作程式裡讀取、解析和寫入,讓多核心電腦的其他核心閒著。pg_fastload 1.0.0 把讀取和解析分給背景工作者,再由原本的工作程式負責寫入;整次載入仍是一筆交易,遇到錯誤資料就會取消整次載入。文中的測試以 1 GiB CSV 資料進行,預設設定比 COPY 快 6.07 倍,比上游 pg_bulkload 最快的模式快 1.58 倍。部分設定不適用平行處理時,程式會自動改用單一工作程式。

    推薦理由:pg_fastload 把讀取和解析工作分給背景工作者,同時保留單一交易;文中也比較了它和上游工具及 COPY 的測試結果。

  3. llama.cpp Releases41

    llama.cpp 修好 OpenCL 注意力運算的 3 個問題

    llama.cpp 修正 OpenCL 的 flash-attention 預填運算路徑中的 3 個問題。第一個問題會讓每次運算留下沒釋放的資料,讓伺服器越跑越慢;修正後會釋放這些資料。第二個問題是在 q8_0 的 K/V 資料搭配 512 大小的注意力頭時,可能算出錯誤結果,現在會改走一般運算路徑。第三個問題是輸入太長、超過裝置能處理的影像寬度時,原本會失敗;現在也會改走一般路徑。

  4. llama.cpp Releases59

    llama.cpp 發布 b12464 版,新增 A7 Q8_0 kernel 與多平臺支援

    這次更新為 llama.cpp 加入 A7 Q8_0 非 MoE 二進位 kernel,並擴充對 macOS、Linux、Windows、Android 等多作業系統與 GPU/CPU 的支援。使用者現在能在 Apple Silicon、Vulkan、CUDA 12/13、ROCm、OpenVINO 等環境中更輕鬆部署模型,提升推理速度與效能。更新還包含對 Ubuntu 24.04、26.04、s390x、以及 Windows 的 OpenCL、ROCm、Vulkan 支援,並提供 Android Snapdragon 方案,減少環境配置成本。

  5. llama.cpp Releases39

    llama.cpp 發布 b12449,增加多張裝置的設定數量

    llama.cpp 的 b12449 更新調整了 --tensor-split 和 --fit-target,讓這兩項設定最多可以列出與裝置數量上限相同的設定組數。這次更新也列出 macOS、iOS、Linux、Android、Windows 和 openEuler 等系統的建置專案,涵蓋 CPU、GPU 與 NPU 等不同硬體選項;部分專案標示為停用。

  6. PyTorch Core Releases60

    PyTorch Inductor 重整切分軸處理,為更多維度的運算鋪路

    PyTorch Inductor 原本把運算切分軸的數量寫死在三個,讓部分超過三個維度的運算無法使用這種切分方式。這次更新改用輸入資料的維度來產生軸名稱,並依設定限制可用的切分數量;區塊大小的既有規則則保留下來。這是支援更多維度切分的前置重整,後續的更新才會啟用更完整的多維切分。

    推薦理由:這項重構移除 Inductor 對三個切分軸的固定限制,並保留區塊大小等既有規則,讓後續支援更多維度的切分有了基礎。

  7. Microsoft ONNX Runtime Releases55

    ONNX Runtime WebGPU Plugin EP v0.6.0 擴充模型支援並改善效能

    使用 WebGPU 執行模型時,可能遇到運算元不支援、運算不穩或不同 ORT 版本無法搭配的問題。ONNX Runtime WebGPU Plugin EP v0.6.0 新增多種運算支援,也改善部分運算的速度與數值穩定性,並加入設定選項和著色器快取功能。升級時要留意 ORT 版本:最低需求是 1.24.4;部分版本支援不同工作階段同時執行,其他版本則要讓同一裝置上的 WebGPU 操作依序進行。即使能同時執行,也不能在同一個工作階段重疊進行 I/O 繫結和 Run。

  8. PyTorch Core Releases45

    PyTorch 的 ROCm FlyDSL TopK 改用執行時迴圈,減少程式碼並提升速度

    FlyDSL 的 TopK 程式每次掃描 256 個數字格子,原本會把整段工作一次展開,讓程式碼變大,也佔用較多晶片資源。這次修改改成逐步重複掃描,降低編譯後的資源用量;在 gfx950 的測試中,暫存器溢位從 424 次降到 0 次。45 組測試的平均速度提升 12%,最快提升 63%,最慢則慢了 2%;所有結果都和 ATen 完全相同。

11月16日週一
  1. Guillermo Rauch52

    要預覽 X 貼文發出去後的樣子,通常得開瀏覽器截圖。Guillermo Rauch 推出 xeet,這個用 Rust 和 wasm 寫成的工具不必啟動瀏覽器、連網或讀取檔案,就能把貼文轉成 PNG;一般貼文約需 1 毫秒。它也會處理文字換行、從右到左的文字方向,以及不同語言和表情符號的字型。開發團隊用 Chrome 檢查大量排版規則,並讓自動流程追蹤 X 原本排版的變化,協助維持預覽結果的準確度。

  2. PyTorch Core Releases45

    PyTorch DTensor 改用本地分片計算 any/all,等需要時再合併結果

    DTensor 計算 any/all 時,原本會先把所有資料分片集中起來,才能判斷結果,可能因此多做一次資料傳輸。這次修改讓每個分片先在本地計算,再把中間結果留到真的需要完整答案時才合併;例如檢查一個布林值時,會先取得所有分片的整體結果。原本的雙 GPU 測試從 any() 需要一次資料集中傳輸,變成運算當下不傳資料,取用結果時才做一次合併。這能減少不必要的 GPU 資料傳輸,讓分散式運算更有效率。

  3. llama.cpp Releases39

    llama.cpp 發布 b12420,支援 MiniMax-M3.1

    llama.cpp 的 b12420 加入對 MiniMax-M3.1 的支援,也列出 macOS、iOS、Linux、Android 和 Windows 等平臺的版本。像是 Linux 和 Windows 都有可搭配 CUDA 12、CUDA 13 或 Vulkan 使用的版本,部分平臺也提供 CPU 版本。這次更新讓使用者能在不同系統上使用 llama.cpp 執行 MiniMax-M3.1。

11月15日週日
  1. llama.cpp Releases66

    llama.cpp 加入 Inkling 2 文字與影像支援

    llama.cpp 原本還不能處理 Inkling 2,這次更新加入文字模型轉檔與推論,也支援影像模型轉檔和讀取圖片。量化權重會分批處理,避免轉檔時一次展開整層資料;測試中的合成權重解碼結果和 vLLM 一致,CPU 推論結果也符合發布說明列出的誤差範圍。不過,Inkling 2 的真實模型檔尚未完成轉檔測試。

    推薦理由:這次更新補上 Inkling 2 文字與影像支援,也說明量化權重分塊處理的記憶體需求與測試結果。

  2. llama.cpp Releases36

    llama.cpp 發布 b12389,修正 OpenCL 多項運算問題

    llama.cpp 的 b12389 修正了 OpenCL 執行時的幾個問題,包括讀寫超出範圍、資料複製時沒有配合目的地的排列方式,以及處理多批資料和 bf16 數值時的錯誤。像是 f16 SwiGLU 運算原本可能寫到不該碰的地方,這次也一併修好。這些修改能讓相關運算更可靠;更新也提供多種作業系統和硬體平臺的版本。

  3. PyTorch Core Releases50

    PyTorch Inductor 修正 reinplacement 後過期的 FX 圖資訊

    PyTorch Inductor 把某些運算改成可修改資料的版本時,過去沒有同步更新相關資料,可能讓後續運算誤判資料的排列方式;遇到特定的 all-reduce 運算時,甚至會算出錯誤結果。這次修正會在每次改寫後,立刻更新受影響的資料和連結;如果無法安全更新,就保留原本的運算。像矩陣相乘後轉置再做 all-reduce,修正前結果錯誤,修正後結果正確,讓圖中的資料關係和實際運算保持一致。

11月14日週六
  1. PyTorch Core Releases49

    PyTorch C++ FakeTensor 改用 prim 中繼資料實作產生假張量

    PyTorch 的 C++ FakeTensor 遇到某些運算時,需要知道結果的形狀和資料型態,卻不必真的執行運算。這次修改讓它在完成拆解後,直接呼叫對應的 prim 中繼資料實作來產生假結果;如果選中的實作回報「不支援」,就直接報錯,不再悄悄改走其他路徑。像是建立空張量、算術運算和轉換資料型態都納入測試。這讓 C++ 模式能沿用這些運算的結果資訊,也能避免錯誤被其他路徑掩蓋;隨機數相關運算則因為還需要處理張量,暫時不做這項改動。

  2. PyTorch Core Releases45

    PyTorch Dynamo 修正 AOT 執行時包裝程式的迴圈匯入問題

    PyTorch 的 AOT 執行時包裝程式和 Dynamo 互相匯入時,可能讓 Dynamo 還沒準備好就被其他程式使用,之後呼叫 torch.compile 便可能失敗。這次修改把部分匯入延後到擷取反向計算圖時才進行,避免兩邊卡在彼此載入的狀況,也不改變反向計算。維護者用新的程式執行環境重現並檢查這個問題,確認修正後能順利匯入;CUDA 和完整的 PhysicsNeMo 流程則沒有測試。

  3. llama.cpp Releases47

    llama.cpp 重整 DFlash 推測解碼,加入 DFlash2 和 LiliCorr 專用型別

    llama.cpp 重新整理 DFlash 家族的推測解碼程式,讓不同草稿模型各自使用對應的讀取和執行方式。新增的 draft-dflash2 和 draft-lilicorr 可指定 DFlash2 與 LiliCorr;原有的 draft-dflash 也會依草稿模型的資料自動選擇 DFlash、DFlash2 或 LiliCorr。若型別和模型不相符,或同一次執行混用多種 DFlash 家族型別,系統會拒絕開始推測解碼。這次整理也讓 DSpark 使用自己的讀取方式,並把共用的程式拆分整理。

  4. Next.js Releases54

    Next.js 發布 v16.5.0-canary.50,更新 Turbopack 與開發伺服器

    Next.js 的 canary 版本更新了多項建置和開發功能,涵蓋 Turbopack、路由預先載入與錯誤回報。這次更新預設啟用 Turbopack 的分塊前縮小程式碼功能和記憶體回收,也調整使用者端參照清單,並修正開發伺服器的路由處理與結束方式。這些改動主要影響使用 Next.js canary 版的開發者。

  5. PyTorch Core Releases39

    PyTorch Dynamo 修正字典的順序、型別與長度檢查

    Python 字典的專案順序、實際型別或長度改變時,PyTorch Dynamo 可能需要重新檢查原本建立的運算圖。這項修改會記住這些字典資訊;如果呼叫函式時,關鍵字的順序不影響結果,就能沿用原本的運算圖。遇到無法確定的情況,仍會保守檢查順序。這次修改只處理字典檢查,沒有更動公開介面;它也通過部分 Python 3.15.2 CPU 測試,但其他平臺和環境的測試仍有未完成專案。

  6. PyTorch Core Releases72

    PyTorch Inductor 擴大支援更多維度的切分

    PyTorch Inductor 原本把切分軸的數量寫死,讓點狀運算難以使用超過三個維度。這次改動改用輸入資料的維度來產生軸名稱,並依設定和區塊限制選擇切分方式,也整理了相關的自動調整與描述資料處理。改動本身是後續支援更多維度切分的準備;發布紀錄列出的測試涵蓋多種軸數、描述資料和區塊指標情況。

    推薦理由:這次改動移除 Inductor 對切分軸數量的固定限制,也整理了區塊大小的選擇方式,可瞭解後續支援更多維度切分的基礎。

  7. PyTorch Core Releases48

    PyTorch Inductor 移除分塊處理的三軸限制

    PyTorch Inductor 原本把分塊處理寫死為最多三個方向,讓超過三個方向的運算無法使用更多分塊方式。這次修改改成依照輸入資料的方向數自動產生名稱,並由設定決定分塊數量;例如,系統可處理四個方向的點對點運算,也能搭配不同方向的資料縮減。這讓後續支援更多方向的分塊有了基礎,也保留原有的區塊大小限制。

  8. Baseten75

    部署 DeepSeek V4.1-Flash 時,推論速度會受到使用的硬體配置影響。Baseten 宣佈用 Rust 和 CUDA 從頭打造了一套推論引擎,並將它開源。Baseten 表示,使用 4xB300 時,解碼速度約為 1,740 TPS;使用 8xB300 時,約為 2,060 TPS,而處理 1M-token 的預填約需 12 秒。

    推薦理由:Baseten 公開這套以 Rust 和 CUDA 從頭打造的推論引擎,並列出不同 B300 配置下的解碼速度與 1M-token 預填時間。

  9. cloudflare blog76

    Cloudflare 將 Kitesurf 開源,讓開發者自行部署 AI 助理用的瀏覽器

    AI 助理需要瀏覽網頁時,完整瀏覽器會使用較多 CPU 和記憶體。Cloudflare 現在把 Kitesurf 的程式碼放上 GitHub,開發者可以在自己的電腦執行、修改,再部署到自己的 Cloudflare 帳戶。Kitesurf 能載入網頁、執行 JavaScript,並支援 Chrome DevTools Protocol,因此可連線 Puppeteer 等工具。自架部署需要 Workers Paid 方案,因為它會為網頁建立隔離的 Workers。

    推薦理由:Kitesurf 開源後,開發者能自行閱讀、修改並部署瀏覽器引擎;文章也說明瞭本機試用方式與自架時的方案要求。

  10. llama.cpp Releases39

    llama.cpp b12364:機率式取樣時使用 p_min 會顯示提醒

    llama.cpp 的 p_min 設定會丟掉信心分數太低的草稿 token,但這些 token 有時仍可能被正式模型接受。這次更新保留原本的篩選方式,並在同時使用 --spec-draft-p-min 和機率式草稿取樣時顯示提醒,建議把 p_min 設為 0。這項提醒只會出現在有使用 p_min 的草稿方式;n-gram 草稿不使用它,DSpark 則把它拿來設定信心門檻。