ExecuTorch 推出 WebGPU 後端,讓 PyTorch 模型在瀏覽器中使用 GPU 執行
ExecuTorch 推出 WebGPU 後端,讓 PyTorch 模型可匯出為 .pte 檔,並在支援 WebGPU 的瀏覽器中使用 GPU 執行。
推薦理由:同一個 .pte 檔可透過 ExecuTorch WebGPU 在瀏覽器與多種原生平臺執行,文中也提供了瀏覽器 GPU 與 CPU 路徑的效能比較。
ExecuTorch 推出 WebGPU 後端,讓 PyTorch 模型可匯出為 .pte 檔,並在支援 WebGPU 的瀏覽器中使用 GPU 執行。
推薦理由:同一個 .pte 檔可透過 ExecuTorch WebGPU 在瀏覽器與多種原生平臺執行,文中也提供了瀏覽器 GPU 與 CPU 路徑的效能比較。
llama.cpp b12259 為 mtmd 加入 Kimi K3.1 Vision 支援,並修正 K2.5 與 K3.1 的前處理及 projector MLP 命名問題。
Yonto Player 將媒體來源契約從 HTTP API 擴充套件為 App 內執行的 JavaScript 外掛,讓 Jellyfin、Plex 和 Emby 來源共用同一套介面。
Greg Kroah-Hartman 發布 Linux 7.3.4、6.18.63 與 6.12.117 穩定版核心,並建議使用者升級。 更新內容:7.3.4 含超過 1,250 個修補程式,6.18.63 含超過 860 個,6.12.117 含超過 1,530 個。
Modelplane 推出一份面向平臺工程師的開放式推論工程指南,從模型與 GPU 記憶體配置談到正式環境部署、效能調校和職涯發展。 - 部署與維運:說明推論引擎、控制平面與閘道的分工,並整理 GPU 配置、身分驗證、逾時、監控、自動擴縮及版本發布等實務。
推薦理由:內容以平臺工程師熟悉的 Kubernetes、SRE 與容量規劃為起點,串連 GPU 記憶體、引擎調校及正式環境維運,呈現推論服務的實務脈絡。
NVIDIA 在 CoRL 發布開放世界動作模型 GR00T 2、模擬工具與機器人評估技術,涵蓋模型訓練、技能評估和AI 助理工作流程。 - GR00T 2:以 NVIDIA Cosmos 為基礎,使用 100,000 小時人類第一人稱視角資料訓練;在 50 項評估任務中至少完成過 40 項。
推薦理由:GR00T 2 的多組任務成功率與 Isaac Lab 3.0 的訓練吞吐資料,呈現開放模型和模擬工具如何支援機器人精細操作訓練。
GPU 硬體進步很快,但工程師常得在容易寫的程式工具和能細部控制硬體的寫法之間取捨。Meta 打造 TLX,讓工程師沿用 Triton 寫運算,再安排不同工作群組如何搬資料、計算和同步,讓資料搬移與運算能重疊進行。Meta 分享的案例包括推薦系統訓練、推論,以及大型語言模型訓練;其中一項推薦系統推論最佳化,讓特定模型的計算延遲最多降低三分之二。這些案例呈現 TLX 如何把新款 GPU 的功能用在實際工作中。
推薦理由:TLX 的實際案例說明,讓工程師直接安排 GPU 工作與資料搬移,如何改善推薦系統推論和大型語言模型訓練。
Hugging Face 現在可連結組織與 Google Cloud 帳戶,讓 Hub 用量列入既有的 Google Cloud 帳單。- 涵蓋專案:Team 或 Enterprise 訂閱、Jobs、Inference Endpoints、Inference Providers、GPU Spaces、ZeroGPU 額度擴充及額外儲存空間。
自由軟體廣泛支撐企業與雲端服務,但作者指出,許多依賴這些軟體的公司幾乎沒有實質回饋,AI 產生的低品質貢獻也加重維護者負擔;文章藉由特殊授權案例,探討如何讓使用者回饋社群。
Phoronix 實測 AMD EPYC 9996 雙路配置,評估其在多種 Linux 工作負載下的效能與每瓦效能。 - 測試配置:每顆處理器有 256 核心、512 執行緒;雙路合計 512 核心、1024 執行緒。
推薦理由:文章以 Phoronix 的實測比較 EPYC 9996 雙路配置與前代 EPYC、Intel Xeon 旗艦處理器,呈現 512 核心平臺在多種 Linux 工作負載下的效能與每瓦效能。
llama.cpp 的 b12251 變更新增 SYCL 裝置端 MoE 排程器,並調整圖形執行、權重重排與支援條件,以改善 MoE 計算路徑。
ExecuTorch 推出 WebGPU 後端,讓 PyTorch 模型可匯出為 .pte 檔,並在支援 WebGPU 的瀏覽器中以 GPU 執行,資料留在使用者裝置上。
推薦理由:文章比較 WebGPU 與 ExecuTorch CPU 路徑在同一臺 Apple M1 Pro 上的推論速度,並說明模型如何以同一個 .pte 檔在瀏覽器本機執行。
Supabase 整合進 EAS CLI,執行 eas integrations:supabase:connect 即可建立 Supabase 專案、安裝 SDK,並將金鑰寫入 Expo 的各個環境。
推薦理由:這項整合把建立 Supabase 專案、安裝 SDK 與設定環境金鑰串成單一指令,並為 Preview 與 Production 分開配置資料,呈現跨環境部署的實務流程。
KORA Systems 宣佈 KORA OS,這是一款以 Linux 為基礎、將模型與 AI 助理整合進作業系統的桌面作業系統;目前尚未推出,預計 2027 年提供給 PC。
Amazon 推出第二代表格基礎模型 Mitra-v2,支援分類與迴歸,並在 TabArena 的單模型方法中領先。 - 預訓練變化:使用的合成表格列數是 Mitra-v1 的 10 倍,欄數約為 3 倍,並加入混合結構因果模型先驗。
Spencer Kittleson 分享十多年智慧家庭自動化經驗,主張核心裝置在網路中斷時仍須運作,並以自有硬體上的 Tasmota、MQTT 與 Node-RED 管理家中自動化。
推薦理由:作者以十多年自動化實作整理離線運作、維持傳統操作方式與集中管理等原則,並展示多人共住後如何擴充系統。
MiniMax H3 Image 現已在 ComfyUI 原生支援,可用同一模型進行文字生成圖片與參考圖片編輯。 - 生成規格:每次取樣固定為 6 步;最高可原生輸出 6272×2688,圖片是在該尺寸生成,並非放大而來。
推薦理由:同一模型可依是否連線參考圖片切換文字生成與圖片編輯,並支援本機權重和 Partner Nodes,呈現兩種使用方式。
Flash 作者在 Flash Dash 關卡中加入 6 種隱藏機制,測試代理程式能否從畫面線索與試錯中找出技巧,並以更短時間通關。 - 基準成績:參考 reflex 通過一般關卡需 21.11 秒;在隱藏機制關卡同樣以 21.11 秒通關,但找到 0/6 個秘密。
混合模型會同時使用不同型別的記憶體,流量一變,原本分好的空間可能一邊用光、一邊閒置。SGLang 新增統一記憶體功能,讓各類資料共用一塊 GPU 空間,系統會依需求重新安排;即使資料大小和格式不同,也能一起管理。文章中的測試顯示,在 GPT-OSS-20B 的一種工作負載下,統一記憶體可同時處理約 1,000 個請求,原本的分池方式是 618 個,吞吐量也高 14%。這項功能目前仍屬實驗性,且有部分模型與功能限制。
推薦理由:文章比較共用記憶體與固定分池在不同流量下的表現,並說明統一配置如何減少容量閒置與請求退回。
作者整理 2016 至 2026 年 Hacker News 上對 AI 能力的 826 項預測,並讓讀者投票判斷這些門檻是否已跨越。 - 投票結果:其中 112 項獲至少三分之二投票者判定「已明確實現」,89 項獲至少三分之二判定「尚未實現」;另有 78 項結果具爭議。
Hugging Face 介紹決策模型如何接收狀態與問題,直接輸出帶有機率的結構化決策,並說明其與分類模型及零樣本分類的差異。 - 三種決策原語:choice 從選項中擇一,score 對有序尺度評分,noul 估計是非命題為真的機率。
推薦理由:文章比較傳統分類、零樣本分類與決策模型,並以 choice、score、noul 三種輸出說明其如何將選項機率整合為可供軟體使用的統一介面。
AliceLabs 的 AI 助理在 6 週內建立 143 個 pull request,其中 74 個已合併;作者依 GitHub Search API 整理資料,並分享參與開源專案的做法與觀察。
Afterword 作者以 544 則歷史留言比較詞表與本機 Llama 3.1 的分類結果,發現模型多保留 2 則重要留言,但整體呈現取捨而非勝出。 - 比較結果:185 則留言被作者標記為重要;詞表保留其中 182 則,模型保留 184 則。
Apache Sourcelume 擴充模型訓練來源紀錄,讓訓練流程可產生連結資料集紀錄的機器可讀宣告。 - 紀錄內容:新增 TrainingProvenanceRecord,可引用資料集的標準識別碼,記錄 token 數量、佔比,以及完整、部分或未揭露的披露狀態。
SubTru 是作者打造的開源、自行架設 API,可處理 Stripe、Apple App Store 與 Google Play 的訂閱事件,並提供使用者訂閱狀態查詢。
NeuraCryption 發表 SPECTRA 研究與開源實作,提出免校準的 4-bit 權重量化與 Triton 推論架構,並報告在 4GB 筆電 GPU 上執行多種模型的測試結果。
Lorenzo Stoakes 因 AI 生成的 Linux 核心補丁增加、審查負擔加重,將卸下記憶體管理、核心、misc 與 Rust 領域的審查職務。 他自 2014 年起參與 Linux 核心開發,仍會繼續維護自己負責的核心領域。 他表示,因補丁數量增加,已無法普遍提供這些領域的審查,並將相關補丁分配給其他維護者處理。
n8n Labs 發布首個實驗專案 Nod 的研究預覽版,這是一款可在 Mac 或 Windows 本機執行的開源個人AI 助理。 產品定位:Nod 獨立於 n8n,可在本機沙盒和瀏覽器中代使用者處理取消訂閱、比價及訂飯店等任務。 使用方式:無需 n8n 帳號或雲端服務。
Linus Torvalds 表示,Linux 核心 7.4-rc2 的多數進展由 AI 修補推動;BPF 子系統收到的 AI 修補也多於 AI 漏洞回報。
Tim O’Reilly 主張,AI 的能力需要人類專業提供焦點,也需要新的制度機制,讓人們能參與並分享 AI 經濟創造的價值。 - 專家知識的作用:O’Reilly Media 的研究助理原先建議團隊增聘人手;加入 O’Reilly Expert Intelligence 的專家知識視角後,分析轉向檢視工作負擔與進行 toil audit。