讓知識蒸餾足夠低成本以實現規模化執行
Multiverse Computing 在其最新論文《Efficient Knowledge Distillation for LLMs: Offline Top‑K Logits and a Fused Chunked KL Loss》中提出離線 Top‑100 logits 快取與分塊 KL 損失兩項改進。
Multiverse Computing 在其最新論文《Efficient Knowledge Distillation for LLMs: Offline Top‑K Logits and a Fused Chunked KL Loss》中提出離線 Top‑100 logits 快取與分塊 KL 損失兩項改進。
vLLM 透過社群貢獻的最佳化核心與異構快取設計,讓 Qwen3.5 在 GB200 NVL72 系統上每 GPU 總 TPS 超過 25,000。
推薦理由:本文提供可實踐的最佳實踐與配置,藉助 vLLM 社群貢獻的最佳化核心與異構快取設計,幫助開發者在 Qwen3.5 上達成 25K TPS/GPU 的高效推理,並可快速複製至自家環境。
本文示範如何將 AI 產生的大型 Pull Request 轉為可審核的分層流程。 - Stacked Pull Requests:將功能拆解成多層 Pull Request,每層以前一層為基底。
推薦理由:本文示範如何利用堆疊 PR 讓 AI 產生的巨型 PR 變成可審核的分層流程,對提升團隊審核效率與衝突管理尤為重要。
OpenRouter 正式推出 LangChain 專用套件 langchain-openrouter(Python)與 @langchain/openrouter(TypeScript),提供原生整合與自動跨供應商故障轉移能力。
ThunderAgent 是一套針對代理式推理的程式級排程系統,透過將每個代理工作流程抽象為可排程程式,解決 KV cache 抖動問題。\n- 效能提升:單節點吞吐率提升至 2.5 倍,平均延遲下降 10 倍;8 節點叢集加速 2.4 倍,近線性擴充套件。
推薦理由:本文提出程式級排程策略,消除 KV 快取抖動,單節點吞吐提升 2.5 倍,8 節點叢集加速 2.4 倍,對大規模代理式資料生成具有實際價值。
/goal 是 Codex 的目標驅動功能,可協助安全研究人員自動化漏洞掃描。本文以 Trail of Bits 在「Patch the Planet」計畫中的實際使用為例,說明如何設計 prompt、定義成功條件,以及如何驗證結果。
推薦理由:本文示範如何利用 Codex /goal 進行自動化漏洞掃描,提供實作範例與最佳實踐,對安全研究人員與開源專案維護者具有參考價值。
NVIDIA 推出 Cosmos-H-Dreams,這是一個針對手術機器人的即時、動作條件生成式模擬器。該模型將 Cosmos-H-Surgical-Simulator 的能力蒸餾為因果學生模型,並通過 FlashDreams 庫在單張 NVIDIA RTX PRO 6000 GPU 上實現每秒約 160 幀的互動式執行,支援在閉環中進行策略評估和資料生成。
ABBEL 是一套透過自然語言信念狀態與評分,將長期互動的記憶壓縮,並在協同編碼與多目標問答等環境中顯著提升效能與訓練效率。 - 核心概念:將互動歷史抽象為「信念」(belief),並以自編碼方式評分,確保關鍵資訊被保留。
SGLang v0.5.16 釋出 DSpark 及 Inkling 多模態支援,並最佳化多項推理效能與模型管理。 - DSpark:自信度驅動的 speculative decoding,單位 5 accept length 在 DeepSeek‑V4‑Pro 上達 383.7 tok/s,TP8 on B300 5.0 tok/s。
Hugging Face 推出開源、低成本的機器人運算元據採集系統 Grabette,允許使用者通過手持夾爪和相機快速錄製任務並自動生成機器人就緒的資料集。該系統包含手持錄製裝置 Grabette 與配套的機器人夾爪端側執行器 Gripette,採用模組化標準感測器構建,並已接入 Hugging Face Hub 與 LeRobot 訓練生態。
Python 3.15.0 beta 4 已正式釋出,包含 298 筆錯誤修正、構建改進與檔案更新。
gfx950-tutorial-v1.0 正式發布,主要引入 Out-of-tree LLIR 排程器與 amdgcnas 外掛機制,重構編譯器架構。
summary_zh: 印度班加羅爾的開發者 Ashutosh Rath 推出名為 Atrophy 的命令列工具,透過定期練習維持程式設計能力,避免 AI 助手導致技能退化。
多令牌殘差預測(MRP)是一種小型 transformer,附加在凍結的擴散語言模型(DLM)骨幹上,預測相鄰 denoising 步驟之間的 logits 殘差,從而在單次前向傳播中預測多步輸出。
IBM Research 釋出了 ScarfBench,一個用於評估 AI 代理在企業 Java 框架遷移任務中的基準。該基準包含 34 個應用、102 個框架實現、204 個遷移任務,約 151K 行程式碼。
ParallelKernelBench 是一個測試多 GPU 核心生成的基準,評估 GPT‑5.5、Gemini 3 Pro 等前沿模型的表現。 - 核心特性:87 個實際工作負載,涵蓋多種分散式並行策略。
推薦理由:此研究揭示前沿 LLM 在多 GPU 核心生成上的侷限,提供可量化的基準與改進方向,並展示首批成功案例。
Apple 於 WWDC 亮相容器機器,為 macOS 開發者提供類似 WSL 的 Linux 虛擬機器環境。 - 核心功能:容器機器結合 OCI 容器與輕量級 VM,支援 Swift 及 Dockerfile 建構自訂映像。
npm 12 將自動執行指令碼功能改為預設停用,提升安裝安全。 - 安全改動:指令碼需手動允許,使用 --allow-scripts 或 allowScripts 設定。
推薦理由:npm 12 版將自動執行指令碼功能改為預設停用,提升安裝安全,開發者須手動允許必要指令碼,並審查現有依賴。
Epoch AI 提出為 AI 研發量身打造的 ONET,將 60+ 代表性任務拆解成六大類別,並對 AI 自動化程度進行 0–5 等級評估。 - 任務細分:將 AI 研究流程拆分為「規劃、實驗、執行、部署、評估、溝通」六大類別,每類再細分為多個子任務,遠超傳統 ONET 的高層描述。
Surface RTX Spark Dev Box 是 Microsoft Build 亮相的新開發者裝置,配備 1,000 teraflops GPU、128GB 記憶體與 20 核 CPU,針對 AI 程式設計即時測試。
GitHub Actions 連續超過三小時停擺,並錯誤顯示帳號被停。\n- 停機時間:5/26 10:30 UTC 起,約 3 小時,影響大部分 Actions 執行。
推薦理由:GitHub Actions 連續三小時停擺,提醒開發者備份 CI/CD 流程與監控機制,並檢視替代方案以降低停機風險。
Shai-Hulud 持續入侵,314 個 npm 套件在短短 22 分鐘內被植入惡意程式,最受影響的包包括 size-sensor、echarts-for-react 等。
推薦理由:此次 npm 賬戶被盜導致 314 個包被植入惡意程式碼,提醒開發者及時更新憑證並檢查依賴鏈。
TanStack 在最近一次供應鏈攻擊後,開始檢討其 CI 流程並提出僅限邀請者提交 Pull Request 的可能性。- 供應鏈攻擊利用 Shai‑Hulud 木馬,透過 pull_request_target 觸發 GitHub Actions 執行惡意程式,汙染全倉庫快取。
推薦理由:此事件揭示供應鏈攻擊後開源社群的安全調整,讀者可評估對現有 CI 流程的影響,並思考是否需要限制 PR 開放性。
Violin 是一款完全開源的影片翻譯工具,透過 Together API 整合 Whisper V3、DeepSeek V4 Pro 與 Cartesia 的 Sonic 3,完成從語音辨識、翻譯到語音合成的全流程。
推薦理由:Violin 以開源方式提供多語言影片翻譯,並內建多模態對話助手,使用者可即時查詢影片內容並調整語音風格,讓全球觀眾可即時接觸內容。
Goose Agent 與 Together Dedicated Container Inference 讓開發者能在一個 session 內把 Hugging Face 上的新模型(如 Netflix 的 void‑model)部署到 GPU 背景的容器中,零配置即時使用。
推薦理由:本文示範如何利用 Goose Agent 及 Together Dedicated Container Inference,將 Hugging Face 模型零配置即時部署,縮短從發布到使用的時間,對快速實驗與落地具有實務價值。
Python 3.15.0 beta 1 已正式發布,為即將推出的 Python 3.15 系列開啟首個 beta 版 - 主要新功能 PEP 810 明確延遲匯入。
Supabase 取消 Git 需求,直接在 Dashboard 建立資料庫分支,讓原型開發更迅速。 - 功能:在 Dashboard 內直接建立分支,無需 Git,並可使用 SQL Editor 或 Table Editor 進行變更。
推薦理由:Supabase 取消 Git 需求,直接在 Dashboard 建立資料庫分支,讓原型開發更迅速。
summary_zh: - AE Studio 透過 Modal 平臺,將大語言模型(LLM)訓練成能在 Lean 語言中證明數學定理的 AI,並比較 GRPO 與 Evolution Strategies (ES) 兩種強化學習更新規則。
Supabase 於 2026 年 4 月 28 日推出 OSSCAR Index,為開源專案提供以成長速度為基準的季度排名。 - 核心特性 以星數、貢獻者與下載量為三大指標,採用 L² 正規化計算成長分數。
Google Research 釋出研究《Forest vs Tree: The (N, K) Trade-off in Reproducible ML Evaluation》,探討了 AI 評測中樣本數量(N)與每個樣本評測者數量(K)之間的權衡關係。
Rust 1.94.1 正式發布,修復了多項安全漏洞並改進了 WebAssembly 及 Windows 檔案系統支援。 - 安全性修復:解決 CVE-2026-33055 與 CVE-2026-33056,消除 wasm32-wasip1-threads 及 std::os::windows::fs::OpenOptionsExt 的漏洞。
本研究以 71 個高安全網站為基準,量化各雲端瀏覽器供應商的偽裝效能。 - 基準設計:收集 300,000 次安全檢查事件,挑選 71 個最常被阻擋的網站,並以三步簡易任務評估是否被阻擋。
Ramp 在 Modal 上構建了一個背景編碼代理 Inspect,可在雲端即時啟動完整開發環境,並在 Ramp 內部寫下超過一半的合併 Pull Request。
Python 3.15.0 alpha 6 釋出,帶來多項新功能與效能提升。 - 高頻統計取樣分析器(PEP 799)與 專用 profiling 套件,方便開發者即時監控程式。
Tripwire 是一個為 Zig 程式設計的失敗注入庫,能在測試中觸發錯誤,確保 errdefer 清理邏輯正確執行。 - 核心功能:在測試時可設定特定失敗點,觸發錯誤並驗證資源釋放與狀態回復。
導語:本文說明如何利用 React2Shell 漏洞,使用 Next.js 的 next-auth 產生偽造 Cookie,並提供可執行的 Cookie 生成與解碼工具,協助安全人員驗證並加強防禦。
推薦理由:本文提供可重現的 Next.js Cookie 生成工具,協助安全人員驗證 React2Shell 風險,並示範實際解碼流程,讓讀者能快速部署防禦機制。
Python 3.15.0 alpha 4 於 2026‑01‑13 釋出,為開發者提供新功能與效能改進的早期測試機會。 - PEP 799:新增高頻低開銷統計抽樣分析器,方便程式碼效能檢測。
ChatGPT 內建 Replit,對話即建應用 - 功能:在 ChatGPT 對話中輸入 @replit,描述想要的功能,Replit Agent 會即時生成、更新並部署程式碼,並於對話中顯示即時預覽。
推薦理由:ChatGPT 內建 Replit 代理,使用者可透過對話即時構建、更新及部署應用,省去編碼與部署流程,降低開發門檻。
Diffusers 0.36.0 於 2025 年 12 月 9 日發布,內含 Flux2、Z‑Image、SAGE 等多個新影像與影片生成管線,以及 Flash Attention 3 等高效後端。
推薦理由:Diffusers 0.36.0 透過 Flux2、Z‑Image、SAGE 等新管線及 Flash Attention 3,為影像與影片生成提供更高效、可擴充的工具,開發者可直接整合進工作流程。
Ghostty 透過 AI 代理與手動編碼,完成 macOS 不顯眼的自動更新通知功能。 - 功能定位:在終端視窗右上角顯示更新狀態,避免彈窗打斷使用者工作。
最多提供 50 頁,更早的內容請使用搜尋或主題頁。