Google 釋出 TorchTPU:PyTorch 原生 TPU 後端
TorchTPU 是 Google 釋出的 PyTorch 原生 TPU 後端,允許使用者直接在 PyTorch 程式碼中執行模型。
TorchTPU 是 Google 釋出的 PyTorch 原生 TPU 後端,允許使用者直接在 PyTorch 程式碼中執行模型。
TorchTPU 讓 PyTorch 直接在 TPU 上執行,省去 torch_xla 與 JAX 的中介層。 - 核心功能:新增 TPU 作為 PyTorch 後端,支援 eager 與 torch.compile,提供 Pallas kernels、分散式訓練。
推薦理由:TorchTPU 讓 PyTorch 直接在 TPU 上執行,省去 torch_xla 與 JAX 的中介層,提升開發效率與推理速度。
Rohan Protocol 於 2026 年推出 MCP 服務,採用零寫入與記憶體零化設計,防止工具呼叫時的上下文洩漏與提示注入。 - 核心功能:在客戶端 RAM 內部執行工具引數,並即時零化,確保引數不會進入 LLM 上下文視窗。
KTIR 到 SpyreCode 的轉換流程說明,展示開源資料流排程器如何將 PyTorch Inductor 的計算對映轉化為 Spyre 硬體可執行的程式。
大型 MoE 模型流量增加時,常見做法是多開一份完整服務,或停機重啟來增加 GPU;兩種方式都會帶來額外成本或等待時間。這篇文章說明 SGLang 如何讓運作中的服務逐步加入 GPU,例如把 20 張 GPU 擴到 24 張,準備新 GPU 時原本的服務仍可工作。擴充前要先設定可達到的 GPU 上限,預留的通訊記憶體越多,留給 KV cache 的空間就越少。文中在 8 張 H100 上比較,擴充後首次完成請求的時間比重啟快 5.3 到 8.2 倍;轉換期間則會暫停傳送 token。
推薦理由:文章說明 SGLang 如何在服務持續運作時分批加入 GPU,並比較轉換時間與輸出速度,可用來評估大型 MoE 部署的擴充方式。
SIwithin 是一款在 macOS 上執行的 CLI,允許在安全隔離的「fence」中執行 Claude Code 或 OpenAI Codex,並以可配置的美元預算自動停止超支。
summary_zh: Respan 開發團隊發布了一個以外掛為核心的開源 Rust AI 閘道器,允許使用者在不改動核心的情況下,輕鬆新增提供者、協議與功能。
tsrs 是一個將 TypeScript 編譯器移植到 Rust 的新工具,提供顯著的速度與記憶體最佳化。\n- 核心效能:比 TypeScript 7.0 快 8 倍、記憶體使用量減少 70%。
AnyLanguageModel 1.0 於 Apple 平臺推出,提供單一 API 同時支援本地與雲端模型,降低實作複雜度。 - API 相容性:將 import FoundationModels 換成 import AnyLanguageModel,即可使用系統模型、llama.cpp、MLX、Core ML 等。
推薦理由:AnyLanguageModel 1.0 讓開發者可在 Apple 平臺以單一 API 同時使用本地與雲端模型,降低實作複雜度。
PyTorch 2.15 在 Mac 上推出 MPS FP8 支援與 LLM 解碼加速,提升模型效能與記憶體利用率。 - FP8:在 MPS 上新增 torch.float8_e4m3fn,單位元組儲存,減半記憶體佔用。
DeepInfer 是 DeepSeek 推出的高效離線推理框架,支援 DeepSeek‑V4.1‑Flash。 - 核心功能:最佳化 FlashMLA、DeepGEMM、DeepEP 等 kernel,支援 Attention DP、MoE EP、EPLB 等並行模式。
summary_zh: 巴塞羅那超級計算中心(BSC)透過 AI Factory Accelerator Programme,為西班牙初創企業提供計算資源、培訓,促進跨產業創新。
Abliterated Models 如何讓你被攻擊 summary_zh: Abliterated Models 讓你被攻擊。 - 背後機制:通過「abliteration」將模型中拒絕回答的權重減去,讓模型在安全調校時會回答本應拒絕的請求。
vLLM 推出 TorchTPU 後端,讓多數既有 vLLM 模型可在 Google Cloud TPU 上執行,無須修改模型程式碼。 - 服務介面:沿用 vLLM 的 CLI、OpenAI 相容伺服器、排程器與 KV cache 管理器,並支援六種平行化維度。
推薦理由:vLLM TorchTPU 延用既有模型程式碼與服務介面,呈現 TPU 後端如何減少模型移植工作並保留原有部署流程。
TorchNeuron 是 Hugging Face 推出的 PyTorch 外掛,為 AWS Trainium 提供原生後端。\n- 部署與訓練:可直接使用 Transformers、Accelerate、PEFT、TRL 等 HF 庫,支援 eager、torch.compile、FSDP、TP 等分散式 API。
Unsloth 正式發布全新版本,支援 DeepSeek-V4.1-Flash-1017 與 FLUX.3 Image Klein 的本地執行與微調。
vLLM 在 1P1D 部署下,透過雙向 KV 轉移將 Qwen3‑32B 的 TTFT 降至 1.6 倍、GLM‑5‑FP8 降至 3.3 倍。 - TTFT:Qwen3‑32B 由 158 ms → 460 ms(長 prompt 24k),GLM‑5‑FP8 由 500 ms → 702 ms(20k)。
推薦理由:此研究證明雙向 KV 轉移能將多輪對話的 TTFT 降低 1.6x–3.3x,對需要高效推理的 agentic 應用具有實際效益。
Laminar 推出 flow‑1,一款通過強化學習訓練的模型,能在 AI 代理軌跡中高效發現錯誤。 - 檢測質量:與 GPT‑6‑sol 相當,且成本低 23 倍。
本文示範如何在 NVIDIA DGX Spark 上本機部署 n8n AI 工作流程,並透過 vLLM、LiteLLM 形成單一 OpenAI 相容端點,達成無雲端 API 的高效自動化。
《Harness Engineering 101》以 300 行 Python 示範,從 LLM 互動到完整 Agent 架構,適合想親手實作 AI 代理的工程師。
Harness² 是 Google Research 提出的開源框架,專為在開放世界中遞迴最佳化AI 助理而設。 - 核心機制:結合 Task‑level recursion 與 Harness‑level recursion,透過 Propose–Probe–Compose 步驟自動調整 harness,保持模型權重不變。
SGLang v0.5.22 釋出,新增多模型支援、效能最佳化與跨平臺功能。 - 新模型:DeepSeek‑V4.1、Qwen3.8‑Flash‑Next、GLM‑5.3‑Flash、MiMo‑V2.6‑Pro、EmbeddingGemma 2、LLaDA2.2、HunyuanImage‑3.0‑Instruct 等。
推薦理由:本次更新大幅提升多平臺推理吞吐量並加入多模型支援,開發者可直接使用新功能加速多模態應用,並在多種硬體上獲得顯著效能提升。
Clef 是一款 27B 的多模態決策模型,支援文字、JSON 與影像輸入,並可在本機或 Ollama 雲端執行。 - 模型基礎:從 Qwen3.8‑27B 微調,採用 Apache 2.0 授權。
Netflix 推出 VMAF v1 及 libvmaf v3.0.0,提供多方法融合的感知影像品質評估工具,已整合至 FFmpeg 並支援 Python 與 C 兩種語言。
summary_zh: AI 能寫程式碼,誰來驗證? - Faros 2026 研究:22,000 開發者、4,000 團隊,AI 採用率高的組織中,BUG 54% 以上、PR 審查時間 5 倍、每 PR 事故 3 倍。
MCP 正在改變 AI 助手的搜尋方式,將資料來源直接從發布者拉取,提升答案的即時性與可驗證性。 - 核心功能:MCP 讓 AI 助手能直接呼叫發布者伺服器,取得最新資料、來源、授權與作者資訊。
Unsloth v0.1.908-beta 正式發布,新增支援 Meta Muse Spark Open 與 NVIDIA Nemotron 3.5 等多款大型模型本地執行與微調功能。
summary_zh: Home Assistant 在 2026.10.1 版本中自動掃描使用者秘密並上傳至 HIBP,未經授權,造成隱私擔憂。 - 自動掃描:系統在未經授權的情況下掃描 HA 安裝中的秘密(如密碼、金鑰),並將資料傳送至 HIBP。
Weatherdeck 是一款輕量、只讀的狀態板,專為 AI 程式碼代理設計,可在任何機器上直接執行。 - 架構:僅使用 Python 標準函式庫,依賴單一 SQLite 檔案,無需建置步驟、CDN 或第三方服務。
Reflection Beam 是一款 501B 引數、23B 活躍引數的開源權重模型,針對 Agentic Coding 與多步驟工作流程設計。 - 核心規格:501B 總引數、23B 活躍引數,效能可達 1M token 上下文長度;提供 BF16、FP8、NVFP4 三種檢查點格式。
推薦理由:Reflection Beam 提供 501B 引數、23B 活躍引數的開源權重模型,開發者可在 SageMaker JumpStart 或 HyperPod 直接部署,支援多步驟程式編寫、工具呼叫與中間結果處理,為 agentic coding 提供完整堆疊,並可透過 SGLang 或 vLLM 進行自訂執行時引數調整,滿足不同硬體與效能需求。
summary_zh: 本篇教程說明 CKKS 加密方案中,如何在密文上執行加法與乘法,並探討其誤差分析。 - 加法:兩個密文 \((c_0,c_1)\) 與 \((d_0,d_1)\) 直接相加得到 \((c_0+d_0,\;c_1+d_1)\)。
**Apple 於 MLX 研究平臺上發布 Muse Spark Open,近千億引數的前沿模型,並示範如何在 Mac Studio 上利用 MLX 進行分散式推論。
本研究釋出一份 2.8 兆 token 的 Indic 語料庫與可重複使用的 GPU 加速資料生成管線,並說明其在 Nemotron 3.5 Super VL 上的效能提升。
推薦理由:提供了可複製的 2.8 兆 token 語料與 GPU 加速生成流程,可幫助研究者構建更強的印度語言模型,並展示其在多項 Indic 評測中的顯著提升。
Granite Switch 4.1 透過整合決策、語音與聊天功能,提供單一端點多工能力。 - Granite‑Switch‑4.1‑8B / 30B:內建 Decision aLoRA、Guardian aLoRA 及 Granite‑Speech‑5.0‑Turbo‑CTC(OpenASR 榜首 ASR),可即時切換對話、決策與轉錄。
推薦理由:Granite Switch 4.1 透過整合決策、語音與聊天功能,提供單一端點多工能力,讀者可評估其在實務流程中的效益。
Evergreen 是一個 GitHub App,透過原生功能自動化外部協作者存取審查與倉庫靜默檢測,讓共享組織的安全與衛生維護變得可排程且可追蹤。 - 工作流程:每季審查外部協作者,未回覆即自動撤銷;靜默倉庫超過閾值會被警告並可自動封存。
Ollama v0.40.5-rc2 釋出,將 Metal custom kernel 移植至 CUDA,並新增 OpenAI 自訂工具呼叫支援。 - Metal → CUDA:支援 CUDA GPU,提升跨平臺執行效能。
大型模型要用在長時間的程式開發任務,伺服器得處理很長的對話,也要讓 AI 助理快速接續工作。SGLang Team 說明 SGLang 如何支援 Reflection 的 Beam,並分享快取對話內容、加速生成和調整模型運算的做法。測試使用 4 張 NVIDIA GB300 顯示卡重播多輪程式開發對話;在 32 個對話同時進行時,每張顯示卡每秒處理 127.6K 個 token,每位使用者的中位速度為每秒 185.87 個 token。這些數字來自特定測試設定,可用來瞭解 SGLang 如何服務 Beam。
推薦理由:文章整理 SGLang 支援 Beam 的部署與效能測試,並交代測試使用的硬體、工作負載和快取情況,方便評估結果適用的服務情境。
VoidZero 在 Cloudflare 部落格上宣佈推出三款開源工具: - Void Platform:共享部署平臺,可在 Cloudflare Workers for Platforms 上託管 Void 應用,支援自訂部署工作流程、資源限制與使用者管理。
推薦理由:VoidZero推出的Void Platform、SDK和CLI整合Vite工作流,降低全棧開發與部署成本,適合團隊快速原型與內部應用。
summary_zh: Infino 將搜尋索引存放於 S3、GCS 或 Azure Blob,改變了隨機讀取成本與設計最佳化。 - Infino 以單一 Parquet 超檔(superfile)儲存全文與向量索引,並在檔尾記錄位元組偏移,允許一次範圍 GET 讀取所需資料。
Supabase 分支:在建立分支時,Supabase 會同時複製設定、資料庫 schema 與 Edge Functions,平均約 20 秒即可完成。