vLLM 在 Arm CPU 上的效能最佳化與功能升級
vLLM 在 Arm Neoverse CPU 上的服務效能大幅提升。 - 可用性：新增預建 wheels、Docker、INT8、INT4 推理支援，並支援 GPT‑OSS、Whisper、Qwen 3.5/3.6。
推薦理由：本報告詳述 vLLM 在 Arm CPU 上的效能最佳化，對於需在低成本硬體上部署 LLM 的工程師提供可落地的改進方案。
系統與底層架構
全部主題電腦系統與底層基礎設施：作業系統與 Linux 核心、分散式架構、資料庫與儲存引擎、網路協定、容器與虛擬化技術。
最新精選
第 61–80 條 · 共 86 條vLLM Official Blog精選品質評分7676
Modal Engineering Blog精選品質評分7777 Moonshot 釋出 Kimi K3，Modal 平臺即時可用
Kimi K3 是 Moonshot 推出的 2.8T 引數多模態模型，擁有 1M token 上下文視窗與原生視覺功能，Modal 於發布當日即以 460 tokens/秒的速度執行。
推薦理由：Kimi K3 以 3T 引數與 1M token 上下文，結合高效推理與自動化推測，讓使用者能在 Modal 以 token 基本定價即時部署前沿多模態模型。
Modal Engineering Blog精選品質評分7777 Modal 以秒級實現百萬並發沙盒
Modal 重新設計沙盒平臺，突破傳統容器限制，實現每秒建立數萬沙盒，百萬並發沙盒僅需不到 1 分鐘。 架構亮點：去中心化排程器、每個工作節點即為資料來源，所有排程邏輯在 Redis 快取上完成，消除單點瓶頸。 效能指標：平均沙盒啟動時間 < 0.5 秒，無明顯擴容上限，已在 Beta 版本上提供。
推薦理由：Modal 的新沙盒平臺突破傳統容器限制，允許每秒建立數萬沙盒，對需要大規模 RL 或代理運算的開發者極具價值。
Modal Engineering Blog精選品質評分6565 多令牌殘差預測：在擴散模型中實現速度與質量平衡
多令牌殘差預測（MRP）是一種小型 transformer，附加在凍結的擴散語言模型（DLM）骨幹上，預測相鄰 denoising 步驟之間的 logits 殘差，從而在單次前向傳播中預測多步輸出。
推薦理由：多令牌殘差預測提供了在擴散模型中兼顧速度與質量的可調方案，並能在多工場景中顯著提升吞吐量，適合需要自定義推理策略的工程師。
Modal Engineering Blog精選品質評分7272 Anthropic 與 Modal 合作推出 Claude Science 生命科學 AI 工作臺
Claude Science 是 Anthropic 與 Modal 合作推出的生命科學 AI 工作臺，允許研究者在對話中直接執行 GPU/CPU 計算並自動擴充套件至 Modal 容器。
推薦理由：Anthropic 與 Modal 合作推出 Claude Science 生命科學 AI 工作臺，讓研究者能在對話中直接執行 GPU/CPU 計算並自動擴充套件至 Modal 容器，並提供 10 萬美元計算資源獎勵，協助學術團隊加速藥物發現與基因編輯研究，並於 6 月 30 日正式上線，同時提供免費 30 美元起始計算額度，方便新使用者快速體驗。
Modal Engineering Blog精選品質評分7272 拆解沙盒啟動延遲：為什麼啟動 ≠ 就緒
Modal 針對沙盒啟動延遲進行拆解，指出容器啟動只是整個流程的一小段，真正耗時的是應用程式初始化。 - 完整啟動週期 Created → Scheduled → Started → Ready → In Use，容器啟動時間通常佔不到 10% 的總等待。
推薦理由：瞭解沙盒啟動全流程與最佳化方法，能協助工程師減少使用者等待時間並提升系統吞吐量，在高併發環境下更顯優勢。
Browser Use精選品質評分6666 我們如何讓雲端瀏覽器成本降低三倍、啟動速度提升三倍
Browser Use 重新設計其雲端瀏覽器基礎設施，將每小時成本從 $0.06 降至 $0.02，並將啟動延遲縮短至 825 ms。 - 成本：每小時 0.02 美元，較舊版節省 66%。
推薦理由：本篇揭示利用 Firecracker 在 EC2 上實現三倍節省成本與提升啟動速度的技術，可供雲端瀏覽器開發者參考。
Modal Engineering Blog精選品質評分6565 Modal 推出 VM 沙箱、低延遲路由、RBAC 等產品更新
Modal 發布多項產品更新，包含 VM 沙箱、低延遲路由、RBAC 等功能。 - VM 沙箱 (Alpha)：執行真實 Linux kernel，支援 Docker 容器、eBPF、systemd 等 Linux 特性，提升 I/O 效能。
推薦理由：Modal 推出多項功能，提升邊緣計算效能與安全性，開發者可即時調整部署與許可權，並可利用新功能加速開發流程。
Amazon Science精選品質評分8080 AWS 推出 M9g/M9gd 例項，配備正式驗證的 Nitro 隔離引擎
AWS 推出 M9g 與 M9gd 例項，搭載 Graviton5 CPU 並內建經 Isabelle/HOL 驗證的 Nitro 隔離引擎，為雲端使用者提供數學保證的虛擬機器隔離。
推薦理由：AWS 推出基於 Graviton5 的 M9g/M9gd 例項，配備正式驗證的 Nitro 隔離引擎，提供雲端使用者更高效能與數學保證的安全隔離，並開源驗證工具，促進雲端安全與效能的雙贏。
Modal Engineering Blog精選品質評分6868 強化學習：基礎設施瓶頸與 Modal Dojo 解決方案
強化學習：基礎設施瓶頸與 Modal Dojo 解決方案 - 核心問題：RL 後訓練需要三大獨立基礎設施，包含可擴充套件的訓練引擎、近光速推論引擎以及可並行執行的環境沙盒；多節點擴充套件時權重同步成瓶頸。
推薦理由：文章闡述 RL 基礎設施瓶頸與解決方案，並提供 Modal Dojo 開源庫，協助團隊快速擴充套件大模型訓練，並降低基礎設施成本與開發複雜度。
Modal Engineering Blog精選品質評分6666 Modal 推出 RBAC 功能，為人員與 AI 代理提供細粒度存取控制
導語：Modal 於 2026 年 5 月 27 日正式推出 Role‑Based Access Control (RBAC)，讓團隊可針對人員與 AI 代理設定細粒度存取許可權，並以環境分層與審計日誌提升安全與可追蹤性。
推薦理由：Modal 釋出 RBAC 功能，讓團隊可針對人員與 AI 代理設定細粒度存取許可權，透過環境分層與審計日誌提升安全與可追蹤性，為 AI 代理開發提供可擴充安全基礎，並預告即將推出使用者與服務層級的消耗與時間限制，此功能已於團隊與企業方案啟用，使用者可於設定面板啟用 RBAC，並可在環境管理頁面快速配置。
Modal Engineering Blog精選品質評分8282 Modal 如何實現真正無伺服器 GPU
Modal 在其最新的技術部落格中說明，透過四項關鍵最佳化，將 GPU 推理伺服器的啟動時間從數千秒縮短至數十秒，實現真正無伺服器 GPU。 - 四項關鍵技術：雲端緩衝、內容定址檔案系統、CPU 記憶體檢點/恢復、GPU CUDA 記憶體檢點/恢復。
推薦理由：此篇詳細說明 Modal 如何透過四項關鍵最佳化，將 GPU 伺服器啟動時間從數千秒縮短至數十秒，對想打造高效、彈性 AI 推理平臺的工程師具有實際參考價值。
Modal Engineering Blog精選品質評分6767 產品更新：RTX Pro 6000 Blackwell、Command K、Sandbox FS API 及更多
Modal 於 2026 年 4 月 7 日釋出 RTX Pro 6000 Blackwell、Command K、Sandbox FS API 及多項 SDK 更新，為 AI 開發者帶來更高效的工作流程。
推薦理由：Modal 釋出 RTX Pro 6000、Command K 與 FS API，並提供即時部署策略與 SDK 更新，幫助開發者更快落地 AI 應用。
Together AI Official Blog精選品質評分7676 AI 系統：利用 LLM 最佳化資料庫查詢執行
LLM 重新評估資料庫查詢成本，透過演化式補丁搜尋顯著降低執行時間與記憶體佔用。 - 核心方法：使用 DBPlanBench 將 DataFusion 物理計畫序列化為 JSON，並以 LLM 產生 JSON Patch 進行區域性最佳化。
推薦理由：本文展示利用 LLM 重新評估資料庫查詢成本，透過演化式補丁搜尋顯著降低執行時間與記憶體佔用，為資料庫最佳化提供可複製的實務方法。
Modal Engineering Blog精選品質評分6565 Doppel 透過 Modal 消除 ML 基礎設施成本
本文：Doppel 透過 Modal 重構 ML 執行流程，將實驗與推論的迭代時間大幅縮短。 - 實驗加速：Modal 允許在 Python 中以 map() 方式並行執行 K‑fold 交叉驗證，將原本順序跑的實驗改為同時執行，縮短回饋迴圈。
推薦理由：本文示範如何以 Modal 取代傳統雲端流程，顯著縮短實驗與推論迭代時間，對需要快速部署 AI 的團隊具備實務參考價值。
Together AI Official Blog精選品質評分6969 Together AI 推出即時語音代理全新解決方案
Together AI 推出全新的統一即時語音代理解決方案，將 STT、LLM 與 TTS 整合於同一雲端叢集，實現低於 500 毫秒的端到端延遲。 - 低延遲：整合後端到端延遲 < 500 ms，支援自然對話。
推薦理由：提供低延遲、模組化語音堆疊，幫助開發者以單一雲平臺快速部署即時語音代理，同時支援多種 STT、LLM、TTS 模型，降低跨供應商調整成本。
Together AI Official Blog精選品質評分6666 Together GPU Clusters 新功能：自動擴縮、可觀測性與自愈
Together GPU Clusters 透過自動擴縮、RBAC、全棧可觀測性與自愈功能，將 GPU 叢集從實驗環境升級為可運營的生產級基礎設施。- 自動擴縮：使用 Kubernetes Cluster Autoscaler，根據實際工作負載自動調整 GPU 節點，避免過度預置與節省成本。
推薦理由：Together GPU Clusters 透過自動擴縮、RBAC、全棧可觀測性與自愈功能，將 GPU 叢集從實驗環境升級為可運營的生產級基礎設施，顯著降低運維成本與停機時間。
Modal Engineering Blog精選品質評分6666 Modal 推出 Directory Snapshots、GLM-5 及多項產品更新
Modal 於 2026 年 3 月 4 日發布多項產品更新，包括可針對指定目錄建立快照的新功能、免費公開的 GLM-5 模型，以及改進的計費介面與 SDK。
推薦理由：GLM-5免費公開端點與Directory Snapshots功能，讓開發者能更靈活部署與追蹤資源。
Modal Engineering Blog精選品質評分7171 Directory Snapshots：為沙盒提供可恢復專案狀態
Directory Snapshots 為 Modal 沙盒提供可恢復專案狀態的功能，允許開發者僅快照並掛載指定資料夾，獨立管理系統與應用層。 - 核心特性：可對沙盒內特定資料夾進行快照，獨立於基礎映像與其餘檔案系統。
推薦理由：此功能讓開發者可單獨快照與掛載專案資料夾，減少環境重建時間，提升自動化工作流程效率，並支援預熱沙盒池，進一步縮短啟動延遲。
Ollama Blog精選品質評分6161 Ollama 新增模型排程系統
導語：Ollama 於 2025 年 9 月 23 日發布了全新的模型排程系統，透過精準記憶體測量提升 GPU 產能並降低 OOM 失敗。 - 精準記憶體測量：新引擎在執行前測量實際記憶體需求，避免過度分配。
推薦理由：Ollama 透過精準記憶體測量，降低 OOM 失敗並提升 GPU 產能，對多 GPU 佈署者帶來實質效能提升。