從 CUDA 到 MLX：K-Search 如何將數十年 GPU 核心最佳化知識帶到 Apple Silicon
K-Search 透過結合 CUDA 核心最佳化知識與 MLX 翻譯層，成功將 NVIDIA GPU 的高效實作自動轉換至 Apple Silicon，達到接近專家水平的效能。
推薦理由：本研究展示如何將 CUDA 核心最佳化知識自動轉移至 Apple Silicon，為跨平臺 GPU 核心開發提供可落地方法。
部署工程
全部主題把模型跑起來的工程實踐：推理最佳化、視訊記憶體與成本、Serving 架構與基礎設施選型。
204條精選相關主題開源生態資料與訓練邊緣端 / 裝置端 AI
最新精選
第 161–180 條 · 共 204 條Berkeley AI Research精選品質評分7777 vLLM Official Blog精選品質評分7676 vLLM 在 Arm CPU 上的效能最佳化與功能升級
vLLM 在 Arm Neoverse CPU 上的服務效能大幅提升。 - 可用性：新增預建 wheels、Docker、INT8、INT4 推理支援，並支援 GPT‑OSS、Whisper、Qwen 3.5/3.6。
推薦理由：本報告詳述 vLLM 在 Arm CPU 上的效能最佳化，對於需在低成本硬體上部署 LLM 的工程師提供可落地的改進方案。
Together AI Official Blog精選品質評分6161 配置 Dedicated Model Inference：Together AI 平臺的容量感知路由
Dedicated Model Inference 是 Together AI 平臺的核心功能，允許使用者透過 endpoint、deployment 與 config 三層結構，實現容量感知的流量分配與零停機升級。
推薦理由：瞭解 Together AI 的 Dedicated Model Inference 架構與容量感知路由，可幫助開發者有效調整部署與流量分配。
Browser Use精選品質評分6868 我們如何以 AWS Bedrock AgentCore 建置安全、可擴充的代理基礎建設
AWS Bedrock AgentCore 讓 Browser Use 能以零憑證的微 VM 與控制平面，安全且可彈性擴充地執行數以百萬計的非受信任 AI 代理。
推薦理由：本文說明如何以 AWS Bedrock AgentCore 建置安全、可擴充的 AI 代理基礎建設，提供可直接套用於大規模代理運算的實作細節。
Air Street Press精選品質評分7979 ElevenLabs 口語模型在 GPU 缺乏時提升使用者吞吐的工程實踐
ElevenLabs 口語模型在 GPU 缺乏時提升使用者吞吐的工程實踐 - 批次化：連續批次化可將 GPU 佔用率提升至 95%，每個 GPU 可同時處理多個請求，減少等待時間。
推薦理由：文章以 ElevenLabs 口語模型實測為基礎，闡述批次化、量化、KV 壓縮等技術在 GPU 資源稀缺時提升使用者吞吐的方案，對語音服務成本與效能提供參考。
Together AI Official Blog精選品質評分7777 Together AI 於 ICML 2026：全棧前沿研究
Together AI 在 ICML 2026 展示了九篇跨層研究，從代理到 GPU 核心，涵蓋模型、演算法、系統與硬體最佳化。 - 代理層：DSGym 1,000+ 任務、10+ 領域；ThunderAgent 3.6× 推理吞吐量、3.9× RL 迭代速度提升。
推薦理由：Nine ICML 2026 論文涵蓋從代理到 GPU 核心的全棧研究，讀者可洞悉跨層最佳化的實際效能與落地策略，並展示多層協同效益與實際部署案例。
Ray (Anyscale) Releases精選品質評分6262 Ray 2.56.0 發布，改善資料處理穩定性與 Ray Serve LLM 效能
Ray 發布 2.56.0，更新 Ray Data、Ray Serve LLM 與 Ray Core，涵蓋資料處理穩定性、LLM 服務效能及叢集資源管理。
推薦理由：Ray 2.56.0 同時調整資料處理、LLM 服務與叢集資源管理，並列出 2.57.0 將提高的相依套件門檻，方便維護者預先檢查環境。
Ollama Blog精選品質評分7070 Gemma 4 於 Apple Silicon 上加速 90%：多 token 預測實現
Gemma 4 在 Apple Silicon 上透過多 token 預測，速度提升近 90%。 - 速度提升：在 Aider polyglot benchmark 上，Gemma 4 12B (nvfp4) 在 M5 Max 上平均提升 90%。
推薦理由：Gemma 4 於 Apple Silicon 上透過多 token 預測將速度提升至 90% ，並自動調整 Draft 長度，讓代理快回應。
DevClass (Developer News)精選品質評分7777 AWS 推出 Lambda MicroVMs，支援長達 8 小時執行
AWS Lambda MicroVMs 於 2026 年 6 月推出，允許使用者在 Lambda 平臺上執行長達 8 小時 的獨立 Linux 容器。
推薦理由：AWS Lambda MicroVMs 允許長達 8 小時的獨立容器執行，擴充傳統 15 分鐘限制，為 CI/CD 與 AI 代理提供更靈活的雲端執行環境，並可在無流量時自動暫停，降低成本。
DevClass (Developer News)精選品質評分7171 Vercel 推出 **eve** 開源 Agent 框架，搭配 Passport 控制企業 AI 應用
eve 是 Vercel 在 Ship 事件中推出的開源 Agent 框架，採用 TypeScript 與 Markdown 編寫，並提供簡易的「填空式」配置，讓開發者可快速構建、測試與部署 AI Agent。
推薦理由：Vercel 推出的 **eve** agent 框架以填空式配置簡化開發流程，搭配 Passport 方案為企業提供 AI 代理程式的身份與許可權管理，對落地 AI 應用的團隊具有參考價值。
Modal Engineering Blog精選品質評分7272 拆解沙盒啟動延遲：為什麼啟動 ≠ 就緒
Modal 針對沙盒啟動延遲進行拆解，指出容器啟動只是整個流程的一小段，真正耗時的是應用程式初始化。 - 完整啟動週期 Created → Scheduled → Started → Ready → In Use，容器啟動時間通常佔不到 10% 的總等待。
推薦理由：瞭解沙盒啟動全流程與最佳化方法，能協助工程師減少使用者等待時間並提升系統吞吐量，在高併發環境下更顯優勢。
Modal Engineering Blog精選品質評分6262 Modal 推出 Qwen 3.5 397B-A17B 的 DFlash Speculator，實現 5-20% 推理速度提升
Modal 推出基於 DFlash 架構的 Qwen 3.5 397B-A17B speculator，並在 SGLang 推理引擎上實現 5–20% 的速度提升。
推薦理由：本篇說明 Qwen 3.5 397B-A17B 的 DFlash speculator 如何實現 5-20% 的速度提升，並提供在 B200 節點上 1000 tok/s 的實驗資料，對於追求高吞吐量的推理工作具有參考價值。
Browser Use精選品質評分6666 我們如何讓雲端瀏覽器成本降低三倍、啟動速度提升三倍
Browser Use 重新設計其雲端瀏覽器基礎設施，將每小時成本從 $0.06 降至 $0.02，並將啟動延遲縮短至 825 ms。 - 成本：每小時 0.02 美元，較舊版節省 66%。
推薦理由：本篇揭示利用 Firecracker 在 EC2 上實現三倍節省成本與提升啟動速度的技術，可供雲端瀏覽器開發者參考。
Modal Engineering Blog精選品質評分7171 FlashAttention-4 推理加速最佳化
FlashAttention-4 針對推理工作負載進行多項最佳化，提升大型語言模型的效能。 - FP8 支援：新增 8-bit 浮點輸入，吞吐率相較 bf16 基準提升至 1.16 倍。
推薦理由：瞭解 FlashAttention-4 針對推理工作負載的關鍵最佳化，能幫助工程師提升大型語言模型推理效能。
Ollama Blog精選品質評分7070 Ollama 在 Apple Silicon 上以 MLX 引擎達成最高效能
Ollama 的 MLX 引擎經過更新，在 Apple Silicon 上達到前所未有的效能與品質。 - 效能提升：輸出速度提升 20%，首 token 時間更快。
推薦理由：Ollama 透過 MLX 引擎最佳化，提升 Apple Silicon 上的速度與品質，讓開發者可在桌面上直接執行高效模型。
Amazon Science精選品質評分8383 AWS Graviton5 推出 M9g/M9gd EC2 例項，效能與能效突破摩爾定律
Graviton5 推出 M9g/M9gd EC2 例項，帶來 30% 效能提升與 25% 能效最佳化。- 核心特性：192 核心、DDR5‑8800、PCIe Gen6、3nm 工藝，單核心提升 25%。
推薦理由：Graviton5 的 3nm 工藝與 192 核心帶來 30% 的效能提升，對需要高效能雲端運算的客戶可直接提升工作負載效能。
DevClass (Developer News)精選品質評分7171 Microsoft 更新後，TypeScript 開發者可直接使用 Aspire 開發堆疊，無需再處理 C#
Microsoft Aspire 13.4 讓 TypeScript 開發者可直接使用 AppHost，並擴充多語言支援與 Kubernetes 部署。
推薦理由：Microsoft Aspire 13.4 讓 TypeScript 開發者可直接使用 AppHost，並擴充多語言支援與 Kubernetes 部署，新增 Go、Bun、Blazor、WebAssembly 整合，支援 cert‑manager、Gateway API 與 Helm chart，並提供 AI Agent 的 aspire‑skills bundle，顯著提升分散式應用開發與部署效率。
Modal Engineering Blog精選品質評分6868 強化學習：基礎設施瓶頸與 Modal Dojo 解決方案
強化學習：基礎設施瓶頸與 Modal Dojo 解決方案 - 核心問題：RL 後訓練需要三大獨立基礎設施，包含可擴充套件的訓練引擎、近光速推論引擎以及可並行執行的環境沙盒；多節點擴充套件時權重同步成瓶頸。
推薦理由：文章闡述 RL 基礎設施瓶頸與解決方案，並提供 Modal Dojo 開源庫，協助團隊快速擴充套件大模型訓練，並降低基礎設施成本與開發複雜度。
Together AI Official Blog精選品質評分7171 Together AI 打造全球最快語音辨識堆疊
Together AI 透過 TensorRT 多型別引擎、CUDA Graph 以及共享記憶體等技術，打造出全球最快的語音辨識堆疊，能在 10 秒內完成約 20 小時的語音轉錄。
推薦理由：本文詳細說明 Together AI 如何透過 TensorRT、CUDA Graph 與共享記憶體等技術，將語音辨識模型的延遲降至毫秒級，對需要低延遲語音 AI 的工程師極具參考價值。
Modal Engineering Blog精選品質評分6060 單一 Python 字典提升 SGLang 多模態推理效能 10% 以上
SGLang v0.5.10 新增的 CUDA IPC Pool Handle Cache 能讓多模態推理吞吐率提升 16%，平均延遲下降 10%。
推薦理由：此文說明如何透過簡單的 Python dict 快取，將 SGLang 的多模態推理吞吐率提升 10% 以上，對於部署 VLM 的工程師具有實務參考價值。