把模型跑起來的工程實踐：推理最佳化、視訊記憶體與成本、Serving 架構與基礎設施選型。
DeepSeek-V4 Pro 現已於 Together AI 上線，提供 512K 上下文推理，並支援 1M 模型層級長上下文。 - 模型規格：1.6T 引數 MoE，49B 啟用引數，Hybrid Attention（Compressed Sparse + Heavily Compressed）。
推薦理由：DeepSeek-V4 Pro 在 Together AI 提供 512K 上下文推理，Serverless 與預留容量，讓團隊以低成本處理長文本。
Together AI 於今日正式推出 NVIDIA Nemotron 3 Nano Omni 模型，並於同日即時提供開發者使用。 - 多模態推理：單一模型即可同時處理影像、影片、音訊與文字，支援 256K token 的共享上下文。
推薦理由：本篇說明 NVIDIA Nemotron 3 Nano Omni 在 Together AI 上，與 Agent 效能，對落地 Agent 的開發者具參考價值。
BUX 是一款 24/7 遠端虛擬機器，內建 Claude Code 與 Browser Harness，可透過 Telegram、網頁或 SSH 控制。
推薦理由：BUX 讓使用者能以 Telegram 或 SSH 24/7 控制已預裝 Claude Code 的遠端 VM，快速執行跨平臺自動化任務，對遠端工作流程的即時支援具有實務價值。
分佈感知推測解碼（DAS）能在 RL 後訓練中將回合時間縮短 50%，同時保持獎勵曲線不變。• 核心技術 採用字尾樹草稿器和長度感知排程，實現零成本自適應。
推薦理由：此研究提出分佈感知推測解碼，能在 RL 後訓練中將回合時間縮短 50%，對大規模模型訓練成本節省具有實際參考價值。
Physical Intelligence 透過 Modal 的 QUIC 埠與 GPU 容器建立低延遲通道，讓機器人能即時執行大模型。 - 核心架構：Visual‑Language‑Action (VLA) 模型將視覺、語言與本體感知輸入，輸出下一秒的馬達指令。
推薦理由：Modal 透過 QUIC 埠與 GPU 容器建立低延遲通道，讓物聯機器人能即時執行大模型，顯示雲端與邊緣協同的實際效能。
Modal 於 2026 年 4 月 7 日釋出 RTX Pro 6000 Blackwell、Command K、Sandbox FS API 及多項 SDK 更新，為 AI 開發者帶來更高效的工作流程。
推薦理由：Modal 釋出 RTX Pro 6000、Command K 與 FS API，並提供即時部署策略與 SDK 更新，幫助開發者更快落地 AI 應用。
Aurora 是一個基於 RL 的框架，能在實際推理流中持續學習並自動更新 speculator，將靜態的推理加速轉變為動態的自我最佳化迴圈。
推薦理由：Aurora 透過 RL 於實際推理流中自動調整，實現 1.25 倍速度提升與成本降低，提供可落地的即時最佳化方法。
Runway 與 Modal 合作，將 Runway Characters 的即時影片代理推理交給 Modal 的無伺服器 GPU 平臺。 - 低延遲多區域部署：Modal 的多節點 GPU 叢集與 RDMA 網路，支援全球即時推理，30 天內完成從概念到生產。
推薦理由：Runway 與 Modal 合作實現 30 天內完成即時影片代理推理，提供低延遲、多區域可擴充套件的全自訂對話角色解決方案。
本文：Doppel 透過 Modal 重構 ML 執行流程，將實驗與推論的迭代時間大幅縮短。 - 實驗加速：Modal 允許在 Python 中以 map() 方式並行執行 K‑fold 交叉驗證，將原本順序跑的實驗改為同時執行，縮短回饋迴圈。
推薦理由：本文示範如何以 Modal 取代傳統雲端流程，顯著縮短實驗與推論迭代時間，對需要快速部署 AI 的團隊具備實務參考價值。
Mamba‑3 是一款新型 SSM，專為推理效率設計，於 1.5B 模型層級下，預填+解碼延遲均優於 Llama‑3.2‑1B、Gated DeltaNet 及 Mamba‑2。
推薦理由：Mamba‑3 以高效的 SSM 方案，提升 1.5B 模型預填解碼延遲，並提供 Triton/TileLang/CuTe kernels，為線性模型推理競爭力提供基礎。
Together GPU Clusters 透過自動擴縮、RBAC、全棧可觀測性與自愈功能，將 GPU 叢集從實驗環境升級為可運營的生產級基礎設施。- 自動擴縮：使用 Kubernetes Cluster Autoscaler，根據實際工作負載自動調整 GPU 節點，避免過度預置與節省成本。
推薦理由：Together GPU Clusters 透過自動擴縮、RBAC、全棧可觀測性與自愈功能，將 GPU 叢集從實驗環境升級為可運營的生產級基礎設施，顯著降低運維成本與停機時間。
OpenClaw 是一款個人 AI 助手，可在你自己的硬體上執行，透過 WhatsApp、Telegram、iMessage 等即時通訊平臺管理郵件、日曆等任務。
推薦理由：快速部署 OpenClaw，讓 AI 助手即時整合至日常訊息平臺，提升工作效率，並可輕鬆連結多種即時通訊工具。
本文說明如何以高並行度與統計嚴謹性，構建可自動化測試 AI 網頁代理的評估系統，對提升代理品質與迭代速度的開發團隊極具參考價值。 - 測試引擎：使用 Blacksmith runners 在 GitHub Actions 上並行執行 100 個複雜網頁任務，整個流程不到 5 分鐘。
推薦理由：本文說明如何以高並行度與統計嚴謹性，構建可自動化測試 AI 網頁代理的評估系統，對提升代理品質與迭代速度的開發團隊極具參考價值。
Mistral AI 團隊詳細復盤了在 vLLM 分離部署測試中發現並解決隱蔽記憶體洩漏的完整過程。通過結合 pmap、BPFtrace 與 GDB 自動化指令碼，團隊最終定位到根源在於 UCX 記憶體管理模組的 mmap 鉤子機制與註冊快取佇列。通過設定環境變數 UCX_MEM_MMAP_HOOK_MODE=none 或限制未釋放區域數量，成功解決了該記憶體洩漏問題。
推薦理由：文章詳細記錄了排查 vllm 分離部署中隱蔽記憶體洩漏的過程，讀者可以學習如何通過 pmap 與 GDB 組合定位底層系統呼叫問題。
Altman在其部落格中說明，AI算力的擴張將成為經濟的核心驅動力，並計畫每週產出1GW新的AI基礎設施。 - 目標：每週產出1GW新AI基礎設施，總計數十GW計畫。
推薦理由：Altman闡述AI算力擴張願景，強調每週產出1GW基礎設施的可行性，提醒產業同步升級硬體與能源以支撐未來發展。
導語：Ollama 於 2025 年 9 月 23 日發布了全新的模型排程系統，透過精準記憶體測量提升 GPU 產能並降低 OOM 失敗。 - 精準記憶體測量：新引擎在執行前測量實際記憶體需求，避免過度分配。
推薦理由：Ollama 透過精準記憶體測量，降低 OOM 失敗並提升 GPU 產能，對多 GPU 佈署者帶來實質效能提升。
libghostty 是一個零依賴的終端模組，允許任何應用程式嵌入完整、現代化且快速的終端功能。 - 核心功能：提供解析終端序列與狀態管理的 API，零依賴（甚至不需 libc），可嵌入任何語言環境。
推薦理由：開源社群可利用此零依賴終端模組快速整合終端功能，提升跨平臺支援與效能，並可擴充至 WASM 與 GPU 渲染。
機器人自主度等級 以五層框架說明從指令碼化到全自主的演進。 - Level 0：指令碼化運動，適用於汽車、電子製造，成本高、需工廠工程。 - Level 1：智慧挑選放置，已在物流倉庫試點，成功率 99% 以上，成本每次挑選約 1.5 USD。
推薦理由：文章以五層自主度框架，說明機器人從指令碼化到全自主的演進，為產業者提供可落地的技術路徑。
Meta 在 2025 年重新聚焦 AI 資源與人才，透過大規模投資與人才招募，力圖追趕 OpenAI 等領先實驗室。 - Scale AI 購併：Meta 以約 30 B 美元估值取得 49% 股份，顯示資金不再成障礙。
推薦理由：Meta 重新聚焦 AI 資源與人才，讀者可洞悉巨頭如何調整策略以追趕領先實驗室。
Meta Llama 3.2 現已透過 Ollama 可本地執行，提供 1B、3B、11B、90B 四個版本。 - 1B、3B：純文字模型，專為手機或邊緣裝置最佳化，可即時處理訊息或行事曆摘要，並保留隱私。 - 11B、90B：視覺模型，支援檔案、圖表、圖片說明等影像推論。 - 所有模型皆為開源，使用者可自行下載 Ollama 並直接執行。
推薦理由：Meta Llama 3.2 以小型多模態模型示範本地端推論的可行性，對隱私保護與即時回應的需求提供實際解決方案。