跳到正文

系統與底層架構

電腦系統與底層基礎設施:作業系統與 Linux 核心、分散式架構、資料庫與儲存引擎、網路協定、容器與虛擬化技術。

最新精選

第 101–117 條 · 共 117 條
10月1日週四
  1. Modal Engineering Blog83

    VM 沙盒:為代理程式提供完整 Linux 電腦

    VM 沙盒 讓 Modal 於 2026 年 10 月正式推出全功能 Linux VM,供代理程式直接使用,支援 Docker、資料庫、圖形環境等多種工作負載。

    推薦理由:Modal 釋出 VM 沙盒,讓代理程式可直接執行完整 Linux 環境,提升開發與測試效率,並支援 Docker 與資料庫等多種工作負載。

9月25日週五
  1. GitHub Engineering75

    GitHub Primer 遷移至 CSS Modules,如何通過功能標記實現漸進式效能提升

    GitHub Primer 已將元件遷移至 CSS Modules,並通過 功能標記 實現漸進式上線。 - 遷移規模:從 2023 年起逐步完成,至 2026 年已覆蓋全部元件。

    推薦理由:GitHub 透過將 Primer 轉為 CSS Modules,並以功能標記漸進式遷移,減少 55% 伺服器渲染時間,示範大規模前端效能提升方案。

9月15日週二
9月10日週四
  1. vLLM Official Blog79

    vLLM 推出多層 KV 快取分層,提升 GPU 記憶體利用率與多使用者吞吐量

    vLLM 於 2026 年 9 月 10 日發布的 Tiered KV Cache Offloading 方案,將長上下文模型的 KV 快取分層到主機記憶體、檔案系統、物件儲存與遠端節點,避免重複預填。

    推薦理由:vLLM 透過多層 KV 快取分層,降低 GPU 記憶體壓力,提升多使用者會話吞吐,並支援跨節點共享與自動熱啟動,讀者可直接應用於大模型部署。

8月18日週二
  1. Martin Fowler Blog72

    Martin Fowler 觀點:AI 與安全交集,開源模型與企業實務

    Martin Fowler 在 Thoughtworks 的部落格中,分享了他對 AI、資訊安全與企業實務的觀點,並呼籲開放式模型與安全協作的必要性。 - AI 與安全交集:分析技術趨勢與防禦實務,指出雖無大幅智慧提升,但可透過可複製性提升效能與回應速度。

    推薦理由:作者以實務觀點闡述 AI 與安全交集,分析技術趨勢與防禦實務,為業界提供可落地的洞見,並呼籲開放式模型與安全協作的必要性,提醒企業在採用 AI 時務必兼顧風險與效益。

8月14日週五
  1. vLLM Official Blog74

    vLLM 推出 DSpark 自適應驗證功能

    vLLM 於 2026 年 8 月 14 日正式推出 DSpark 自適應驗證功能,讓 Speculative Decoding 在高併發(至 256)下仍能保持效能。

    推薦理由:DSpark adaptive verification 讓 vLLM 在高併發下保持效能,降低使用者手動調參需求,並自動調整驗證長度以最佳化吞吐量。在多種併發設定下,保持在 Pareto 前沿。

8月11日週二
  1. GitHub Engineering74

    使用 GitHub Copilot SDK for Java 進行 Java AI 整合

    GitHub Copilot SDK for Java 是首個框架無關、AI 供應商中立的 Java 客戶端,支援 BYOK,允許直接連結 OpenAI、Azure、Anthropic 等端點,且不需要 Copilot 訂閱。

    推薦理由:本文展示如何用 GitHub Copilot SDK for Java 進行框架無關的 AI 整合,並提供完整 Jakarta EE 11 範例與實作細節,對 Java 開發者最佳化 AI 服務流程有實際指引。

8月6日週四
  1. vLLM Official Blog77

    vLLM 在 Qwen3.5 上達成每 GPU 25K 總 TPS

    vLLM 透過社群貢獻的最佳化核心與異構快取設計,讓 Qwen3.5 在 GB200 NVL72 系統上每 GPU 總 TPS 超過 25,000。

    推薦理由:本文提供可實踐的最佳實踐與配置,藉助 vLLM 社群貢獻的最佳化核心與異構快取設計,幫助開發者在 Qwen3.5 上達成 25K TPS/GPU 的高效推理,並可快速複製至自家環境。

7月29日週三
7月27日週一
  1. Modal Engineering Blog77

    Moonshot 釋出 Kimi K3,Modal 平臺即時可用

    Kimi K3 是 Moonshot 推出的 2.8T 引數多模態模型,擁有 1M token 上下文視窗與原生視覺功能,Modal 於發布當日即以 460 tokens/秒的速度執行。

    推薦理由:Kimi K3 以 3T 引數與 1M token 上下文,結合高效推理與自動化推測,讓使用者能在 Modal 以 token 基本定價即時部署前沿多模態模型。

7月16日週四
  1. Modal Engineering Blog77

    Modal 以秒級實現百萬並發沙盒

    Modal 重新設計沙盒平臺,突破傳統容器限制,實現每秒建立數萬沙盒,百萬並發沙盒僅需不到 1 分鐘。 架構亮點:去中心化排程器、每個工作節點即為資料來源,所有排程邏輯在 Redis 快取上完成,消除單點瓶頸。 效能指標:平均沙盒啟動時間 < 0.5 秒,無明顯擴容上限,已在 Beta 版本上提供。

    推薦理由:Modal 的新沙盒平臺突破傳統容器限制,允許每秒建立數萬沙盒,對需要大規模 RL 或代理運算的開發者極具價值。

6月30日週二
  1. Modal Engineering Blog72

    Anthropic 與 Modal 合作推出 Claude Science 生命科學 AI 工作臺

    Claude Science 是 Anthropic 與 Modal 合作推出的生命科學 AI 工作臺,允許研究者在對話中直接執行 GPU/CPU 計算並自動擴充套件至 Modal 容器。

    推薦理由:Anthropic 與 Modal 合作推出 Claude Science 生命科學 AI 工作臺,讓研究者能在對話中直接執行 GPU/CPU 計算並自動擴充套件至 Modal 容器,並提供 10 萬美元計算資源獎勵,協助學術團隊加速藥物發現與基因編輯研究,並於 6 月 30 日正式上線,同時提供免費 30 美元起始計算額度,方便新使用者快速體驗。

6月22日週一
  1. Modal Engineering Blog72

    拆解沙盒啟動延遲:為什麼啟動 ≠ 就緒

    Modal 針對沙盒啟動延遲進行拆解,指出容器啟動只是整個流程的一小段,真正耗時的是應用程式初始化。 - 完整啟動週期 Created → Scheduled → Started → Ready → In Use,容器啟動時間通常佔不到 10% 的總等待。

    推薦理由:瞭解沙盒啟動全流程與最佳化方法,能協助工程師減少使用者等待時間並提升系統吞吐量,在高併發環境下更顯優勢。

6月10日週三
  1. Amazon Science80

    AWS 推出 M9g/M9gd 實例,配備正式驗證的 Nitro 隔離引擎

    AWS 推出 M9g 與 M9gd 實例,搭載 Graviton5 CPU 並內建經 Isabelle/HOL 驗證的 Nitro 隔離引擎,為雲端使用者提供數學保證的虛擬機器隔離。

    推薦理由:AWS 推出基於 Graviton5 的 M9g/M9gd 實例,配備正式驗證的 Nitro 隔離引擎,提供雲端使用者更高效能與數學保證的安全隔離,並開源驗證工具,促進雲端安全與效能的雙贏。

5月12日週二
  1. Modal Engineering Blog82

    Modal 如何實現真正無伺服器 GPU

    Modal 在其最新的技術部落格中說明,透過四項關鍵最佳化,將 GPU 推理伺服器的啟動時間從數千秒縮短至數十秒,實現真正無伺服器 GPU。 - 四項關鍵技術:雲端緩衝、內容定址檔案系統、CPU 記憶體檢點/恢復、GPU CUDA 記憶體檢點/恢復。

    推薦理由:此篇詳細說明 Modal 如何透過四項關鍵最佳化,將 GPU 伺服器啟動時間從數千秒縮短至數十秒,對想打造高效、彈性 AI 推理平臺的工程師具有實際參考價值。

4月3日週五
  1. Together AI Official Blog76

    AI 系統:利用 LLM 最佳化資料庫查詢執行

    LLM 重新評估資料庫查詢成本,透過演化式補丁搜尋顯著降低執行時間與記憶體佔用。 - 核心方法:使用 DBPlanBench 將 DataFusion 物理計畫序列化為 JSON,並以 LLM 產生 JSON Patch 進行區域性最佳化。

    推薦理由:本文展示利用 LLM 重新評估資料庫查詢成本,透過演化式補丁搜尋顯著降低執行時間與記憶體佔用,為資料庫最佳化提供可複製的實務方法。

7月25日週四
  1. Chip Huyen (AI Engineering)74

    打造生成式 AI 平臺:核心元件與設計模式

    生成式 AI 平臺 的建構流程被分為多個階段,從簡單的模型呼叫到完整的觀測與安全機制,內容涵蓋 RAG、代理、路由、快取與寫入動作。 - 核心元件 包括 模型 API、上下文構建、Guardrails、Model Router、Gateway、Cache、複雜邏輯、寫入動作、觀測。

    推薦理由:此篇深入拆解生成式 AI 平臺的核心元件與設計模式,對想打造可擴充、可觀測的系統的工程師極具參考價值。