Tailscale 如何利用 AI Gateway 建立客戶面向的模型路由器
Tailscale 利用 Vercel AI Gateway 快速搭建了客戶面向的模型路由器，並提供零資料保留與低延遲的安全執行環境。 - 核心功能：透過單一 API 管理數百個模型，並自動回傳成本與使用量。
部署工程
全部主題把模型跑起來的工程實踐：推理最佳化、視訊記憶體與成本、Serving 架構與基礎設施選型。
89條精選相關主題開源生態資料與訓練邊緣端 / 裝置端 AI
最新精選
第 81–89 條 · 共 89 條Vercel Blog精選AI 評分6363
openrouter blog精選AI 評分7373 OpenRouter 推出美國與歐洲區域路由，確保 AI 工作負載在地處理
OpenRouter 推出美國與歐洲區域路由，確保 AI 工作負載在地處理並符合資料主權需求。 - 區域端點：請使用 https://us.openrouter.ai/api/v1 或 https://eu.openrouter.ai/api/v1，請求在該區域內解密並處理，僅允許該區域內的供應商服務。
推薦理由：此功能可確保 AI 工作負載在美國或歐洲區域內完成，符合資料主權需求，並支援企業級計畫，提供多種模型選項。
Mistral AI精選AI 評分7878 Mistral 以30億歐元融資，推動主權開放權重 AI 成為技術前沿
Mistral AI 近日完成 30 億歐元 Series D 融資，後市估值逾 210 億歐元，創歐洲科技公司最大融資紀錄。融資由三星電子領投，Scaleup Europe Fund、PSG Equity 等跟投，資金將用於擴充套件前沿研究、提升訓練算力、加速商業化與國際佈局。Mistral 目前已在 20 個國家運營，支援 125 家全球企業的關鍵 AI 轉型。
推薦理由：Mistral 通過 30 億歐元融資，進一步加速其全棧開放權重 AI 的研發與商業化，凸顯企業對自主 AI 解決方案的需求增長。
david888podcast精選AI 評分6363 GPT-6 Astra 震撼登場，SSRF 驗證漏洞全盤剖析
本集深入探討 GPT-6 Astra 的外掛筆記機制與安全限制，並分析多項技術與安全議題。 - GPT‑6 Astra：外掛筆記機制、Qwen 3.8 27B 可於 Cerebras 以 1500 tokens/s 執行。
推薦理由：本文透過對 GPT-6 Astra 與 SSRF 防禦的深入剖析，說明新模型在安全設計與成本效益上的關鍵挑戰，並提供可行的最佳化建議。
openrouter blog精選AI 評分6767 OpenRouter 影片生成 API：程式碼優先指引
OpenRouter 透過統一的非同步影片生成 API，讓開發者一次提交、輪詢、下載即可支援 Seedance、Veo、Wan 等多款模型。 - 工作流程：POST /api/v1/videos 提交工作 → 監控 job‑status → 下載 MP4。
推薦理由：統一的非同步 API 讓多模型影片生成變簡單，利於快速測試與成本掌控。
Hugging Face Blog精選AI 評分6666 Dharma AI 推出 GPU 管理排程器：通過最佳化分配順序顯著提升叢集利用率
Dharma AI 推出一種約束感知 GPU 分配器，通過將即時推理需求建模為動態曲線並結合優先順序排程，在不更換硬體的情況下使叢集利用率提升高達 33 個百分點。該分配器在多個基準測試中展現出更高的吞吐量與優先順序加權產出，同時保持極低的決策延遲。
推薦理由：原文介紹了約束感知 GPU 分配器的設計與多場景基準測試結果，讀者可以瞭解如何通過最佳化排程順序提升叢集利用率。
Mistral AI精選AI 評分7373 Mistral 推出區域推理、開放模型與歐洲主權 AI 基礎設施
Mistral AI 宣佈推出區域推理端點和優先服務層，支援在歐洲或美國執行推理，並提供 1 GW 計算容量目標。公司還將平臺開放給第三方模型，首批支援 Z.ai 的 GLM‑5.2，所有模型均在同一基礎設施下滿足區域控制與 SLA。為保障歐洲長期 AI 計算需求，Mistral 正與企業組建聯盟，形成歐洲計算單元（ECU）以鎖定多年容量。
推薦理由：Mistral 推出區域推理端點和開放模型支援，幫助企業實現 AI 主權與合規。
Berkeley AI Research精選AI 評分7777 從 CUDA 到 MLX：K-Search 如何將數十年 GPU 核心最佳化知識帶到 Apple Silicon
K-Search 透過結合 CUDA 核心最佳化知識與 MLX 翻譯層，成功將 NVIDIA GPU 的高效實作自動轉換至 Apple Silicon，達到接近專家水平的效能。
推薦理由：本研究展示如何將 CUDA 核心最佳化知識自動轉移至 Apple Silicon，為跨平臺 GPU 核心開發提供可落地方法。
Mistral AI精選AI 評分6666 Mistral AI：排查 vLLM 中的記憶體洩漏
Mistral AI 團隊詳細復盤了在 vLLM 分離部署測試中發現並解決隱蔽記憶體洩漏的完整過程。通過結合 pmap、BPFtrace 與 GDB 自動化指令碼，團隊最終定位到根源在於 UCX 記憶體管理模組的 mmap 鉤子機制與註冊快取佇列。通過設定環境變數 UCX_MEM_MMAP_HOOK_MODE=none 或限制未釋放區域數量，成功解決了該記憶體洩漏問題。
推薦理由：文章詳細記錄了排查 vllm 分離部署中隱蔽記憶體洩漏的過程，讀者可以學習如何通過 pmap 與 GDB 組合定位底層系統呼叫問題。