跳到正文

#部署/工程

RSS
今日 0 則
11月4日週三
  1. Meta Engineering48

    **title_zh:**

    F3 Lightning:Meta 如何以規模加速廣告機器學習特徵進入生產 summary_zh: Meta 推出 F3 Lightning,將廣告機器學習特徵的發布流程拆分為獨立單位,實現每個特徵單獨編譯、驗證、部署與回滾,並保持與原先 F3 相同的計算效率。

  2. DuckDB Official Blog47

    量化分析師如何運用 DuckDB 打造本機分析工作流程

    DuckDB 讓 TimeStored 創辦人 Ryan Hamilton 能在應用程式內嵌資料庫,協助量化分析師建立本機分析環境,並逐步用於 QStudio、Pulse 與 PeachQ。 QStudio:這款分析 IDE 約 13 年前推出,原為 kdb+ 打造,現在可連線約 15 種資料庫。透過 DuckDB,分析師可將耗時最長 20 分鐘的遠端查詢結果存成 Parquet,之後直接查詢本機資料。 TimeStored 的應用:其主要產品 Pulse 是即時 HTML 視覺化工具,使用 DuckDB 快照與快取資料;DuckDB 也逐漸支援 AI 輔助資料探索。 PeachQ:這項開源專案以 Rayforce 記憶體引擎搭配 DuckDB 歷史資料儲存,將 Q 語言、即時處理、分析與儲存整合為開源替代方案。QStudio 現已開源。

11月3日週二
  1. Vercel Blog57

    LongCat 2.5 開放於 Vercel AI Gateway 使用

    LongCat 2.5 已在 Vercel AI Gateway 開放,可供 AI 助理執行複雜程式碼庫與完整專案建置任務。 模型能力:結合原生視覺理解、程式開發與多步驟工具使用;Meituan 表示,模型在視覺程式設計、創意設計與 3D 任務上有所改善,也支援從規劃到執行的較長AI 助理工作流程。 輸入與上下文:支援文字和影像輸入,提供 1M-token 上下文視窗,可用於程式碼、檔案與延伸任務紀錄。 使用方式:模型名稱為 meituan/longcat-2.5。安裝最新版 Vercel CLI 並執行 setup 後,可在 Claude Code、Codex、Cursor 等AI 助理中選用;也可在模型 playground 試用。 AI Gateway:提供統一 API 以呼叫模型、追蹤用量與成本,並設定重試、故障切換與效能最佳化。依原文說明,定價比照供應商,不加價,也不對推論收取平臺費用,包含 BYOK 請求。

11月2日週一
  1. LMSYS Org Blog79

    SGLang 如何用 HiCache 在多種部署配置中重用模型快取

    長對話會反覆送出相同的前文,模型若每次重算或重新傳送資料,使用者就得等更久。這篇文章說明 HiCache 如何把可重用的模型快取放在 GPU、主機記憶體和外部儲存,並讓不同運算階段和多臺機器在同一個字首上做出一致決定。以 GLM-5.2-FP8 的多輪對話測試來看,解碼端也重用 GPU 與主機快取後,平均首次回應時間降低 25.4%,中位數降低 60.3%,輸出速度增加 2.9%。文章也說明,資料分散存放和非同步傳輸會增加協調難度,快取資料必須準備妥當才能省下計算與傳輸時間。

    推薦理由:文章拆解 HiCache 在多種平行配置與分離式服務中的快取協調方式,並用實際服務資料呈現字首重用對回應等待時間的影響。

11月1日週日
  1. LMSYS Org Blog77

    GLM-5.3-Flash 如何在 H200 上提升長文本服務吞吐量

    長文本請求會佔用大量記憶體,也可能讓模型忙著處理輸入,來不及持續產生答案。作者在 SGLang 上調整 GLM-5.3-Flash 的快取共用、推測解碼和資料傳送方式,並分開測試輸入與輸出速度。在 4 張 H200 上,輸入處理速度提高到每秒 48,064 個 token;有 99.9% 共用字首時,輸出速度提高到每秒 12,027 個 token。整體結果也顯示,共用字首較少時,輸入處理仍是瓶頸;共用較多時,解碼端的改善更能提高整體速度。

    推薦理由:這組測試呈現共享字首比例如何改變服務瓶頸:字首重用少時,輸入處理仍限制整體吞吐量;重用高時,解碼端的調校更能轉成效能提升。

10月31日週六
  1. Vercel Blog54

    Vercel Data Cache 退出測試版並遷移至 Runtime Cache

    Vercel 宣佈 Data Cache 退出測試版並遷移至 Runtime Cache,Next.js 的 fetch 快取與 unstable_cache 將在所有版本自動切換,無須修改程式碼。 儲存空間:Pro 方案按專案與環境配置 Runtime Cache 儲存空間,容量是原先團隊共用 Data Cache 的 8 倍;Enterprise 專案的儲存空間是原先的 10 倍。 計價方式:遷移後,原本不計費的 Data Cache 讀寫將依 Runtime Cache 費率收費,起始價格為每 100 萬次讀取單位 $0.40、每 100 萬次寫入單位 $4.00,並依地區而異。Hobby 每月跨所有專案可免費使用 100 萬次讀取單位與 20 萬次寫入單位;Pro 用量先抵扣每月 $20 基礎設施額度,超出部分依地區費率計費。Enterprise 價格需洽詢客戶團隊。 遷移時程:2026 年 10 月 30 日起新建團隊預設使用 Runtime Cache。既有 Hobby 團隊將於 11 月 29 日遷移;Pro 團隊會收到遷移日期及計費生效時間通知,Enterprise 團隊則由客戶團隊提供遷移資訊。 提前選用與準備:既有 Hobby 和 Pro 團隊可從團隊的 CDN 設定提前選用,選用後立即適用 Runtime Cache 費率。遷移前可在 Observability 檢視 Data Cache 用量,並依照最佳化指南或將 Agent 提示詞複製到程式設計AI 助理;Runtime Cache 儀錶板也提供「Optimize with Vercel Agent」選項。停用 CDN 設定中的 fetch 與 unstable_cache 快取會增加資料來源請求,但不會停止遷移。

10月30日週五