跳到正文

#產品更新

RSS
今日 1 則
8月22日週六
  1. Google Research50

    AI工具實現可穿戴感測器資料候選生物標誌物優先順序排序

    Google Research釋出了Biomarker Discovery Framework,一套多代理系統,結合假設生成、統計分析、模型訓練、對抗驗證和文獻推理,在9,279個可穿戴感測器資料樣本中識別出41個精神健康和25個代謝疾病的候選數字生物標誌物,並在與人口統計特徵結合後提升預測效能。專家評估顯示,該框架在質量維度上優於同類AI系統。

8月21日週五
  1. LMSYS Org Blog83

    SGLang 推出 Weight Cache Daemon,讓模型服務更快重新啟動

    大型模型服務重新啟動時,光是從硬碟載入權重就可能要等好幾分鐘。SGLang 的 Weight Cache Daemon 會把處理好的模型權重留在 GPU 記憶體裡;引擎重啟時,可直接共用這些資料,省去重新讀取和處理權重的時間。以 Ling-2.6-1T FP8 為例,權過載入時間從約 495 秒降到約 0.63 秒,完整啟動時間則從 8.8 分鐘降到 0.528 分鐘。這項功能目前已驗證未量化與區塊式 FP8,其他量化方式仍需加入支援並完成驗證。

    推薦理由:原文以 Ling-2.6-1T FP8 的實測比較,說明共享 GPU 權重如何縮短 SGLang 重啟時間,也交代目前支援的量化方式有限。

  2. Microsoft Research56

    微軟研究院釋出 Skala 1.1 並拓展其在計算化學軟體中的整合

    微軟研究院釋出深度學習密度泛函理論模型 Skala 1.1,在 GMTKN55 基準測試中表現優異,並宣佈已在 CP2K 中可用,同時正逐步整合至 Psi4、FHI-aims、ORCA 和 VASP 等主流計算化學軟體中。該版本使用比前代多 2.5 倍的資料訓練,在保持半局域泛函效率的同時提升了準確性,並推出了動態效能報告來追蹤跨硬體的計算效率。

8月20日週四
  1. Bun Releases64

    Bun v1.4 發布

    Bun v1.4 正式發布,帶來全新的安裝指令與升級方式,並向所有社群貢獻者致謝。 安裝與升級:支援透過 curl、npm 或 PowerShell 快速安裝,並可使用 bun upgrade 升級至 v1.4.0。 開源與授權:維持自由開源並採用 MIT 授權條款,感謝來自社群的多方貢獻與修復。

  2. Mistral AI75

    Agentic Search:為 AI 系統提供更準確、更高效的檢索結果

    Mistral AI 推出了 Agentic Search,利用多步檢索迴圈在 FinanceBench 和 OfficeQA Pro 基準上顯著提升檢索準確率,並降低 token 使用和延遲。該功能通過搜尋、開啟、導航、讀取和 grep 五個工具,讓模型在複雜文件中進行迭代檢索,支援敏感領域資料,並可通過 Mistral Search Toolkit 在雲端或本地部署。

    推薦理由:Agentic Search 通過多步檢索迴圈顯著提升金融檔案檢索準確率,幫助企業在敏感資料上實現更高效的 AI 互動,並在複雜文件中實現精準導航。

8月19日週三
  1. The Go Blog84

    Go 1.27 正式發布

    Go 1.27 正式發布,帶來多項語言、工具、效能與標準函式庫升級。 - 語言功能:支援泛型方法、結構字面量可使用任意欄位鍵、函式型別推斷全域化。

    推薦理由:Go 1.27 帶來泛型方法、結構字面量改進與效能提升,開發者可即時體驗新語法與工具最佳化。

8月18日週二
  1. Cursor Official Blog84

    Cursor 推出 Git 儲存系統 Continuity,讓大型程式碼庫更容易擴充

    程式碼庫變大或數量暴增時,Git 託管服務很難同時維持速度、資料一致和可靠性。Cursor 推出 Continuity,把每次推送先存進 S3 的預寫日誌,再讓各副本依日誌更新;讀取前也會確認副本已追上進度。大型程式碼庫可以增加副本來分擔讀取,小型或閒置的程式碼庫則能減少副本,需要時再從日誌還原。Cursor 表示,測試中副本增加到 100 個時,讀取效能隨副本數線性提升;使用 S3 標準版時,每秒可處理最高 120 次推送。

    推薦理由:Cursor 說明 Continuity 如何把 S3 預寫日誌當成資料來源,並依程式碼庫負載調整副本數量,呈現其擴充設計與一致性取捨。

  2. Hugging Face Blog66

    Dharma AI 推出 GPU 管理排程器:通過最佳化分配順序顯著提升叢集利用率

    Dharma AI 推出一種約束感知 GPU 分配器,通過將即時推理需求建模為動態曲線並結合優先順序排程,在不更換硬體的情況下使叢集利用率提升高達 33 個百分點。該分配器在多個基準測試中展現出更高的吞吐量與優先順序加權產出,同時保持極低的決策延遲。

  3. LMSYS Org Blog79

    Miles v0.1 推出完整的前沿模型後訓練系統

    訓練 AI 助理使用工具時,每個任務花的時間不同,等待最慢的任務會讓 GPU 閒著。Miles v0.1 把模型生成、訓練和更新權重接成可同時進行的流程;每個任務在自己的隔離環境中執行,完成後就能接著訓練。文章也示範用 64 張 NVIDIA GB300 訓練 GLM-5.2,模型能在終端操作任務中持續學習。這套系統也支援低精度訓練、不同訓練後端和 AMD GPU,讓研究人員與開發者能依裝置和訓練方式調整流程。

    推薦理由:Miles 把生成、訓練與權重更新接成非同步流程,文中以 64 張 GB300 訓練 GLM-5.2 的實例,展示這套做法如何支援大型模型的終端操作訓練。

8月17日週一
  1. Google Research65

    Google Research 推出 PhotoScan:通過智慧手機影像估算心臟代謝風險

    Google Research 推出了 PhotoScan,這是一個通過標準 2D 智慧手機照片估算 3D 身體成分指標(如體脂率、A/G 比和 V/S 比)的深度學習框架。該模型在英國生物銀行資料上進行預訓練,並利用 677 名成人的佇列進行了微調;獨立驗證顯示其在預測胰島素抵抗方面達到了接近 DXA 掃描的準確度。

  2. openrouter blog73

    OpenRouter 推出使用分析儀錶板與 Analytics API

    OpenRouter 推出全新使用分析儀錶板與 Analytics API,讓企業能即時追蹤每個AI 助理、模型與請求的成本與效能。 - 核心功能:儀錶板呈現五大指標(總支出、請求數、Token 數量、快取命中率、每百萬 Token 混合成本)並可自訂圖表與檢視。

    推薦理由:OpenRouter推出的使用分析儀表盤與 API 讓企業能精準追蹤每個AI 助理與模型的成本,便於最佳化資源與預算。

8月14日週五
  1. vLLM Official Blog74

    vLLM 推出 DSpark 自適應驗證功能

    vLLM 於 2026 年 8 月 14 日正式推出 DSpark 自適應驗證功能,讓 Speculative Decoding 在高併發(至 256)下仍能保持效能。

    推薦理由:DSpark adaptive verification 讓 vLLM 在高併發下保持效能,降低使用者手動調參需求,並自動調整驗證長度以最佳化吞吐量。在多種併發設定下,保持在 Pareto 前沿。

  2. Google DeepMind74

    Gemini 3.7 Flash 推出

    Google DeepMind 推出了 Gemini 3.7 Flash,這是其 Flash 系列最新的工作模型,專為編碼和AI 助理設計。該模型在 FrontierCode、DeepSWE、WebDev Arena 等基準上顯著提升準確率,且每百萬輸入 token 價格僅 $0.75,輸出 $3.75,成本更低。

    推薦理由:Gemini 3.7 Flash 在編碼、網頁開發和知識工作等領域顯著提升準確率,並以更低成本提供高效工作流。

8月13日週四
  1. Wiz Blog & Research45

    **title_zh:**

    Wiz 針對軟體供應鏈個人倉庫安全的盲點關閉 summary_zh: Wiz 透過將開發者身份與個人公開倉庫相連結,驗證並修復被曝光的機密,縮減軟體供應鏈中的盲點。

8月12日週三
  1. LMSYS Org Blog75

    SGLang 和 Miles 加入對 Qwen3.8 的首日支援

    大型模型有不同的運算狀態,讓伺服器難以安排工作,也可能拖慢速度。SGLang 和 Miles 宣佈在 Qwen3.8 推出當天就支援這個模型,並加入快取、資料傳送與推測解碼等處理方式,讓不同階段能採用各自適合的配置。文章列出多種測試結果,其中一種 NVFP4 配置在 8K 輸入、1K 輸出的測試中,每張 GPU 每秒處理 5,126 個 token;這些數字反映特定硬體與配置下的表現。

    推薦理由:文章拆解 SGLang 如何處理 Qwen3.8 的多種運算狀態,並比較不同部署配置的吞吐量與單人速度,呈現服務大型模型的工程取捨。

8月11日週二
  1. Hugging Face Blog68

    想用 ACE 嗎?ALTK-Evolve 用更少 Token 實現

    Hugging Face 部落格介紹了 ALTK-Evolve 庫,該庫通過高效的記憶檢索實現與 ACE 相比更低的 Token 消耗,同時保持或提升準確率。ALTK-Evolve 與 ACE 都利用代理自身軌跡學習,但在記憶構建和交付方式上不同:ACE 採用完整的 playbook 注入,而 ALTK-Evolve 只檢索模型可用的指導原則,從而顯著降低推理 token。

  2. Mistral AI73

    Mistral 推出區域推理、開放模型與歐洲主權 AI 基礎設施

    Mistral AI 宣佈推出區域推理端點和優先服務層,支援在歐洲或美國執行推理,並提供 1 GW 計算容量目標。公司還將平臺開放給第三方模型,首批支援 Z.ai 的 GLM‑5.2,所有模型均在同一基礎設施下滿足區域控制與 SLA。為保障歐洲長期 AI 計算需求,Mistral 正與企業組建聯盟,形成歐洲計算單元(ECU)以鎖定多年容量。

    推薦理由:Mistral 推出區域推理端點和開放模型支援,幫助企業實現 AI 主權與合規。

  3. SGLang Releases82

    SGLang 發布 v0.5.17 版本

    SGLang 正式發布 v0.5.17 版本,匯集 194 位貢獻者的 582 項 PR,全面升級推理與平行化效能: - 新模型日支援。

    推薦理由:新版本帶來多項新模型支援與底層平行化最佳化,開發者可參考其升級日誌評估效能提升與架構調整。

  4. Hugging Face Blog77

    構建低延遲多語種語音代理:NVIDIA Magpie TTS 開放權重與完整部署控制

    NVIDIA 釋出了 Magpie TTS 多語種文本轉語音模型,支援12種語言,並提供開放權重與本地部署能力。該模型在單流 GPU 上可實現 32–79 ms 的首音延遲,64 併發流下可達 239 ms,吞吐率高達 320× 即時。

    推薦理由:開放權重與低延遲讓企業可在本地部署多語種語音代理,支援12種語言並提供高質量音訊,幫助企業實現低延遲、可定製的多語種語音代理。

8月10日週一
  1. LMSYS Org Blog62

    SGLang 首日支援 Muse Glimmer,讓多模態模型能在本機硬體執行

    想在自己的電腦上執行多模態 AI 助理,速度和硬體需求常是難題。SGLang 宣佈從 Muse Glimmer 推出的第一天就提供支援,讓開發者能在多種 NVIDIA 顯示卡、DGX Spark 和 Apple Silicon 裝置上執行這個 30B 模型。文章列出不同硬體與設定下的速度:在 RTX 5090 上使用 NVFP4 和 DFlash 時,每位使用者每秒可生成 236 個 token,批次輸出速度最高為每秒 1,452 個 token。DFlash 能加快多數測試設定的互動速度,但 Apple Silicon 的 MLX 後端目前不支援這項功能。

    推薦理由:Muse Glimmer 加入 SGLang 首日支援後,可在多種本機硬體上執行;文中資料也比較了不同平臺與解碼方式的速度差異。

8月7日週五
  1. LMSYS Org Blog77

    Tencent Hunyuan 的 HPC-Ops 整合進 SGLang,加快 LLM 推論

    AI 模型在伺服器上回答問題時,注意力運算、專家選擇和資料搬動都可能拖慢速度。Tencent Hunyuan 團隊把 HPC-Ops 的三種運算元整合進 SGLang,分別調整長短請求混在一起時的注意力運算、保留專家選擇所需的計算精度,以及減少小型專家運算前後的資料搬動。在 8 張 H20 顯示卡上,Hy3-FP8 同時使用注意力與 MoE 運算元後,部分批次的每個輸出詞元延遲降低 15.1–48.8%;LongCat-Flash-Lite-FP8 使用 Router GEMM 時,輸入處理速度提升 5.5–6.1%。這些結果來自文中列出的特定模型與測試設定。

    推薦理由:HPC-Ops 三種運算元已整合進 SGLang,文中用 H20 與 H200 測試說明它們在不同模型和工作量下的速度變化。

8月6日週四
  1. Hugging Face Blog53

    Baseten 接入 Hugging Face Inference Providers

    Baseten 現已成為 Hugging Face Hub 的推理提供商,支援在模型頁面和 JS/Python 客戶端 SDK 中直接呼叫無伺服器推理服務。首批上線支援對話和文本生成任務,涵蓋 DeepSeek V4 Flash、GLM-5.2 等開源權重模型。使用者可通過自定義 API 金鑰或由 Hugging Face 路由兩種模式呼叫,並已整合至多個主流 Agent 框架中。

8月5日週三