跳到正文

#推理

RSS
今日 9 則
11月1日週日
  1. LMSYS Org Blog77

    GLM-5.3-Flash 如何在 H200 上提升長文本服務吞吐量

    長文本請求會佔用大量記憶體,也可能讓模型忙著處理輸入,來不及持續產生答案。作者在 SGLang 上調整 GLM-5.3-Flash 的快取共用、推測解碼和資料傳送方式,並分開測試輸入與輸出速度。在 4 張 H200 上,輸入處理速度提高到每秒 48,064 個 token;有 99.9% 共用字首時,輸出速度提高到每秒 12,027 個 token。整體結果也顯示,共用字首較少時,輸入處理仍是瓶頸;共用較多時,解碼端的改善更能提高整體速度。

    推薦理由:這組測試呈現共享字首比例如何改變服務瓶頸:字首重用少時,輸入處理仍限制整體吞吐量;重用高時,解碼端的調校更能轉成效能提升。

10月31日週六
  1. Vercel Blog64

    Ling 3.1 Flash 1019 免費登上 Vercel AI Gateway,開放至 2026 年 11 月 3 日

    Vercel AI Gateway 開放使用 InclusionAI 的 Ling 3.1 Flash 1019,免費至 2026 年 11 月 3 日,之後將依公佈費率計費。 模型用途與上下文:模型針對程式開發、多步驟推理及使用工具的AI 助理設計,支援 1M-token 上下文視窗。 使用方式:模型名稱為 inclusionai/ling-3.1-flash-1019。安裝最新版 Vercel CLI 並執行設定後,可在 Claude Code、Codex、Cursor 等程式開發代理中選用;也可在 model playground 試用。 費用與追蹤:免費請求仍會顯示於支出儀錶板並保留完整請求追蹤紀錄,但不會產生費用。AI Gateway 表示其依供應商定價、不加價,推論不收平臺費,BYOK 請求亦同。

10月30日週五
10月29日週四
  1. LMSYS Org Blog79

    AMD 與 Miles 團隊用 MI355X 訓練 Qwen3-30B-A3B-Instruct,提升程式解題成績

    訓練會寫程式的 AI 助理時,任務可能跑很久,沙盒準備和工具協調也會拖慢整個流程。AMD 與 Miles 團隊用 MI355X 訓練 Qwen3-30B-A3B-Instruct,先用成功的程式修復紀錄教模型操作工具,再用 AI 助理強化學習改善解題。在 SWE-bench Verified 的 100 題分層樣本中,pass@1 從 7.3% 提升到 27.5%。團隊也透過縮短過長的任務、把沙盒移到雲端並移除並行數量限制,讓訓練步驟約快 3 倍,軌跡處理量約提升 4 倍;這兩項速度比較來自不同的設定。

    推薦理由:這項實驗把模型解題成績與訓練速度放在同一套流程中檢視,也拆解了長時間任務和沙盒協調如何拖慢訓練。

10月27日週二
10月26日週一
10月25日週日
  1. Hacker News (official RSS)60

    AI 生成語言為何如此難以理解?

    本研究發現 AI 生成文本在語法複雜度上顯著高於人類寫作,難以理解。- 研究發現:AI 模型使用更多物件相對子句、長語法依賴與低頻 n-gram。- 比較結果:前沿模型傾向於不活躍主語搭配活躍動詞、堆疊名詞及縮減物件相對子句,對話中更長依賴。

  2. LMSYS Org Blog66

    miniTE 技術報告:用 NVFP4 加速強化學習,並處理訓練不穩問題

    大型語言模型用低精度運算可以省時間,但訓練到後期可能變得不穩,模型在訓練和生成時算出的機率也可能對不上。這份技術報告提出兩種做法:TRIAGE 會依照誤差和更新方向調整訓練;miniTE 則整理量化和運算方式,讓研究者比較誤差並加快運算。在 8×B300 的測試中,miniTE 搭配 BF16 反向運算,完整訓練更新速度約為 BF16 的 1.33–1.37 倍;另一項固定輸出的測試,生成速度約為 BF16 的 1.64 倍。不過,線上強化學習中轉換和同步權重會抵銷部分取樣收益,實際訓練的五項任務平均成績也仍低於 BF16。

    推薦理由:報告分開比較數值誤差、訓練表現與完整更新速度,呈現低精度運算在實際強化學習流程中的取捨。

10月24日週六
  1. LMSYS Org Blog67

    SGLang 如何在 DeepSeek-V4.1-Flash 基準中比肩 DeepInfer

    部署 DeepSeek-V4.1-Flash 時,除了跑得快,也需要快取、請求分流和負載平衡等完整服務功能。SGLang 團隊用 DeepInfer 自家的基準,在相同硬體上比較兩套系統:預填測試中,SGLang 的吞吐量最高達 DeepInfer 的 1.04 倍;64 張 GB300 的解碼測試中,每一步最多短 7.4%,部分測試則表現相近。SGLang 也整合 DeepSeek 的多種核心運算方式,並提供快取重用、分開處理預填與解碼,以及在多個模型副本間分配請求等功能。這篇比較呈現了速度測試和完整推論服務的差異。

    推薦理由:同一硬體與 DeepInfer 自家基準下的比較,呈現 SGLang 在預填與解碼的表現,也說明完整推論服務還包含哪些元件。

10月23日週五
10月22日週四
  1. LMSYS Org Blog55

    SGLang 推出 AWS Trainium 外掛測試版,支援模型推論與 RL rollout

    長時間提供大型語言模型服務和產生 RL 訓練資料都會持續消耗運算資源,團隊得考量每個 token 的成本。SGLang 和 AWS 合作推出 Trainium 外掛測試版,讓 SGLang 能在 Trainium2 和 Trainium3 上提供模型推論服務,也能產生 RL rollout。開發者可沿用熟悉的 PyTorch 工作方式,搬動現有工作時只需少量修改。團隊也展示一種分工方式:在 Trainium3 上產生 Qwen3-MoE-30B-A3B 的 rollout,再用單臺 H200 主機訓練模型。測試版目前只開放給少數團隊申請,效能調整仍在進行中。

10月21日週三
  1. Hacker News (official RSS)78

    Basis 推出 LLM 驗證的解譯器

    Basis 發布了利用 LLM 撰寫並在 Lean 中證明的解譯器,證明其行為與實際 RISC‑V 編譯後的程式完全一致。 - 驗證方法:LLM 先自動生成 WHILE 語言的形式語義,然後在 Lean 中證明該語義與編譯後的二進位在所有程式上相符,並以此推匯出四個工具(型別檢查器、程式邏輯、抽象解譯器、編譯器)。

  2. AWS Machine Learning Blog79

    加拿大可透過 Amazon Bedrock 跨區域推理存取 OpenAI GPT 模型

    加拿大組織可透過 Amazon Bedrock 的跨區域推理,即時存取 OpenAI GPT‑5.6、GPT‑6 與 GPT‑6.1 模型。 - 模型:GPT‑5.6(Sol、Terra、Luna)、GPT‑6(Astra、Sol、Luna)與 GPT‑6.1 Sol。

    推薦理由:加拿大組織可透過 Bedrock 的跨區域推理,即時存取 OpenAI GPT-5.6/6/6.1 模型,擴大容量與成本效益。

10月20日週二