量化不破壞權重,卻破壞程式碼
核心觀點:Q4 量化對 70B 模型影響較小,但對 3B 模型會導致程式碼生成失敗,問題在於模型大小而非量化方案。 - 實務步驟:1️⃣ 檢視 ollama show <tag> 取得引數、量化與上下文長度,並固定 digest。
核心觀點:Q4 量化對 70B 模型影響較小,但對 3B 模型會導致程式碼生成失敗,問題在於模型大小而非量化方案。 - 實務步驟:1️⃣ 檢視 ollama show <tag> 取得引數、量化與上下文長度,並固定 digest。
summary_zh: 作者在 80 GiB H100 上測試 Llama‑3.3‑70B、Qwen3‑32B 及 Llama‑3.1‑8B,發現將 KV cache 量化為 FP8 使容量翻倍,但速度提升僅 1% 以內。
模型路由器的實驗顯示,選擇最大模型並非最佳,成本與延遲往往是關鍵。 - 成本:在前沿模型上分類任務費用 $0.08,使用中階模型同樣準確但費用僅 $0.002。
本文示範如何在 Node.js 環境中安全地使用 OpenAI GPT API 進行私有遊戲知識庫的文字摘要,並說明品質門檻、延遲 SLO 以及回滾機制。 - 品質門檻:檢索到的段落之間指示模型保留機制與數值,使用低溫度(0.2)與 token 限制,並拒絕無法引用來源的答案。
summary_zh: 兩個 4.66B 權重檔案僅差 0.005% 的權重元素,卻在 400 題多選推理測試中產生 1.4%p 的分數差異,導致作者撤回先前的報告。
交叉熵 以損失地形與下注比喻說明分類器學習過程。 - 定義:loss = –log(p),p 為正確類別的預測機率。 - 地形:在多類別空間中,損失隨兩個類別分數變化而形成坡度。
長文本請求會佔用大量記憶體,也可能讓模型忙著處理輸入,來不及持續產生答案。作者在 SGLang 上調整 GLM-5.3-Flash 的快取共用、推測解碼和資料傳送方式,並分開測試輸入與輸出速度。在 4 張 H200 上,輸入處理速度提高到每秒 48,064 個 token;有 99.9% 共用字首時,輸出速度提高到每秒 12,027 個 token。整體結果也顯示,共用字首較少時,輸入處理仍是瓶頸;共用較多時,解碼端的改善更能提高整體速度。
推薦理由:這組測試呈現共享字首比例如何改變服務瓶頸:字首重用少時,輸入處理仍限制整體吞吐量;重用高時,解碼端的調校更能轉成效能提升。
導語: Leo de Moura 在一次對談中闡述 AI 如何讓形式驗證更易上手,並預測這將改變軟體開發與數學研究的流程。 - Lean:同時是程式語言與證明助手,核心可驗證器僅需信任 kernel,已實作多個 kernel(Rust、C#、Haskell、TeX 等)。
JetSpec++ 將因果式平行草擬、隱藏狀態預測器與錨定 token 解碼器結合,讓下一個區塊能在目前區塊驗證前先行草擬,並將草擬與驗證管線化,隱藏幾乎所有草擬成本。
Vercel AI Gateway 開放使用 InclusionAI 的 Ling 3.1 Flash 1019,免費至 2026 年 11 月 3 日,之後將依公佈費率計費。 模型用途與上下文:模型針對程式開發、多步驟推理及使用工具的AI 助理設計,支援 1M-token 上下文視窗。 使用方式:模型名稱為 inclusionai/ling-3.1-flash-1019。安裝最新版 Vercel CLI 並執行設定後,可在 Claude Code、Codex、Cursor 等程式開發代理中選用;也可在 model playground 試用。 費用與追蹤:免費請求仍會顯示於支出儀錶板並保留完整請求追蹤紀錄,但不會產生費用。AI Gateway 表示其依供應商定價、不加價,推論不收平臺費,BYOK 請求亦同。
ONNX Runtime WebGPU Plugin EP v0.5.0 釋出,擴充注意力、Mixture-of-Experts、量化運算元支援,並提升 GPU 核心效能。
Mistral AI 釋出 Mistral Large 4(Le Chonk),一個 1 兆引數的多模態開源模型。 - 引數量:1 兆,提供前所未有的編碼與防禦安全能力。
訓練會寫程式的 AI 助理時,任務可能跑很久,沙盒準備和工具協調也會拖慢整個流程。AMD 與 Miles 團隊用 MI355X 訓練 Qwen3-30B-A3B-Instruct,先用成功的程式修復紀錄教模型操作工具,再用 AI 助理強化學習改善解題。在 SWE-bench Verified 的 100 題分層樣本中,pass@1 從 7.3% 提升到 27.5%。團隊也透過縮短過長的任務、把沙盒移到雲端並移除並行數量限制,讓訓練步驟約快 3 倍,軌跡處理量約提升 4 倍;這兩項速度比較來自不同的設定。
推薦理由:這項實驗把模型解題成績與訓練速度放在同一套流程中檢視,也拆解了長時間任務和沙盒協調如何拖慢訓練。
Thore Graepel 提出了以 AlphaGo 搜尋策略為基礎的知識賬本方法,旨在降低大型語言模型的幻覺。 - 核心概念:將 AlphaGo 的網路預測與搜尋結合,建立可驗證的知識賬本,讓系統每一步都經過獨立檢驗。
summary_zh: Sebastian Raschka 釋出了八段 11 小時的從零開始建立推理模型的影片課程,示範如何以 PyTorch 重新實作推理模型的評估、推理時間縮放、強化學習與蒸餾等技術。
寫作比程式碼更貼近思維,作者提出 Ideal State Artifact(ISA)作為 AI 專案的唯一「真實」檔案,將需求、限制、決策與可測試條件集中於一份文件,並以此驅動設計、實作與測試。
summary_zh: BOSS 直聘釋出 Nanbeige4.3-33B,Dense 版本專為 Agent 最佳化,Agent 分數高於 Qwen3.8-27B,程式碼生成略弱。
OpenAI 在 2026 年宣稱已解決 Navier-Stokes Millennium Prize 問題,並在十月 6 日發布報告指出近 400 個重要未解問題已被其最新模型解決。
Jack Clark,Anthropic聯合創辦人,將其對自我改進AI(RSI)實現的預測提前至2027年。 - TasteVal:衡量模型研究品味的基準,評估模型選擇實驗與解讀結果的能力。
本研究發現 AI 生成文本在語法複雜度上顯著高於人類寫作,難以理解。- 研究發現:AI 模型使用更多物件相對子句、長語法依賴與低頻 n-gram。- 比較結果:前沿模型傾向於不活躍主語搭配活躍動詞、堆疊名詞及縮減物件相對子句,對話中更長依賴。
大型語言模型用低精度運算可以省時間,但訓練到後期可能變得不穩,模型在訓練和生成時算出的機率也可能對不上。這份技術報告提出兩種做法:TRIAGE 會依照誤差和更新方向調整訓練;miniTE 則整理量化和運算方式,讓研究者比較誤差並加快運算。在 8×B300 的測試中,miniTE 搭配 BF16 反向運算,完整訓練更新速度約為 BF16 的 1.33–1.37 倍;另一項固定輸出的測試,生成速度約為 BF16 的 1.64 倍。不過,線上強化學習中轉換和同步權重會抵銷部分取樣收益,實際訓練的五項任務平均成績也仍低於 BF16。
推薦理由:報告分開比較數值誤差、訓練表現與完整更新速度,呈現低精度運算在實際強化學習流程中的取捨。
summary_zh: Liu 與 Han 研究發現,使用更複雜的 harness 會使編碼代理的成本升高,但效能並未提升。 - 核心結論:三種 harness(Claude Code、OpenCode、mini‑SWE‑agent)在 45 個最難 SWE‑bench Verified 任務上,效能差異不到兩分;在 447 個任務池中,差距約五分,統計上等同。
使用 Decisions API,將近即時決策加入工作流程,現在已正式開放。 建立更快速、成本更低的應用程式與AI 助理,能夠分類文字與影像、評估輸入,並在不產生完整模型回應的情況下決定下一步行動。
本集深入探討 Claude 與 Rocq 在大規模形式化驗證的可行性與限制,並揭示 Postgres 預取機制可能引發的雲端停機風險,對安全與效能雙重關注者具實務參考價值。
Kimi K3.1 Pro 是 Moonshot AI 推出的最新推理模型,於 Artificial Analysis Intelligence Index 取得 55 分,排名第四,僅落後於 Anthropic Claude Opus 5.5、Claude Sonnet 5.5 與 Muse Wonder Full。
Kimi K3.1 Pro 與 K3.1 Pro Highspeed 於 Kimi Code 正式推出,提供 3T 引數、1M 上下文視窗,並以高速版提升 2–3 倍輸出速度。
Gemma-4-26B-A4B 為 ThinkingCap 系列第五款模型,將思考 token 減少 38.9% 以上,且準確度僅下降 0.15pp。 - 思考 token:平均減少 38.9%,部分任務最高達 69.1%。
MiniMax-M3.1-Flash 於 SiliconFlow 平臺上正式開放權重,推出更強大代理功能與更快推理速度。 - 代理程式設計:在 DeepSWE v1.1 上取得 73.7% 的成績。
部署 DeepSeek-V4.1-Flash 時,除了跑得快,也需要快取、請求分流和負載平衡等完整服務功能。SGLang 團隊用 DeepInfer 自家的基準,在相同硬體上比較兩套系統:預填測試中,SGLang 的吞吐量最高達 DeepInfer 的 1.04 倍;64 張 GB300 的解碼測試中,每一步最多短 7.4%,部分測試則表現相近。SGLang 也整合 DeepSeek 的多種核心運算方式,並提供快取重用、分開處理預填與解碼,以及在多個模型副本間分配請求等功能。這篇比較呈現了速度測試和完整推論服務的差異。
推薦理由:同一硬體與 DeepInfer 自家基準下的比較,呈現 SGLang 在預填與解碼的表現,也說明完整推論服務還包含哪些元件。
summary_zh: 12 個 AI 模型在三次詢問下,對人類最具爭議的看法皆相同,重點強調人類更重視歸屬感而非真理。 - 共通主張:人類「更忠於歸屬感而非真理」,多個模型以不同措辭表達此觀點。
DeepSeek 在美國限制後獲得 150 億美元融資。 - 核心事件:兩天後在美國限制後,DeepSeek 以約 $15B(約 100B 元)完成融資。
Minotaur 是一種基於 ELC 的 AI 架構,能在單個 CPU 核心上完成多種推理任務,且不依賴大型語言模型或 GPU。 - 核心特性:使用「Energy‑Logic‑Control」三角色模型,透過「settle」操作一次性解答推理問題,時間約 0.25 秒。
DeepMind 創辦人 Hassabis 近日表示,人工智慧通用(AGI)可能在 2 至 3 年內實現,將其預估從先前的 3 至 5 年大幅縮短。
長時間提供大型語言模型服務和產生 RL 訓練資料都會持續消耗運算資源,團隊得考量每個 token 的成本。SGLang 和 AWS 合作推出 Trainium 外掛測試版,讓 SGLang 能在 Trainium2 和 Trainium3 上提供模型推論服務,也能產生 RL rollout。開發者可沿用熟悉的 PyTorch 工作方式,搬動現有工作時只需少量修改。團隊也展示一種分工方式:在 Trainium3 上產生 Qwen3-MoE-30B-A3B 的 rollout,再用單臺 H200 主機訓練模型。測試版目前只開放給少數團隊申請,效能調整仍在進行中。
GPT‑Rosalind 驅動的數千 AI 代理在 32 分鐘內完成對數百萬隻小鼠腦細胞的分析,並發現多個潛在的神經退化機制。 - 分散推理:每個代理針對單一基因突變,搜尋文獻並提出機制,最終合併成「推理圖譜」。
DeepSeek DeepInfer 是 DeepSeek 推出的開源推理框架,旨在替代其內部 V4.1 Flash 的服務堆疊。 - 單叢集吞吐:155 trillion tokens/day,96% 輸入快取命中,平均 400 ms 首 token 時間。
Basis 發布了利用 LLM 撰寫並在 Lean 中證明的解譯器,證明其行為與實際 RISC‑V 編譯後的程式完全一致。 - 驗證方法:LLM 先自動生成 WHILE 語言的形式語義,然後在 Lean 中證明該語義與編譯後的二進位在所有程式上相符,並以此推匯出四個工具(型別檢查器、程式邏輯、抽象解譯器、編譯器)。
DeepSeek 釋出了 DeepInfer 推理引擎與 deepseek-recipe,讓自託管模型能以更低成本、更快速度執行。 - 核心功能:DeepInfer 基於 vLLM,提供最佳化計算核心、分散式多晶片處理及更快文本生成。
加拿大組織可透過 Amazon Bedrock 的跨區域推理,即時存取 OpenAI GPT‑5.6、GPT‑6 與 GPT‑6.1 模型。 - 模型:GPT‑5.6(Sol、Terra、Luna)、GPT‑6(Astra、Sol、Luna)與 GPT‑6.1 Sol。
推薦理由:加拿大組織可透過 Bedrock 的跨區域推理,即時存取 OpenAI GPT-5.6/6/6.1 模型,擴大容量與成本效益。
全公司知識圖的構建,透過實驗證明能將代理人回答時間縮短73%,並大幅降低輸入 token 及模型呼叫,顯著提升律所內部資訊檢索效率。 - 關鍵效能:回答時間減少73%,輸入 token 下降92%,模型呼叫減少66%。