跳到正文

#推理

RSS
今日 0 則
11月22日週日
  1. Together AI Official Blog84

    Qwen4 Max 在 Together AI 上線,單次請求修補 Tornado 錯誤

    要找出大型程式專案裡的錯誤,常得先挑出相關檔案;Together AI 把整個 Tornado 專案和錯誤描述一次交給 Qwen4 Max,沒有使用工具或先搜尋檔案。模型在 72 秒內提出修補程式,找出兩個關鍵檔案,修補後通過維護者為該錯誤寫的兩項測試,也通過整套 1,673 項測試;這次請求費用為 69 美分。文章也說明瞭服務價格、串流使用方式與提示詞快取。這是單一案例,展示模型處理大型程式專案的方式與成本。

    推薦理由:這次測試把整個 Tornado 專案和錯誤描述放進單次請求,呈現 Qwen4 Max 修補程式、通過測試所需的時間與費用。

  2. Together AI64

    修正程式碼時,要先從大量檔案中找出問題所在。Together AI 表示,他們把一份錯誤回報和 Tornado 專案的 344 個檔案一次交給 Qwen4 Max,模型找出相關程式碼並寫好修補內容。接著執行了 Tornado 的 1,673 項測試,沒有失敗;這次請求花了 $0.69。貼文也提到,Qwen4 Max 在 Together AI 上的優惠到 11 月 22 日為止。

    推薦理由:Together AI 用修正 Tornado 程式碼的案例呈現 Qwen4 Max 的實際用途,並列出測試結果與單次請求費用。

11月21日週六
  1. Hugging Face Blog83

    Hugging Face 與 Thinking Machines Lab 推出 Inkling 2 Mini,主打本機使用

    本機執行大型模型時,模型大小、回答速度和能力常得互相取捨。Hugging Face 與 Thinking Machines Lab 推出 Inkling 2 Mini,這款模型能讀文字和圖片,支援 1M-token 上下文視窗;它讓 12 層模型重複運作三次,用較少的實體層數完成更多運算。文章展示了它在本機寫程式、重畫《星夜》和製作分帳網站的成果,也說明如何透過 transformers、llama.cpp 和 MLX 執行。作者表示,它在 48 項基準中的 32 項領先文中列出的其他模型;這些結果來自 Hugging Face 的測試。

    推薦理由:文章以架構說明和實作展示呈現 Inkling 2 Mini 的本機使用方式,也比較它在多項基準上的表現,能看出模型設計與實際應用之間的連結。

  2. vLLM Official Blog75

    vLLM 支援 Thinking Machines 的 Inkling 2 Mini 迴圈模型

    模型把部分中間層重複運算,會讓推論時的快取和訊息傳遞更難處理。vLLM 宣佈支援 Thinking Machines 的 Inkling 2 Mini,並在 NVIDIA Blackwell、Hopper 和 DGX Spark 上提供 Day-0 支援。Inkling 2 Mini 的 12 個核心層會對每個 token 運算三次,每次各自保留 KV cache,並讀取前一次運算傳來的訊息;模型有 26B 總引數、3.5B 啟用引數,支援最多 1M tokens 的上下文。vLLM 也支援可調整運算次數的研究檢查點,讓團隊能測試速度、記憶體用量和品質之間的取捨。

    推薦理由:Inkling 2 Mini 的迴圈層會讓每個核心層重複運算三次,vLLM 透過分開管理快取並融合訊息讀取來支援這種架構。

  3. Artificial Analysis75

    大型模型常需要較多運算資源,Inkling 2 Mini 則小到可以在 MacBook 或 DGX Spark 上執行。它是 Thinking Machines 推出的開放權重模型,總引數量為 26B,每次運算會啟用 5.4B 引數;文字輸入會經過迴圈層三次,使用 3.1B 個不同權重。模型也能讀取圖片,並支援 1M token 的上下文視窗,採用 Apache 2.0 授權。Artificial Analysis 將它列在 Intelligence Index 第 20 名,並指出它在模型能力與啟用引數量的比較中位於帕累托前緣。

    推薦理由:Inkling 2 Mini 把模型能力與啟用引數量放在同一張圖上比較,並提供模型大小、文字與圖片輸入及上下文視窗資訊,可用來瞭解它的定位。

  4. OpenAI News55

    OpenAI 推出 MedChemBench,測試 AI 模型能否幫忙挑選藥物候選物

    找藥物時,讓分子更能對付疾病相關蛋白,可能也會讓它更難被身體吸收,或更快分解。OpenAI 推出 MedChemBench,收錄 99 個來自研究論文的題目,測試 AI 模型能不能看懂分子結構、解讀實驗結果、挑選候選物並預測性質。評測中,GPT‑6 Astra 擅長還原分子結構與解釋證據,但挑選化合物和預測數值仍較困難。這項測試只看模型如何運用過去的研究資料,不能證明 AI 已能發現新藥或改善實驗室決策;研究者也無法排除模型先前看過相關資料的可能。

11月20日週五
  1. AWS Machine Learning Blog71

    Amazon SageMaker Inference 回顧 2026 年後續 14 項更新

    模型上線後,團隊還得處理延遲變高、GPU 沒用滿、流量塞在單一區域等問題。這篇文章整理 Amazon SageMaker Inference 後續推出的 14 項更新,涵蓋效能建議、LoRA adapter 調校、GPU 分割、多節點模型服務、跨區域流量分配和持續監控。例如,跨區域路由能把請求送到其他已登記的端點,並限制哪些區域可以處理流量;原有端點也能用少量額外機器分批更新模型,再重複使用既有機器。文章透過一個客服 AI 助理團隊的假想案例,說明這些工具如何協助團隊管理模型上線後的工作。

    推薦理由:文章依照模型上線後常見的營運難題,整理 SageMaker Inference 的更新如何協助團隊調校效能、共用 GPU 資源並跨區域分流。

  2. AWS Machine Learning Blog64

    Amazon SageMaker AI 開始監控推論端點,找出延遲上升與閒置 GPU

    AI 推論端點上線時調好的設定,可能會因流量和模型改變而不再合適,讓回應變慢或 GPU 閒置。Amazon SageMaker AI 現在會自動檢視端點的延遲、GPU 使用情況和服務設定,找出延遲變高、容量沒用滿,或可用但尚未開啟的效能改善;它不會讀取請求或回應內容。收到通知後,團隊可以在 SageMaker Studio 用實際流量測試其他設定,比較回應時間、吞吐量和每百萬個 token 的費用。測試在另一組運算資源上進行,端點不會自行變更,團隊確認結果後才決定是否套用。

    推薦理由:端點的流量和模型需求會隨時間改變,這項功能用實際流量測試替代方案,協助團隊比較速度、吞吐量與費用,再自行決定是否調整。

  3. Artificial Analysis43

    不太熟悉新推出的 Gemini 4 系列?以下是 Gemini 4 Carbon、Neon 和 Hydrogen 的幾項重點 Carbon 是價格最高的模型(每 1M 輸入/輸出 tokens 為 $4/$20),接著是 Neon($3/$15)和 Hydrogen($1.50/$7.50)。在低推理力度下,Carbon 的表現是三者中最好的,但會使用更多 tokens。不過,Neon 和 Hydrogen 提高推理力度後的擴充套件效果更好,並多了一種推理選項(xhigh)。

  4. Together AI70

    Together AI 宣佈 Qwen4 Max 已可在平臺上使用,並提供 30% 折扣。這款模型是 Alibaba 的旗艦 Qwen 模型,採用 MoE 架構,總引數量為 2.4T、活躍引數量為 71B;原文表示它適合長時間執行的 AI 助理工作、程式開發和視覺任務,並有 1m 上下文視窗。

    推薦理由:Qwen4 Max 在 Together AI 上提供 30% 折扣,原文也列出活躍引數量與上下文視窗,可瞭解這次上架的價格優惠和模型規格。

  5. NVIDIA Blog71

    NVIDIA 與 Microsoft 擴大 AI 運算,從 Azure 延伸到 Windows 電腦

    企業想把 AI 用在工作上,得先決定模型要放在哪裡、如何配合自家資料。NVIDIA 和 Microsoft 擴大合作,讓企業能在 Azure 使用 NVIDIA Vera Rubin NVL72 系統,也能透過 Microsoft Foundry 調整 NVIDIA Nemotron 開放模型,再部署到雲端或企業自己的裝置。EY 用這種方式調整模型來分類採購紀錄,在自己的評估資料上準確率提高 55%,成本比專有前沿模型低 15 倍。合作也把 AI 部署選項延伸到 Azure Local、工業用邊緣裝置和 Windows 電腦,讓企業能依資料位置與工作需求選擇執行方式。

    推薦理由:NVIDIA 與 Microsoft 把雲端、企業內部和個人電腦的 AI 部署選項串在一起,也展示企業如何用自家資料調整開放模型。

  6. Google Research84

    Google 用量子處理器測試 contextuality,最高跑到 105 個量子位元

    量子電腦的特殊優勢能不能在更多量子位元上維持,過去還不清楚。Google Research 團隊在 Willow 量子處理器上測試一種叫 contextuality 的量子特性:兩組參與者要在不能交談的情況下,對同一格給出一致答案;預先寫好的古典規則最多隻能答對 88.89%,量子處理器答對 98.30%。團隊也測試最多 71 個量子位元的遊戲,以及最多 105 個量子位元的淺層量子電路,結果都超過古典方法的界線。這些任務還能抓出一般隨機電路測試容易漏掉的細微硬體錯誤。

    推薦理由:研究以多種量子任務檢驗 contextuality 是否能在更多量子位元上維持,也指出這些任務能抓出隨機電路測試容易漏掉的細微硬體誤差。

  7. Google Developers Blog72

    Google 示範如何用 Tunix 和 Gemma 4 訓練多輪 AI 助理

    AI 助理玩棋盤遊戲時,如果只能一次猜一格,常會打很多次才找到目標。Google 示範用 Tunix 在 Cloud TPU 上訓練 Gemma 4,讓它每次出手後讀取棋盤回饋,再決定下一步。示範中的 Plane Strike 是 6x6 棋盤遊戲,AI 助理要找出藏起來的 8 格飛機。訓練 100 步後,在保留的棋盤測試中,勝率從 9.4% 提升到 95%,平均出手次數也從 22.44 次降到約 16 次。

    推薦理由:Plane Strike 的訓練過程呈現多輪工具呼叫如何配合環境回饋逐步修正策略,也提供勝率與出手次數的變化作為參考。

  8. llama.cpp Releases61

    llama.cpp b12543 加快 Apple Silicon 上的 CONV_2D 運算

    在 Apple Silicon 上執行卷積運算時,部分 GPU 運算單元可能閒置,讓某些工作跑得較慢。llama.cpp b12543 為支援 tensor API 的裝置加入新的 CONV_2D 核心,也調整工作切分方式,並改善資料位置計算;不支援 tensor API 的裝置仍使用原本的核心。發布資料列出 M5 Max 上多種輸入尺寸的測試結果,顯示部分測試的每次運算時間縮短。對超過 4 GiB 的影像資料則會改用通用核心。

    推薦理由:llama.cpp 這次更新針對 Metal 上的 CONV_2D 卷積運算調整核心與工作切分方式,並提供 M5 Max 多種輸入尺寸的耗時比較,可用來瞭解效能變化。

11月19日週四
  1. Vercel Blog72

    Google 推出 Gemini 4 Neon,並開放在 Vercel AI Gateway 使用

    寫程式或處理多步驟工作時,模型要回得快,也得能看懂不同種類的資料。Vercel 宣佈 Gemini 4 Neon 已可透過 AI Gateway 使用;官方說它比先前較輕量的 Gemini 4 升級,回應更快,輸出品質接近 Google 較大型的 Gemini 4 模型。它能讀取文字、圖片、影片和檔案,並支援工具呼叫、結構化輸出、Google 搜尋與 Google 地圖資料,以及四種推理等級。

    推薦理由:Gemini 4 Neon 主打較快回應與接近大型 Gemini 4 模型的輸出品質,也支援多種輸入和工具呼叫,適合瞭解它能處理哪些工作。

  2. Artificial Analysis70

    挑 AI 模型時,分數、花費和完成工作所需的時間常要一起考量。Artificial Analysis 測試 Google 的 Gemini 4 Neon,發現它在 Intelligence Index 得 61 分,比 Gemini 4 Carbon 高 1 分;每項任務花費 $6.44,約低 17%,平均約 21 分鐘,比 Carbon 的約 36 分鐘快。報告也指出,Neon 每項任務用的輸出 token 更多,較低花費來自 token 價格較低,較快則和輸出速度較高有關。用 Antigravity CLI 測試寫程式的 AI 助理時,Neon 的分數也高於 Carbon,成本低於報告列出的 Claude Opus 5.5 和 Claude Fable 5.2。

    推薦理由:這份評測比較 Gemini 4 Neon 與 Carbon 的任務成本和完成時間,也拆出價格與輸出速度對差異的影響,方便衡量效能和花費。

  3. Hugging Face Blog61

    RadixArk 發布 DaisyRose-27B,Terminal-Bench 4.1 成績提升

    訓練 AI 助理處理需要長時間、多步驟完成的工作,往往要準備大量任務,也得投入不少 GPU 資源。RadixArk 發布首款模型 DaisyRose-27B,以 Qwen3.8-27B 為基礎,使用 1,200 項整理過的任務進行強化學習訓練。和原始模型相比,它在文中列出的各項基準都拿到較高分;Terminal-Bench 4.1 的 pass@1 從 5.6% 提升到 12.0%。RadixArk 也表示,自家訓練後端比可比的開源訓練器少用 57% GPU 時間。

    推薦理由:DaisyRose-27B 與 Qwen3.8-27B 的多項基準成績可供對照,其中 Terminal-Bench 4.1 的 pass@1 從 5.6% 提升到 12.0%。

  4. Hugging Face Blog78

    作者用 Transformers 在 32 GB Mac 上執行 180B MoE 模型

    大型 MoE 模型的專家權重很佔空間,往往放不進一般筆電的記憶體。作者替 Transformers 加上串流載入方式,只從 SSD 讀取模型當下挑中的專家,並用有限大小的快取保留常用部分;其他權重和 n-gram 資料也分別處理,讓 Qwen3.8-Flash-Next 能在 32 GB 的 Mac 上執行。經過調整後,短文字生成速度是每秒 13.9 個 token,和 Strata 的每秒 14.8 個接近。作者也指出,剩下的速度差距主要和 Python 與 GPU 之間的等待有關。

    推薦理由:作者比較多種 MoE 推論引擎,並實測如何只載入當下用到的專家,讓大型模型在 32 GB Mac 上運作。

11月18日週三
  1. vLLM Official Blog75

    vLLM 如何用 FlyDSL MonoKernels 降低 AMD GPU 上 AI 助理的回應延遲

    AI 助理每次要產生回覆時,常得依序啟動許多 GPU 工作;工作量小時,等待工作開始和結束也會拖慢回覆。vLLM 的 FlyDSL MonoKernels 把互相依賴的工作排進較少的 GPU 執行流程,讓部分工作可以接續進行,也能提早讀取後續需要的資料。文章列出多款模型在 AMD Instinct GPU 上的測試,並發量為 1 時,回應速度或每個輸出 token 的時間改善約 1.20× 到 2.26×。這項功能需自行開啟,適用範圍依模型、GPU 和工作量而定;並發量提高時,改善幅度通常會縮小。

    推薦理由:文章比較多款模型在不同 AMD Instinct GPU 與並發量下的測試結果,也說明低並發時的延遲改善和步幅限制。

  2. OpenBMB44

    混合架構會同時使用迴圈層和 softmax 注意力層來學習,但兩者可能在學同一種能力時互相搶走學習訊號。清華大學的新論文提出 BLD:預訓練一開始先凍結迴圈區塊,約用掉前 10% 的 token 後再解凍,讓兩種層一起訓練。測試六種 KDA 混合架構、規模從 180M 到 1B,BLD 讓長文測試 RULER 和回憶能力都變好;在 1B 模型上,RULER 從 32.75 升到 36.04,回憶分數從 36.50 升到 38.14,LongPPL 從 7.69 降到 6.50。架構、資料和 token 總量都相同,結果顯示誰先學,會影響模型記住長篇內容的能力。

  3. a16z49

    AI 助理現在已能像研究實習生一樣,照著人指定的方式執行實驗、跑程式並整理結果;Mark Chen 說,這類工作通常範圍明確,不是叫 AI 自己想研究方向。John Schulman 分享,他讓 Fable 花幾天嘗試研究點子,確實能做出一些合理實驗,也提出有趣想法,但最後可能沒完成原本的任務。人類研究者能一邊動手寫程式、一邊累積理解,提出 AI 沒想到的問題,並把研究帶往不同方向。因此,AI 已能幫忙做部分研究工作,但仍需要人判斷目標並引導過程。

  4. a16z39

    研究品味,是看出哪些點子長遠來說重要、能被其他想法接著使用,最後也可能超越最初發表的論文。John Schulman 認為,研究直覺來自親自做研究,也要大量閱讀過去的成果,從中吸收經驗。Mark Chen 則說,現在的模型還不太會想出好點子,反而更擅長調整超引數等細節。未來公司可能用人類回饋強化學習,請研究人員評分哪些想法好、哪些不好,讓模型從中學習。這很重要,因為做研究不只要把引數調好,還得知道哪些問題值得花時間。

  5. OpenAI News73

    OpenAI 更新 Astra for Law,提升法律研究與檔案撰寫表現

    法律工作需要查詢判例、整理資料並寫出有根據的答案,引用錯誤可能造成嚴重影響。OpenAI 更新了 Astra for Law,將 GPT‑6.2 Astra 搭配更大的法律搜尋資料庫與法律研究指引,協助模型查法規、衡量不同依據並撰寫答案。在一項測試中,它有 20.8% 的作業拿到滿分;在另一項法律研究測試中,滿分比例從約 46% 升到 53.8%。搜尋資料庫也增加超過 80 million 個網址。ChatGPT Enterprise 客戶現在可申請使用,也可申請 API 存取權。

    推薦理由:原文比較 Astra for Law 在多項法律測試中的表現,也說明法律搜尋資料庫擴充後,研究答案的完整得分比例有所提升。

  6. AWS Machine Learning Blog63

    AWS SageMaker JumpStart 開放部署 OpenTSLM 時間序列模型

    只看大量裝置數字,很難及早看出問題從哪裡來。OpenTSLM 能把 CPU 使用量、磁碟空間等數值,和維修紀錄或文字說明放在一起分析,再整理可能的狀況、建議檢查方式和預期結果。文中以 Nexthink 的 IT 支援為例,Spark 會先確認磁碟空間是否不足,經員工同意後才進行清理,並確認問題是否改善。AWS 也示範如何在 SageMaker JumpStart 部署模型,以及用 ARFBench 資料微調;這提供了把時間序列資料接進實際工作流程的做法。

    推薦理由:OpenTSLM把數值變化和文字背景放在一起分析,文中也示範如何部署與微調,呈現從資料到實際 IT 支援的做法。

  7. Artificial Analysis83

    OpenAI 發布 GPT-6.2 Astra 和 GPT-6.2 Sol。Artificial Analysis 的評測顯示,Astra 在 Intelligence Index 排名第二,僅次於 Claude Fable 5.2;Sol 得分 57,和 GPT-6 Astra 相當,完成任務的成本約為其 15%。Astra 的價格是每百萬輸入與輸出 token $8/$40,比 GPT-6 Astra 低 20%,快取輸入則從 $1.00 降到 $0.40;Sol 的價格維持每百萬輸入與輸出 token $2/$10。兩款模型在科學、3D 和機器人評測表現突出,但編碼助理評分沒有提升:Astra 持平,Sol 比前代低 3 分。

    推薦理由:GPT-6.2 Astra 與 Sol 在多項評測的名次和價格效率各有表現,也出現編碼評分停滯或下滑,便於比較不同用途的取捨。

  8. a16z38

    AI 已經能幫研究人員更快做實驗、寫程式和測試想法,但它離自己規劃並完成研究還有多遠?a16z 的節目邀請 OpenAI 的 Mark Chen,以及 Thinking Machines Lab 的共同創辦人 John Schulman,討論「遞迴式自我改進」:AI 能不能研究如何讓自己變得更好,再用新方法繼續改進。他們也談到研究直覺為何難教,以及 AI 為什麼可能成為協助解決 AI 對齊問題的重要工具。

  9. vLLM58

    AI 模型在長對話中會用掉大量記憶體,草稿模型也需要推論系統配合才能投入實際使用。vLLM 團隊公佈為 Kimi K3.1 Pro 設計的 DSpark,這項工作由 Inferact 與 Red Hat Speculators 團隊共同開發。每個草稿層都使用 2K 的滑動視窗,讓草稿 KV 記憶體用量維持在固定範圍,即使上下文長達 1M tokens 也一樣。HumanEval 測試中,DSpark 的接受長度比預覽版提高最多 30%;vLLM 重新設計的 KV 管理也支援分離式推論與不同的平行配置。

  10. LMSYS Org Blog76

    SGLang Summit 發表 SGLang v1.0 與 Miles v0.2,擴大推論和訓練支援

    AI 模型越來越大,AI 助理也會累積大量工作紀錄,讓推論和訓練更難在不同硬體上順利進行。SGLang Summit 發表 SGLang v1.0,聚焦提升正式環境的效率與擴充能力;Miles v0.2 則支援 NVIDIA 和 AMD GPU、Google TPU,並將強化學習擴充套件到圖片、影片和音訊。大會也分享多個部署案例,例如 Meta 表示,改用 SGLang 後 GPU 用量減少超過 2 倍。這些更新與案例呈現了團隊如何把實際部署需求帶回開源工具的開發中。

    推薦理由:SGLang 與 Miles 的更新涵蓋推論和強化學習,也整理了不同硬體與實際部署的經驗,可看出開源工具如何回應現場需求。

  11. NVIDIA Newsroom Press Releases79

    NVIDIA 推出 Nemotron for Science,讓 AI 助理協助規劃科學實驗

    研究人員要做科學實驗,得安排模擬、執行程式,再確認結果,過程常需要反覆操作。NVIDIA 推出 Nemotron for Science,結合 Nemotron 3.5 Super VL、化學資料集和生命科學與化學的訓練方法,研究人員可在自己的 DGX Spark、工作站或超級電腦上執行。在 Argonne National Laboratory,一個用這套工具打造的 AI 助理從一句提示詞開始,規劃並測試假設、挑選模擬,找出兩個新的結合位點。這讓研究人員能在自己的系統上使用模型與資料來協助研究。

    推薦理由:Nemotron for Science 可在研究者自己的系統上運作,並結合實驗規劃與模擬,文中案例呈現 AI 助理協助科學研究的方式。

11月17日週二
  1. vLLM54

    在本機部署大型模型時,如何讓模型留在 GPU 記憶體裡,並用多張 GPU 提供服務,是這份指南處理的重點。NVIDIA 製作了影片示範和部署指南,介紹如何透過 vLLM 在兩臺 DGX Station 上執行 GLM-5.3 NVFP4:模型權重放在 GPU 記憶體中,由兩張 GB300 GPU 分擔運算,再透過相容 OpenAI 的單一 API 提供服務。設定也啟用了 MTP 推測解碼、FP8 KV cache 和字首快取。