SpecOPD 如何用平行分支加快文字生成
AI 生成文字時,常要先猜接下來的內容,再由大型模型檢查;一次能接受的猜測有限,還得按順序訓練,因此會拖慢速度。SpecOPD 把訓練拆成多個平行分支,讓它們同時進行。作者表示,這種做法最多能讓模型一次接受的猜測增加 41.45%,生成速度最高提升 3.56 倍;測試中,Qwen3.8‑27B 也達到 3.56 倍加速。不過,評估只使用一種硬體設定,程式也尚未公開,因此換到其他裝置能否得到相同速度,還需要確認。
AI 生成文字時,常要先猜接下來的內容,再由大型模型檢查;一次能接受的猜測有限,還得按順序訓練,因此會拖慢速度。SpecOPD 把訓練拆成多個平行分支,讓它們同時進行。作者表示,這種做法最多能讓模型一次接受的猜測增加 41.45%,生成速度最高提升 3.56 倍;測試中,Qwen3.8‑27B 也達到 3.56 倍加速。不過,評估只使用一種硬體設定,程式也尚未公開,因此換到其他裝置能否得到相同速度,還需要確認。
正式環境的 LLM API 費用會隨使用量增加;若每個請求都交給最貴的模型,簡單工作也得付高價。作者整理三種分流方法:已知工作型別時直接指定模型;用語意比對或分類模型判斷該用哪個模型;先讓便宜模型回答,答得不夠好再升級。文章以每天 100,000 個問題的案例試算,將一半問題交給較便宜的模型後,每月費用約從 $14,850 降到 $8,151.65。作者也提醒,應先用測試題和部分流量比較回答品質,避免省下費用卻讓答案變差。
模型檔案大小小於顯示卡記憶體,不代表執行時一定放得下;對話越長,模型用來記住前文的 KV 快取也會佔用更多記憶體。作者用 Qwen2.5-Coder-32B 說明,權重之外還要替快取、運算和執行環境留空間,並教人用 ollama ps 和 nvidia-smi 檢查顯示卡是否把部分工作交給 CPU。調低 KV 快取精度、縮短上下文,或限制同時處理的請求,都可能減少記憶體用量;文中也提醒,實際結果會受執行環境和硬體影響,調整後應再檢查記憶體與速度。
要讓模型學會偏好的回答,DPO 和 RLHF 都會用到人工或模型標記的偏好資料,但後續訓練方式不同。DPO 直接用這些資料訓練;RLHF 還會訓練獎勵模型,再用 PPO 反覆產生回答並調整模型,因此需要更多 GPU 時間和工程調整。文中整理的研究顯示,PPO 在數學和程式任務上有時能帶來較好結果,但不同研究的花費差距很大。作者建議先試 DPO;如果模型需要探索資料裡沒有的答案,再考慮 PPO,也提醒偏好資料品質可能比更換訓練方法更重要。
模型引數多,不一定寫字比較慢;作者在同一臺 Surface Laptop Ultra 上,用同一版 llama.cpp 和相同指令測了 8 款本機大型語言模型。結果中,117B 的 gpt-oss-120B 每秒生成 64.2 個 token,比 27B 的 Qwen3.8-27B 快約 3.9 倍;整體速度較接近每次生成 token 時實際啟用的引數量,但各模型使用的量化方式不同,不能把速度差全歸因於這一點。作者也讓模型修正設定檔裡一個字元打錯的問題,最快的 Flint 花了 12 個步驟仍沒修好,8 款中有 6 款完成。這些結果反映的是單臺電腦上的測試,不能直接代表其他裝置或所有工作。
推薦理由:這次發布交代了 4-bit 訓練節省的時間與效率代價,也比較 NVFP4 和 MXFP8 的記憶體需求及評測差距。
研究和工程工作常要查大量資料、測試不同做法,還得確認每一步都正確。Google 開放 Antigravity 的 /teamwork,讓多個 AI 助理分工處理長時間任務,再用 Lean 4、測試套件或硬體計時等方式檢查結果。Google 展示了它在數學證明、分子結構推斷和程式最佳化上的成果,例如一項分子結構基準測試達到 95% 的 top-1 精確匹配。研究者和開發者可透過 Antigravity 使用這些工具;Google 也開放申請,讓 10,000 名學術研究者免費使用最高用量級距六個月。
推薦理由:Google 展示 /teamwork 在數學證明、分子結構推斷與程式最佳化的實例,並說明如何用獨立檢查流程驗證成果。
研究和工程工作常要處理大量資料、反覆試錯,還得確認每一步都正確。Google 在 Antigravity 開放 /teamwork 和 /boost,讓多個 AI 助理分工探索,再用 Lean 4、軟體測試或硬體量測檢查結果。Google 分享的案例包括協助研究者完成數學證明、找出分子結構,以及改寫系統程式;研究者仍負責提出問題和確認成果。學術研究者也可申請六個月免費使用最高用量方案。
推薦理由:Google展示 /teamwork 如何把長時間研究拆成多個可檢查的步驟,並用形式驗證、測試與硬體量測篩選結果,呈現多 AI 助理協作的實際做法。
AI 已能解出一些過去很難的數學問題,這讓作者重新思考 AI 何時能做好 AI 研究。他認為,許多研究工作可以透過實驗結果檢查,AI 助理便能反覆嘗試不同方法,也能把大量工作分給許多 AI 助理並行處理。作者估計,AI 助理可能在 2028 年媲美最頂尖的 AI 研究員;自動化研究或讓 AI 進步大幅加快。不過,持續學習、實驗所需的算力,以及研究想法越來越難找,都可能拖慢這個過程。
推薦理由:作者以數學研究的可驗證進展作為參照,推演 AI 研究自動化可能如何加快模型進步,也列出持續學習與實驗算力等限制。
OpenAI 把獨立的機器人研究團隊拆分,研究人員改加入通用研究與應用團隊。公司表示,這是為了加快打造通用機器人,因為 GPT-6 Astra 等通用模型已能直接用於部分機器人任務。研究人員也測試過讓 Astra 操控模擬機器人,在一項模擬操作測試中成功率為 74.8%;這不是實體機器人的測試結果。報導也提到,通用模型需要雲端連線,反應速度較慢,因此能在機器人本機運作的小型專用模型仍有用途;機器人在工廠等現場累積的經驗,也能幫助它適應特定工作。
推薦理由:OpenAI 將機器人研究人員併入通用 AI 團隊,反映公司押注通用模型能直接控制機器人,也呈現專用模型與現場經驗的不同價值。
在單張 RTX 4090 上跑 Qwen,速度和答案是否一致都需要確認。作者推出 Lightreason,附上本機推論工具和互動介面,可用同一個提示詞比較標準版與加速版的速度和完整輸出。文中測試 Qwen2.5-3B-Instruct 和 Qwen3.6-35B-A3B,列出不同設定下的速度與答案比對結果;例如 3B 測試在六個提示詞上的速度從每秒 63.0 個 token 提升到 139.6 個,並符合 30 次 Hugging Face 測速結果。專案提供原始碼和重現資料,模型權重需另外下載。
llama.cpp 的 p_min 設定會丟掉信心分數太低的草稿 token,但這些 token 有時仍可能被正式模型接受。這次更新保留原本的篩選方式,並在同時使用 --spec-draft-p-min 和機率式草稿取樣時顯示提醒,建議把 p_min 設為 0。這項提醒只會出現在有使用 p_min 的草稿方式;n-gram 草稿不使用它,DSpark 則把它拿來設定信心門檻。
讓機器人把方塊推到遠處目標時,JEPA 世界模型一次規劃太多步,成功率會下降。作者在 Push-T 模擬環境中跑了 600 次實驗,發現把長任務拆成每段 25 步的短任務,並從過去示範中找子目標,可把成功率從 22% 提高到 85%。作者也用旋轉、鏡射等方式補上示範資料的空缺,讓較難目標的成功率從 45% 提高到 56%。另一項測試發現,目標圖片若連推桿位置也一起計分,可能讓機器人把方塊推離目標;只比對方塊位置時,50 個任務中有 39 個成功。這些改動不必重新訓練模型,但模型仍不擅長替沒有示範過的目標安排子目標。
分類工具常要在幾個選項中判斷答案,卻不一定能指出文字裡的依據。Perplexity 發布 Decider v1.3 和較小的 Flash 版,模型會替每個選項給出機率,也能回答文字或圖片相關問題;新增的 Locate 則可從文字中找出指定內容,並標出起訖位置,適用於辨認人名、個人資料或回答文字擷取問題。Perplexity 自行公佈的評測中,v1.3 在 63 項查詢分類任務的平均準確率為 91.6%,Locate 平均分數為 69.0。兩款模型也能透過 API 使用,輸入價格分別為每 1M tokens $0.02 和 $0.01。
Gödel 留下大量難讀的數學手稿,研究者原本每週只能看懂約一頁。研究者 Jan von Plato 把手稿的轉錄內容和相關書籍交給 Claude,幾天內就得到一份整理,並找到 663 個定理、證明草稿或證明構想。這些結果再交給 Coq 檢查,約 400 個按原樣成立,約 200 個經修正後成立,約 50 個則是錯的。研究者認為手稿還藏有未深入研究的數學想法;不過,專家提醒,即使手稿和後來的證明相似,也不能只憑這點認定 Gödel 已完成該成果,AI 和作者各自的貢獻仍需分清楚。
推薦理由:Claude 協助整理上千頁手稿,並把找到的定理交由 Coq 檢查,呈現 AI 如何幫研究者串起大量資料,也保留了歷史歸功上的爭議。
有時候,人問的問題不是解決麻煩的好方法,例如蛋糕還太熱,卻一直想找讓糖霜黏住的方法。Hugging Face 與研究人員推出 XYBench,收錄 8,115 個程式和日常生活問題,用來測試 AI 助理能不能看出使用者真正想達成的目標,並把回答帶向更合適的解法。測試發現,受測模型常會回答使用者原本問的方法,較少把真正的目標放在回答重點;即使模型在選擇題中能挑出較好的建議,也不一定會在自己回答時這麼做。這項基準目前以英文和程式性問題為主。
推薦理由:XYBench 比較模型回答字面問題與真正目標的差異,也呈現模型辨認出好建議後,仍未必能在作答時優先採用。
AI 模型回應變快,不代表完成工作就更省錢。Google 表示,Gemini 4 Hydrogen 在預設推理設定下,完成任務比 Gemini 3.8 Flash 快 2.5 倍;每百萬個輸入 token 收 $1.50、輸出 token 收 $7.50。不過,評測結果並不一致:Plotly 說它在 43 題資料分析測驗拿下滿分,GPT-6.1 Sol 也得到同樣分數,而且成本低得多;InVideo Labs 則指出,Hydrogen 在部分測試落後 Claude Sonnet 5.5,高思考模式也可能產生更多 token。文章認為,企業應一起衡量完成時間、用量、品質和每項成功工作的成本,才能判斷速度是否划算。
Google 推出 Gemini 4 Hydrogen,讓所有人都能在 Google 搜尋的 AI Mode 使用,也會逐步加入 Gemini app。Google 表示,這款模型著重快速處理各種日常工作,在 Gemini app 中更能照著使用者的指示操作、選用合適工具,減少來回修正;它有四種思考層級,預設為 high。在搜尋中,它也能處理較複雜的問題、提供更多影像內容和相關來源連結。Google Sheets 與 Google Antigravity 的訂閱使用者也能使用;Google 另表示,模型加強了對化學、生物、放射性與核能,以及網路安全濫用的防護。
推薦理由:Hydrogen 同時進入 Gemini app 與 Google 搜尋,並提供四種思考層級;文章也整理了它在日常任務、搜尋回答和安全防護上的用途。
把新模型搬到不同硬體上,常要花不少時間處理相容問題。AMD 團隊用 HRX Loom 搭配 AI 助理工作流程,在 3 到 4 天內將 Hugging Face 上的 50 個模型移植到 AMD 使用者端 GPU,涵蓋 18 種架構。測試中,32K token 提示詞處理速度比 Llama.cpp 的 ROCm 後端快 1.5 到 2.1 倍,比 Vulkan 後端快 1.9 倍。HRX Loom 目前仍是實驗性專案,也支援 CPU 和 NPU 執行。
多個 AI 助理一起討論,不一定能讓答案更好;它們可能花更多時間和 token,最後跟著聽起來最有把握的說法走。作者整理多項研究與實作經驗,指出辯論較適合檢查答案、找出錯誤,不適合直接產生答案;若要分配工作,可以讓助理依能力和成本競標,但出價是否誠實仍是問題。實務上,任務需要驗證時才用有不同工具或證據的批評者,並限制討論輪數;需要分工時再考慮競標,簡單工作則交給單一助理即可。
韓國若要用自己的晶片和模型提供 AI 服務,還得決定資料中心採用哪種機櫃與連線規格。Rebellions 計畫讓下一代 R200 NPU 接上 NVIDIA 的 NVLink Fusion,並採用 MGX 機櫃架構;SK Telecom 計畫把這些系統部署在自家 AI 資料中心,韓國科學技術情報通訊部也支援這項合作。三方計畫讓 NVIDIA GPU 負責處理提示詞,Rebellions NPU 負責逐步產生回答,讓不同階段交給不同晶片處理。R200 系統預計 2028 年可部署;文章也提醒,韓國雖能掌握晶片、模型和機房,仍會依賴 NVIDIA 的連線技術與機櫃規格。
大型語言模型一次只產生一個 token,每一步都要等模型讀取資料,因此生成文字可能很慢。推測解碼會先讓較快的方法猜幾個 token,再由大型模型一次檢查;猜對的部分可以省下生成步驟,猜錯時則由大型模型接手,輸出內容不變。Medusa 用額外的解碼頭提出多個候選,EAGLE-3 則用目標模型不同層的特徵來預測。測試結果會因模型和工作內容而不同:有些測試明顯加快,有些甚至比不使用推測解碼更慢,因此選設定前要用自己的工作負載測量接受率和整體速度。
llama.cpp 在 Arm 伺服器上處理部分低位元模型的提示,比 x86 慢不少;原因是某些格式沒有專用的 Arm 核心。作者替 llama.cpp v0.9.0 加上使用 NEON 指令的核心,並在三代 Arm 伺服器晶片上測試:Qwen2.5 1.5B 的 IQ3_M 格式,提示處理速度最高提升 6.5 倍。已經有 Arm 核心的格式幾乎沒有變快,生成速度也不變。測試只涵蓋一款小型模型、4 個執行緒和 512 個 token 的提示,沒有測試手機;這項改動也尚未提交給 llama.cpp。
企業挑選 AI 助理時,不能只看每個 token 的價格,還得算上任務做不完時的重試和人工檢查。Google 將 Gemini 4 Carbon 提供給多種服務使用,API 入門價格是每百萬個輸入 token $2、輸出 token $10,並可調整推理程度,在品質、速度和費用間取捨。Zapier 的測試中,Carbon 在 657 項模擬商務工作中完成了 53.9%,每項任務估計花費 $2.12;Gemini 4 Argon 的完成率是 51.3%。Anthropic 則表示,Claude Fable 5.2 在多項程式開發和科學基準測試勝過 Carbon。文章提醒,測試結果會因任務而異,企業仍須用自己的資料和工具評估完成工作的總成本。
推薦理由:這篇比較 Gemini 4 Carbon 的任務完成率與每項成本,也指出重試和人工檢查會改變實際花費,提供評估企業工作流程的成本角度。
AI 助理不一定要換一個新模型,才有辦法做得更好;它也可以記住有用的教訓,或修改周邊的指令和工具,讓下次做事更順手。不過,改了不一定會進步,所以得先確認新做法真的有用,而且沒有把原本做對的事情弄錯。 例如,幫一群人安排晚餐時,AI 助理要顧到每個人的預算、飲食需求和時間。若有人只能花 $25,餐點卻要 $28,安排就不合格。AI 助理可以從常犯的錯誤中找原因、試著修改做法,再用新的例子檢查結果;有些修改也可以先交給工程師確認。這樣才能知道它學到了什麼,也能確認新方法遇到不同情況時仍然管用。
大型模型的計算圖很大時,ONNX Runtime 建立工作階段可能要等很久。1.32.0 改善了記憶體安排和計算圖整理方式,讓一個有 10 萬個節點、內容以常數為主的模型,啟動時間從超過 10 分鐘縮短到約 5 秒。新版也能把量化 MoE 模型的工作分配給 CPU 和 GPU,並加入 ONNX opset 28 支援。使用者升級時要留意,舊的 ACL 執行提供者已移除;CUDA 和 WebGPU 外掛也要搭配相符版本,以免運作錯誤或當機。
推薦理由:新版把大型計算圖的啟動時間從超過 10 分鐘降到約 5 秒,也加入 CPU 與 GPU 混合處理量化 MoE 模型的功能,能看出它在大型模型部署上的改進。
模型讀得懂長篇輸入裡的重點,卻不會把其中一串文字原樣抄出來;一般注意力做得到,但會把每個字都記在記憶體裡。作者替固定大小的波形記憶體加上名為 Echo 的讀取方法:它會搜尋每個可能的位置,找出符合線索的內容,再把那段內容讀回來。測試時,模型要從一長串文字中找出 6 到 12 個隨機字母並照抄;加入 Echo 後,抄寫表現明顯改善,採用 FFT 排列時,錯誤程度降到 0.0049。這種記憶體仍有容量上限,字串太長就記不下,但在容量範圍內,它有機會讓記憶體有限的裝置也能搜尋和複製文字。
AI 助理收到請求後,常得先判斷要不要查資料、轉給真人,或產生文字回覆;如果只需要在幾個固定選項中挑一個,先生成文字再解析可能增加延遲,也會讓流程更脆弱。文章說明 Google 的 Gemini Decisions API 和 Perplexity 的 Decider v1.3,並示範先判斷、再視結果呼叫生成模型。信心高不代表答案一定適合直接採用,固定選項也可能沒有一個符合情況,因此作者建議用有標記的實際資料調整門檻,並安排低信心案件交由真人處理。Gemini 提供代管 API;Decider 可自行部署,但需要準備 CUDA GPU 與維運資源。
推薦理由:文章比較 Gemini Decisions API 與 Decider v1.3 的決策方式和部署取捨,也說明如何用自家標註資料調整門檻,降低誤分流帶來的重工。
想讓模型回答原本會拒絕的問題,可以用不同方法降低拒答,但這也可能影響模型能力和安全性。作者比較了直接修改模型、用資料重新微調,以及透過提示詞設定規則三種做法,並整理各自的顯示卡記憶體需求與測試結果。例如,文章列出的 Qwen3.8-27B 修改版在 MMLU 測試中比原版低 2.12 個百分點;另有測試顯示,修改後的模型更常產生攻擊內容。文章也提醒,模型可能帶有惡意程式,工具呼叫或長對話中的表現也可能出問題,因此部署前要用實際工作內容檢查拒答、工具格式和回答差異。
換成 Gemini 4 Hydrogen 後,任務成本和完成時間可能降低,但預設思考等級提高,API 支援也有差異,直接換模型名稱可能讓程式出問題。作者用 Artificial Analysis 的資料比較兩款模型:在 high 設定下,Hydrogen 每項任務成本是 $1.87,Gemini 3.8 Flash 是 $7.77;完成時間分別是 8.3 分鐘和 14.7 分鐘。不過這不是作者親自跑出的測試,數字採用標準牌價,也不是 AIHubMix 的實際帳單。文章提醒,AIHubMix 目前只記載支援 Chat Completions,長輸出、思考等級設定和其他連線方式都還沒確認,遷移前應先用自己的請求測試。
推薦理由:文章以同一項任務的成本與完成時間比較兩款模型,也整理 API 支援差異與尚未實測的部分,能幫助評估升級和遷移風險。
挑 Gemini 4 模型時,分數較高的選擇可能更貴、也要等更久,而且換模型名稱不一定能沿用原本的工具設定。這篇文章整理 Gemini 4 Carbon、Hydrogen 和 Argon 的基準分數、每項任務費用與耗時:例如 Hydrogen high 的分數是 51,每項任務 $1.87,平均耗時 8.3 分鐘;Carbon high 分數是 60,費用 $5.48,平均耗時 28.1 分鐘。三款模型都支援文字、圖片、音訊、影片和 PDF 輸入,但 AIHubMix 對 Hydrogen 只列出 Chat Completions 協定;Carbon 和 Argon 還列出 Responses、Anthropic Messages 和原生 Gemini。文章也提醒,Carbon 和 Argon 的 token 價格從 2026-12-01 起加倍,基準數字則來自單次快照,選擇前要確認自己的工作流程和價格需求。
LoopVQ 將迴圈式 Transformer 的 KV cache 壓縮至每個元素低於 1 bit,並整合至 SGLang serving stack;無須重新訓練模型,即可降低長上下文解碼延遲並提升服務吞吐量。 效能:在 0.5 bits per element 下,長上下文解碼延遲減半;在 32K tokens 時,延遲約為 BF16 的一半。相較 BF16 基準,1.4B 與 2.6B Ouro 模型的尖峰服務吞吐量最高分別提升 4.3 倍與 6.1 倍;常見 batch size 下,整體每秒請求量約提升 2 倍。 品質與適用範圍:作者表示,推理與檢索效能損失極小,在 chain-of-thought 基準上可達到全精度結果。評估主要使用 Ouro 與 Huginn 模型;套用至其他架構可能需要專屬校準。0.25-bit 設定需搭配 TaSQ,才能保留「大部分」BF16 準確度。
Thinking Machines 的多模態推理模型 Inkling 2 Small 已在 Vercel AI Gateway 上提供,可用於程式開發AI 助理、視覺理解與專業知識工作。 輸入與輸出:支援文字和影像輸入,並產生文字輸出;可處理較長的程式開發任務、使用工具蒐集資訊,再整理成檔案、試算表等成果。 視覺能力:可讀取影像中的文字、解讀圖表與資訊圖表、檢視介面;在視覺開發流程中,能根據截圖檢查程式碼產出並引導後續修改。 接入方式:模型名稱為 thinkingmachines/inkling-2-small。安裝最新版 Vercel CLI 並執行設定後,可在 Claude Code、Codex、Cursor 等程式開發AI 助理中選取該模型;詳情見 coding agents guide,也可在 model playground 試用。 AI Gateway 服務:提供統一 API、用量與成本追蹤、重試與故障轉移設定及效能最佳化;另有自訂報表、Zero Data Retention 支援、API 金鑰預算和路由規則。 費用:AI Gateway 依照供應商定價,不加價;推論不收平臺費,包含 Bring Your Own Key(BYOK)請求。