跳到正文

#推理

RSS
今日 9 則
11月19日週四
  1. The Decoder84

    Google DeepMind 推出 Gemini 4 Neon,速度更快、定價更低

    Google DeepMind 推出 Gemini 4 Neon,作為 Gemini 4 Carbon 之外的新選擇。Neon 的文字、圖片、音訊和影片上下文視窗可容納一百萬個 token,生成速度接近 Carbon 的兩倍,標準定價也低 25%。不過,Neon 每項任務會多用約 15% 的輸出 token,因此省下的費用來自每 token 單價較低。報導也整理了它在程式開發、檔案和簡報測試中的表現;不同測試與推理設定下的結果並不相同。

    推薦理由:Neon 與 Carbon 的比較涵蓋速度、價格和多項測試,也指出省錢來自較低的每 token 定價,而非較少的輸出 token。

  2. Tom’s Hardware AI & Computing76

    三張二手 Nvidia V100 跑 Qwen 3.6 35B,長上下文仍有每秒 72.7 個 token

    想在家用電腦跑大型語言模型,買新顯示卡可能很花錢。這篇評測用三張二手 Nvidia V100 組成總價 $1,042 的主機,測試 Qwen 3.6 35B;在 4K 上下文時,每秒約產生 100 個 token,到了 128K 仍有 72.7 個。作為比較,三張 P100 在相同條件下只有 40.2 個,V100 每次測試的 GPU 耗電也約是 P100 的一半。作者提醒,各臺裝置使用的執行工具不同,因此比較數字只能大致參考。

    推薦理由:這組測試比較不同退役 GPU 在長上下文下的速度與耗電,也列出自組成本,可用來評估舊卡能否應付本機模型推論。

  3. Dev.to Top Tech66

    如何調整 Claude Fable 5.2 的推理投入,降低 AI 工作成本

    使用 AI 服務時,換模型會影響帳單,模型思考多久也會。Atomic Agent 團隊用同一個程式修正任務比較 Opus 5.5 和 Fable 5.2,四種設定都通過 59 項測試,但每次花費從 $0.97 到 $7.70。Fable 5.2 從高推理投入改成中等後,成本少了 76%,完成時間也縮短 84%,結果相同。作者建議先挑一項固定工作,用不同設定各跑三次,再比較每次完成工作的費用;例行、容易檢查的工作可試著調低投入,困難或出錯代價高的工作則可能值得多花費用。

  4. ModelScope66

    AI 助理要長時間操作終端機完成工作,往往得面對複雜的程式開發與研究任務。RadixArk 以 Qwen3.8-27B 為基礎,用 1,200 項軟體工程、科學和機器學習任務進行強化學習後訓練。DaisyRose-27B 在 Terminal-Bench 4.1 的 Pass@1 從 5.6 提高到 12.0,也在其他終端機、程式開發、指令遵循和推理評測中優於基礎模型。它保留圖片理解能力與 256K-token 上下文視窗,並提供 BF16、FP8 和 NVFP4 三種權重版本。

    推薦理由:DaisyRose-27B 在多項終端機與程式開發評測中優於基礎模型,呈現強化學習後訓練對長時間任務的影響。

  5. Dev.to Top Tech77

    Gemini 4 Neon 開發者指南:怎麼看成本、上下文與推理

    選模型時,只看每次呼叫的價格,可能看不出完成一項工作的實際花費。Google 推出的 Gemini 4 Neon 可接收文字、圖片、音訊、影片和 PDF,並有四種思考等級;輸入、思考和輸出共用上下文視窗。文章建議用自己的任務測試不同等級,記下答案是否正確、重試花費和完成時間,再和目前使用的模型比較。Google 公佈的基準結果只反映特定測試環境,作者提醒,工具、指令和測試方式也會影響結果。

    推薦理由:文章把 Gemini 4 Neon 的單次呼叫費用和完成任務的總成本分開比較,並整理出用自家工作測試模型的做法。

  6. Dev.to Top Tech77

    決策模型怎麼挑?這份指南比較 Jev、OpenAI、Google 等選項

    AI 助理常為了選工具、檢查指令或判斷工作是否完成,就呼叫大型語言模型,花時間等答案,再把文字轉回程式判斷。作者整理 Jev 推出後,多家公司的決策模型和開源專案怎麼做,並比較它們的價格、速度、輸入內容與能否自行執行。這類模型只從預先設定的選項中挑答案或給分,仍可能判斷錯誤;作者建議先拿真實案例測試,也和原本的模型及簡單基準比較,再決定哪些結果要交給大型模型或人確認。

    推薦理由:文章比較多種決策模型的速度、價格、輸入方式與開放程度,也整理了把它們接進 AI 助理流程時可先測試的做法。

  7. Dev.to Top Tech51

    RadixArk 發布 DaisyRose-27B,讓 Qwen3.8-27B 的程式測試分數翻倍

    訓練大型語言模型常要花很多資源,RadixArk 改用免費的 Qwen3.8-27B 做進一步訓練,推出 DaisyRose-27B。團隊花 18 天,用 1,200 個挑選過的任務訓練模型;在 Terminal-Bench 4.1 的測試中,通過率從 5.6% 升到 12.0%。RadixArk 表示,模型在它測試的其他基準也都勝過原版 Qwen。DaisyRose-27B 可免費使用和修改,不過 12.0% 代表它仍會失敗大多數測試任務,而且這些結果來自 RadixArk 自行測試。

  8. Simon Willison58

    Google 推出 Gemini 4 Neon,價格與其他版本的排序會改變

    Google 推出 Gemini 4 Neon,但 Gemini 4 系列的價格因折扣而不容易比較。目前 Neon 每百萬個輸入 token 收 $3、輸出 token 收 $15;Carbon 折扣期間是 $2 和 $10,Hydrogen 則是 $1.50 和 $7.50。Carbon 預計在 12 月 1 日恢復原價,屆時價格排序會改變。作者也用低、中、高三種推理設定比較 Neon 產生的鵜鶘圖片,並展示一段用 Neon 製作、讓 Yonkers 變成巨大機甲並在紐約市街道行走的動畫。

  9. Dev.to Top Tech67

    GPT-6.2 聊天教學:把時間和頁面資訊移出固定提示詞

    聊天時每回合更新日期或頁面資訊,可能讓 GPT-6.2 丟掉前面回合的推理內容。Cuelark 用 Vercel AI SDK 做了兩回合模擬測試,發現把這些會變動的資訊放在輸入開頭,會改變對話字首;改成固定系統提示詞,再把日期和頁面放進每回合的 instructions,模擬測試就保留了先前推理。作者沒有呼叫 OpenAI 的真實 API,因此這是依檔案製作的接線測試,正式上線前仍要用真實 API 確認。登入狀態改變或修改舊對話內容,也可能讓推理內容被移除。

  10. Dev.to Top Tech74

    Gemini 4 Neon 怎麼計價?常見請求要花多少錢

    使用 Gemini 4 Neon 時,輸出和模型思考所用的 token 都會計費,請求成本也會隨用量和服務級別改變。文章整理 Standard 每百萬個輸入 token 收 $3、輸出收 $15,並用程式碼審查等例子估算單次花費;Batch 和 Flex 的費率是 Standard 的一半。文中也比較思考層級的用量,指出 medium 的測試分數接近 high,但輸出 token 約少一半,提醒使用者可依任務需要衡量成本。

  11. BlockTempo 動區動趨72

    Google 推出 Gemini 4 Neon,Pro 訂閱者也能使用

    Google 推出 Gemini 4 Neon,讓 Pro 訂閱者也能使用中階模型;它在第三方綜合指數拿下 61 分,比旗艦 Carbon 的 60 分高 1 分。不過 Neon 的分數使用最高思考檔位,Carbon 則是較低檔位,不能直接看成 Neon 全面勝出。Google 公佈的 19 項測試中,Neon 有 16 項領先 Claude Opus 5.5 和 GPT-6.2 Sol,但這些是 Google 自己挑選與測試的結果,還沒有獨立測試;在三家共用的軟體工程測試環境中,Neon 的成績也和 Sol 接近。

  12. hackernews10058

    Gemini 4 Neon 速度更快,作者估算它可與 Opus 5.5 競爭

    Gemini 4 Carbon 在 Agent Duel 排行榜表現出色,但回答速度較慢;作者想知道,速度快很多的 Gemini 4 Neon 能不能追上 Opus 5.5。他把模型本身、回答速度和使用者是否提早投票放進排行榜分析,再用 Gemini 4 Carbon 的表現估算 Neon。依照 127 tokens per second 的速度推算,Neon 的 Elo 約為 1,066,略低於 Opus 5.5 的 1,078;作者估計 Neon 對上 Opus 的勝率是 48.3%,但結果仍有相當大的不確定範圍。

  13. Dev.to Top Tech79

    Gemini 4 Neon 評測:比較基準、API 費用與 AI 助理工作流程

    挑模型時,排行榜上的分數不一定能告訴你實際工作要花多少錢,工作流程工具也會影響結果。作者整理 Gemini 4 Neon、Carbon 和 Hydrogen 的價格與測試成績,並說明 Neon 的輸出費用包含思考用的 token,調高思考程度也會增加費用;Carbon 和 Argon 的優惠價格則會在 12 月 1 日結束。文章還比較同一模型在不同程式工作流程工具上的測試結果,指出分數差距可能很大,建議團隊用自己的工作流程和任務測試,再估算費用。

    推薦理由:文章比較 Gemini 4 Neon 與 Carbon 的費用和測試結果,也指出同一模型換了工作流程工具後,程式任務分數差異很大。

  14. BlockTempo 動區動趨53

    Coinbase Ventures 分析 AI 助理代理交易的四層技術與投資機會

    AI 助理開始能依照使用者設定的目標和風險限制,自行分析市場、決定持倉、下單並監看風險;Coinbase Ventures 把這種做法稱為「代理交易」。它以跨加密資產和半導體股票配置投資組合為例,說明代理如何依照回撤上限和每週再平衡要求執行策略。文章也把相關技術分成資料與模型、代理框架、交易執行、合規與紀錄四層。Coinbase Ventures 認為,單純代為下單的價值可能變低,長期機會在能累積專屬交易資料、形成決策閉環並取得使用者資產信任的團隊;交易代理也需要可查核的決策紀錄與合規措施。

  15. Vercel Blog72

    Google 推出 Gemini 4 Neon,並開放在 Vercel AI Gateway 使用

    寫程式或處理多步驟工作時,模型要回得快,也得能看懂不同種類的資料。Vercel 宣佈 Gemini 4 Neon 已可透過 AI Gateway 使用;官方說它比先前較輕量的 Gemini 4 升級,回應更快,輸出品質接近 Google 較大型的 Gemini 4 模型。它能讀取文字、圖片、影片和檔案,並支援工具呼叫、結構化輸出、Google 搜尋與 Google 地圖資料,以及四種推理等級。

    推薦理由:Gemini 4 Neon 主打較快回應與接近大型 Gemini 4 模型的輸出品質,也支援多種輸入和工具呼叫,適合瞭解它能處理哪些工作。

  16. hackernews10088

    Google 推出 Gemini 4 Neon,主打快速處理程式開發與分析工作

    處理大型程式專案、企業資料和科學問題時,工作常要分好幾步,也會用到不同工具。Google 推出 Gemini 4 Neon,主打更快完成這類工作,並可在單一上下文視窗中整理試算表、PDF、圖表、音訊和影片。Google 表示,它在多項程式、研究與資安測試中表現突出;高思考等級下,每項任務成本比 Gemini 4 Carbon 低 32%。Gemini API、Gemini app、Google Antigravity 等服務正陸續開放使用,資安版本則先提供給 Fairwind Program 的受信任防禦者。

    推薦理由:Gemini 4 Neon 在高思考等級下,官方稱每項任務成本比 Carbon 低 32%,可看出它如何在效能與成本間取捨。

  17. Artificial Analysis70

    挑 AI 模型時,分數、花費和完成工作所需的時間常要一起考量。Artificial Analysis 測試 Google 的 Gemini 4 Neon,發現它在 Intelligence Index 得 61 分,比 Gemini 4 Carbon 高 1 分;每項任務花費 $6.44,約低 17%,平均約 21 分鐘,比 Carbon 的約 36 分鐘快。報告也指出,Neon 每項任務用的輸出 token 更多,較低花費來自 token 價格較低,較快則和輸出速度較高有關。用 Antigravity CLI 測試寫程式的 AI 助理時,Neon 的分數也高於 Carbon,成本低於報告列出的 Claude Opus 5.5 和 Claude Fable 5.2。

    推薦理由:這份評測比較 Gemini 4 Neon 與 Carbon 的任務成本和完成時間,也拆出價格與輸出速度對差異的影響,方便衡量效能和花費。

  18. aihot83

    Google DeepMind 發布 Gemini 4 Neon,主打快速處理複雜工作

    複雜的程式開發、分析和科學工作,常得花很多時間,也可能需要多個步驟才能完成。Google DeepMind 推出 Gemini 4 Neon,主打快速處理這類工作,並能在單一 100 萬 token 上下文視窗中整理試算表、PDF、圖表、音訊和影片。官方列出的評測成績包括 Artificial Analysis Intelligence Index 第 3 名、Agent Arena Index 第 2 名;價格為每百萬輸入 token $3、每百萬輸出 token $15。Neon 已開始向開發者、企業和部分訂閱使用者開放;網路防禦版本則預計在未來幾天提供給符合資格的 Fairwind 計畫成員。

    推薦理由:官方列出 Gemini 4 Neon 的基準成績、價格與開放物件,可用來比較它在複雜工作中的能力和成本。

  19. aihot82

    Gemini 4 Neon 開放給 Google AI Pro 和 Ultra 訂閱使用者

    Google 宣佈 Gemini 4 Neon 已開放給 Google AI Pro 和 Ultra 訂閱使用者,可在手機、桌上型電腦和網頁上使用。官方表示,這款模型適合需要高階推理和快速回應的工作;原文沒有提供更多功能細節或使用限制。

    推薦理由:Gemini 4 Neon 已向 Google AI Pro 和 Ultra 訂閱使用者開放,原文說明它面向需要高階推理與快速回應的工作,可瞭解其訂閱方案與使用平臺。

  20. aihot81

    Google DeepMind 的 Gemini 4 Neon 登上 OpenRouter

    挑選模型時,除了看它能做什麼,也得考量使用成本。OpenRouter 轉述 Google DeepMind 的訊息,宣佈 Gemini 4 Neon 已在平臺上線,並透過 Google Cloud 提供。這款模型主打複雜的軟體工程、知識工作和科學用途,定位介於 Carbon 與 Hydrogen 之間。Google 表示,它在 Artificial Analysis Coding Agent Index 排名第一,每項任務的成本比 Carbon 低 32%。

    推薦理由:Gemini 4 Neon 定位在 Carbon 與 Hydrogen 之間,且每項任務成本比 Carbon 低 32%,可供比較模型選型與成本。

  21. Google AI86

    處理大型專案時,AI 助理可能要等很久,也容易漏看不同檔案之間的關係。Google 發布 Gemini 4 Neon,主打快速完成程式開發、知識工作和科學任務;它能除錯和重整多個程式檔案、一次整理大量資料,並提供 4 種思考程度供人調整。Google 展示它在 Antigravity 執行 12 小時的 /swarm,根據檔案照片重建 Alan Turing 1936 年的研究,並做出可運作的通用圖靈機。文中提到的最低模型幻覺率來自 Google 內部測試,適用範圍是該測試。

    推薦理由:Gemini 4 Neon 把多檔案程式修改、長上下文與可調整的思考深度放在同一模型中,原文也以重建圖靈研究展示長時間任務的用法。

  22. Dev.to Top Tech59

    NVIDIA Dynamo 在 Amazon SageMaker HyperPod 上的分散式推論分析

    把大型模型的提示處理和文字生成分開,可能提高吞吐量,但測試數字不一定適用於每種工作負載。NVIDIA Dynamo 現在可在 Amazon SageMaker HyperPod Inference 上執行,並支援 vLLM、SGLang 和 TensorRT-LLM。AWS 測得分開處理時,每張 GPU 每秒產生 207 個 token,合併處理時是 101 個;不過兩組測試的同時請求數不同,因此不能直接當成所有部署都能快兩倍。另一項測試中,Qwen3.5-397B 跨兩個執行個體仍保有單一節點 99.1% 的吞吐量,但這個模型原本就能放進單一執行個體。分開處理也需要兩邊各載入完整模型,並透過 EFA 傳送 KV cache;文章指出,成本和故障復原效果仍缺少量化資料。

  23. Hacker News (official RSS)64

    RadixArk 推出 DaisyRose-27B,Terminal-Bench 4.1 通過率升至 12%

    模型處理需要連續操作好幾步的終端工作時,常會在中途出錯。RadixArk 推出 DaisyRose-27B,從 Qwen3.8-27B 出發,用 1,200 個精挑的長任務進行強化學習;任務會串起多個問題,要求模型逐步推理、安排計畫並執行。團隊表示,這讓模型在 Terminal-Bench 4.1 的 pass@1 通過率從 5.6% 提升到 12.0%。他們也公開 BF16、FP8 和 NVFP4 版本,供大家試用與延伸開發。

  24. Hugging Face Blog61

    RadixArk 發布 DaisyRose-27B,Terminal-Bench 4.1 成績提升

    訓練 AI 助理處理需要長時間、多步驟完成的工作,往往要準備大量任務,也得投入不少 GPU 資源。RadixArk 發布首款模型 DaisyRose-27B,以 Qwen3.8-27B 為基礎,使用 1,200 項整理過的任務進行強化學習訓練。和原始模型相比,它在文中列出的各項基準都拿到較高分;Terminal-Bench 4.1 的 pass@1 從 5.6% 提升到 12.0%。RadixArk 也表示,自家訓練後端比可比的開源訓練器少用 57% GPU 時間。

    推薦理由:DaisyRose-27B 與 Qwen3.8-27B 的多項基準成績可供對照,其中 Terminal-Bench 4.1 的 pass@1 從 5.6% 提升到 12.0%。

  25. Hao AI Lab53

    文字越長,模型處理時花的時間和資源通常也會增加。RecSA 把 KV cache 排成樹狀結構,讓每次查詢一層一層搜尋;作者表示,查詢成本會隨文字長度以對數方式增加,且只用 32K 長度訓練的模型能延伸到 2M tokens。在 RULER 測試中,RecSA 從 131K 到 2M 都勝過比較方法;處理 1M tokens 時得分為 60.5,最強基準為 40.0。單張 H200 處理 524K tokens 時,輸入階段快 3.2 倍,生成階段快 3.8 倍。

  26. Dev.to Top Tech74

    NUMALLAMA 讓多插槽 ARM CPU 伺服器更快執行大型語言模型

    大型語言模型在多插槽 CPU 伺服器上執行時,若資料常要跨插槽讀取,速度可能變慢。作者做了開源的 C 推論引擎 NUMALLAMA,把模型資料和 KV cache 分散到各插槽的本地記憶體,讓處理器核心多半讀取自己附近的資料。作者在一臺有兩個 ARM 處理器插槽的伺服器上測試,部分模型的解碼速度比 llama.cpp 在單一插槽的最佳結果快 1.5 到 2 倍;這些數字只適用於該測試機。最佳化主要針對 ARM64,x86-64 版本尚未最佳化;伺服器一次處理一個請求,其他請求須排隊。

  27. Epoch AI Updates68

    Epoch AI:AI 晶片的 AI 助理推論容量一年成長 4.6 倍

    AI 晶片的峰值算力增加,未必代表它處理 AI 助理工作的能力也以同樣速度增加。Epoch AI 用固定的一組長上下文工作,估算已售出晶片的 AI 助理推論容量;從 Q2 2025 到 Q2 2026,推論容量成長 4.6 倍,峰值 8 位元算力則成長 2.6 倍。差距主要來自 Hopper 換成 Blackwell,Blackwell 和 Blackwell Ultra 貢獻了新增容量的 74%,GB300 每張 GPU 的推論容量約是 H200 的 8 倍。作者預期,隨著累積容量變大,要維持同樣的成長幅度會更難;這些估算也未納入軟體效率差異。

    推薦理由:Epoch AI 用固定工作負載比較晶片的推論能力與峰值算力,呈現 Blackwell 世代轉換如何拉開兩者的成長差距。

  28. Dev.to Top Tech76

    Kumo Tabular 評測:NVIDIA 如何讓模型不經訓練就能預測表格資料

    處理表格資料通常得先整理資料、挑模型,再反覆訓練和調整;Kumo Tabular 想省下這些步驟。它把已標記的資料列當成例子,直接預測其他資料列,不必用手上的資料訓練模型。文章提到,Kumo Tabular-L 在八項表格基準測試中排名第一,並在部分測試中比其他表格模型預測得快。它適合快速建立基準,或一次試很多資料集;若是大型、重視低延遲且使用 CPU 的正式服務,XGBoost 和 LightGBM 仍是有力選擇,因為 Kumo Tabular 需要 GPU,記憶體用量也會隨參考資料列增加。

    推薦理由:文章比較 Kumo Tabular 與傳統表格模型的適用情境,說明免訓練推論在快速建立基準與多資料集實驗時的價值。

  29. Hugging Face Blog78

    作者用 Transformers 在 32 GB Mac 上執行 180B MoE 模型

    大型 MoE 模型的專家權重很佔空間,往往放不進一般筆電的記憶體。作者替 Transformers 加上串流載入方式,只從 SSD 讀取模型當下挑中的專家,並用有限大小的快取保留常用部分;其他權重和 n-gram 資料也分別處理,讓 Qwen3.8-Flash-Next 能在 32 GB 的 Mac 上執行。經過調整後,短文字生成速度是每秒 13.9 個 token,和 Strata 的每秒 14.8 個接近。作者也指出,剩下的速度差距主要和 Python 與 GPU 之間的等待有關。

    推薦理由:作者比較多種 MoE 推論引擎,並實測如何只載入當下用到的專家,讓大型模型在 32 GB Mac 上運作。

  30. Hacker News (official RSS)89

    Microsoft 發布 7 款 MAI 模型,主打企業工作所需的效能與價格

    企業想讓 AI 助理長時間處理工作,模型費用也會跟著增加。Microsoft 這次發布 7 款 MAI 模型,涵蓋資安、寫程式、圖片編修、語音、轉錄與模型挑選,並公佈多項效能和價格比較。例如 MAI Code 2 在日常企業程式工作測試中,達到 GPT-6.1 Sol 98% 的表現,價格約為 40%;Microsoft 也說明它還沒針對科學研究和需要長時間工作的任務調校。另有 MAI Licensed Weights,讓企業用自己的資料調整模型,並在自己的 Azure 環境中執行。

    推薦理由:這次發布把多種模型的表現與價格放在一起比較,也說明 Code 2 尚未針對科學研究和長時間 AI 助理工作調校。

  31. Rohan Paul72

    模型明明答對了,遇到使用者或另一個 AI 助理用錯誤理由反駁時,常會改口。這篇 Microsoft 研究提出 Self-Disagreement 訓練:模型先回答,再寫出反對自己的最強理由,接著判斷這些理由並重新作答;標準答案檢查器會替最終答案和判斷結果給分。研究中,Qwen3-8B 原本在反駁錯誤時有 53.3% 的機會守住正確答案,Gemma-2 9B 則是 25.1%;訓練後,兩者都提高到約 89%。只加強答題準確度的訓練,沒有帶來同樣的改善。

    推薦理由:研究比較了模型遭遇錯誤反駁時是否守住正確答案,並指出一般準確度訓練無法改善這項表現,可用來檢視模型面對質疑時的穩定度。

11月18日週三
  1. Dev.to Top Tech46

    1.5B 模型資料分析測試:單次提示詞比 AI 助理流程答對更多

    用小型模型分析 CSV 時,讓它分好幾步規劃、寫程式、執行,再修正錯誤,聽起來比較周全,結果卻可能更差。作者用同一個 1.5B 模型做 DABench 測試,單次提示詞產生程式、執行一次,40 題答對 0.70;AI 助理流程答對 0.55。AI 助理常在呼叫工具或修正程式時出錯,難題尤其容易卡住,花的 token 也約多 5.6 倍。這次測試題數不多,差距還不能算達到統計上的顯著程度;結果也只適用於這個小型本機模型。

  2. Dev.to Top Tech58

    Ronny 測試 GPT-6.2 Sol 的快取配置,提示詞位置影響回報涵蓋率

    提示詞放在不同位置,可能讓 GPT-6.2 Sol 後續請求回報的快取涵蓋率差很多。Ronny 在沙盒中測試約 12.3K 個 token 的合成提示詞,把內容移到第一個輸入專案,並保留一段較短的固定指示後,暖機後回報的涵蓋率從 0–45% 升到 97–99%;GPT-6.1 Sol 對照組為 98–99%。不過四次修改測試中有兩次第二個請求仍是冷啟動,而且這不是已發布的修正。測試時也要確認實際送出請求的程式用了修改後的設定;較高的快取涵蓋率尚未證明能省下費用,長任務的成本也還沒測量。

  3. vLLM Official Blog75

    vLLM 如何用 FlyDSL MonoKernels 降低 AMD GPU 上 AI 助理的回應延遲

    AI 助理每次要產生回覆時,常得依序啟動許多 GPU 工作;工作量小時,等待工作開始和結束也會拖慢回覆。vLLM 的 FlyDSL MonoKernels 把互相依賴的工作排進較少的 GPU 執行流程,讓部分工作可以接續進行,也能提早讀取後續需要的資料。文章列出多款模型在 AMD Instinct GPU 上的測試,並發量為 1 時,回應速度或每個輸出 token 的時間改善約 1.20× 到 2.26×。這項功能需自行開啟,適用範圍依模型、GPU 和工作量而定;並發量提高時,改善幅度通常會縮小。

    推薦理由:文章比較多款模型在不同 AMD Instinct GPU 與並發量下的測試結果,也說明低並發時的延遲改善和步幅限制。

  4. OpenBMB44

    混合架構會同時使用迴圈層和 softmax 注意力層來學習,但兩者可能在學同一種能力時互相搶走學習訊號。清華大學的新論文提出 BLD:預訓練一開始先凍結迴圈區塊,約用掉前 10% 的 token 後再解凍,讓兩種層一起訓練。測試六種 KDA 混合架構、規模從 180M 到 1B,BLD 讓長文測試 RULER 和回憶能力都變好;在 1B 模型上,RULER 從 32.75 升到 36.04,回憶分數從 36.50 升到 38.14,LongPPL 從 7.69 降到 6.50。架構、資料和 token 總量都相同,結果顯示誰先學,會影響模型記住長篇內容的能力。