跳到正文

#推理

RSS
今日 9 則
11月16日週一
  1. aihot77

    騰訊混元推出 Hy4 flash,主打 1M 上下文與日常任務價效比

    日常使用大型語言模型時,成本和能處理的內容長度都會影響選擇。騰訊混元推出 Hy4 flash,總引數為 224B,其中包含 64B Engram 引數;每次運算會啟用 12B 引數,並支援多模態與 1M 上下文。API 每百萬 tokens 的輸入價格是 0.5 元、輸出價格是 2 元,原文也列出它和 Hy4 的成本比較及多種業務場景的評測結果,方便估算日常使用的花費與表現。

    推薦理由:原文比較 Hy4 flash 與 Hy4 的價格,並列出多種業務場景的評測結果,可用來評估日常任務的成本與表現。

  2. ModelScope76

    大型模型通常需要很多運算資源,Edge0-145B則主打能在單張消費級 GPU 上本機執行。它採用稀疏架構,每個 token 只啟用 10.12B 個引數;原文列出的 RTX 5090 D 24GB 測試中,Q3_K 版本每秒可處理 121.2 個 token。Edge0-145B在 Terminal-Bench 2.1 得分 86.5,在 DeepSWE 1.1 得分 64.6;若偏好更快的版本,Edge0-120B每個 token 啟用 8.64B 個引數。兩款模型都提供 Q3_K 和 NVFP4 版本,透過 Edge0 專用的本機執行環境部署。

    推薦理由:Edge0-145B以稀疏架構減少每個 token 啟用的引數,並列出單張 RTX 5090 D 上的速度與測試成績,可瞭解它如何兼顧模型規模和本機部署。

  3. aihot83

    Qwen4 Max 發布,評測分數比 Qwen3.8 Max 高 9 分

    挑選模型時,分數高不一定代表每項任務都更省錢。這份評測顯示,Qwen4 Max 使用 xhigh 推理強度時,Artificial Analysis Intelligence Index 得分為 43,比 Qwen3.8 Max 高 9 分,每項任務成本約為其三分之一,也比 Kimi K3.1 Pro 低約 11%。不過,各項測試的表現不同:Qwen4 Max 在 Terminal-Bench 4.0 落後 Kimi K3.1 Pro,在 FrontierCode 2.0 則落後 Hy4。資料也列出它支援文字與圖片輸入、文字輸出,並提供 1M tokens 上下文視窗。

    推薦理由:Qwen4 Max 與 Qwen3.8 Max、Kimi K3.1 Pro 和 Hy4 的評測分數、每項任務成本及用量比較,呈現效能與費用之間的取捨。

  4. Vercel Blog47

    Qwen4-Max 登上 Vercel AI Gateway,支援寫程式、製作 3D 場景和長時間工作

    Qwen4-Max 是 Alibaba Qwen4 系列的第一個模型,現在可透過 Vercel AI Gateway 使用。它能看懂圖片,也能處理長篇工作,例如在 Blender 製作 3D 場景,或在 Unity、Unreal Engine 和 Godot 製作能玩的遊戲;完成後還會看畫面找出鏡頭、動畫或燈光問題,再動手修改。處理財務、法律和醫療工作時,它也能使用 MCP 工具整理大量檔案和圖片,產出附有資料來源的報告、試算表和簡報。 遇到需要很久的工作時,Qwen4-Max 會先交出能用的初步成果,再一輪輪改進,讓人可以邊看邊調整方向。Alibaba 也將推出一個搭配這種工作方式的 Live Delivery 外掛。和先前的 Qwen Max 模型相比,Qwen4-Max 完成相同工作的 token 用量較少,預設寫出的程式也較安全;Vercel AI Gateway 則不加價收取模型費用,也不收推論平臺費。

  5. Hacker News (official RSS)86

    千問推出 Qwen4-Max,主打長時間工作與分段交付

    處理複雜工作時,AI 助理可能要花很久才交出成果,使用者也不容易及早發現方向錯了。千問推出 Qwen4-Max,主打長時間執行任務,並用 Live Delivery 先交出可用的初版,再依執行結果和使用者回饋逐步修改,讓人隨時檢視進度、修正方向。千問也展示了它用於 3D 建模、遊戲製作、法律檔案整理和雲端資源排程等工作的案例。官方表示,在 Work360 評測中,Qwen4-Max 得分 52.69,高於 Qwen3.8-Max 的 47.74;該評測的單項任務平均成本也從 $4.43 降至 $1.67。

    推薦理由:Qwen4-Max 把長時間工作、分段交付與使用者回饋放進同一流程,文中也以實際工作案例說明如何逐步完成複雜任務。

  6. Artificial Analysis80

    挑選模型時,分數較高的選擇也可能花費更多。Artificial Analysis 測得,Qwen4 Max 使用 xhigh 推理時,Intelligence Index 得分為 43,比 Qwen3.8 Max 高 9 分,距離 Kimi K3.1 Pro 少 3 分;每項測試任務成本為 $3.27,約比 Qwen3.8 Max 低 3 倍、比 Kimi K3.1 Pro 低約 11%。測試中它每項任務使用約 105k 個輸出 token,少於 Qwen3.8 Max 的約 171k。Qwen4 Max 可透過阿里巴巴第一方 API 使用,支援文字和圖片輸入,並提供文字輸出。

    推薦理由:Artificial Analysis 比較了 Qwen4 Max 與其他模型的測試分數和每項任務成本,呈現效能與花費之間的差異。

  7. Dev.to Top Tech67

    Qwen4-Max 主打長時間工作,每項任務平均成本降低 62%

    AI 助理處理長時間、多步驟工作時,可能耗用大量 token,費用也會跟著增加。Qwen 團隊發布 Qwen4-Max,主打較省 token 的長任務處理;在 Qwen 自家的 Work360 測試中,每項任務平均成本從 $4.43 降到 $1.67,並展示了製造、法律和科學研究等工作流程。這些數字來自 Qwen 自家測試,不能直接當成所有工作都會省下 62%;文中的新材料和藥物候選物示範也尚未經獨立驗證,其中藥物候選物仍待實驗室測試。

  8. Dev.to Top Tech49

    DeepSeek-V4-Pro-Qwen3.5-9B 數學考試分數更高,真的代表它比較強嗎?

    一支 TikTok 影片說,9B 的模型在數學考試贏過 DeepSeek V4 Pro,但「贏」只是在特定考題上的比較。這個模型用 DeepSeek V4 Pro 產生的約 250,000 組數學與 STEM 答案訓練;在 GSM8K 的分數是 94.50%,高於 DeepSeek V4 Pro 的 92.60%。不過,這些數字來自模型開發者整理的資料,還沒有相同條件下的獨立測試,而且考題公開已久,可能有些題目在訓練時就看過。 它的檔案大小是 5.78 GB,適合想在自己的電腦上練數學題的人;但資料列出的支援語言沒有中文或臺灣常用的繁體中文,因此不能只看數學分數,就認定它適合回答中文問題。簡單說,它在特定數學考試表現不錯,但這不代表它在寫程式、讀檔案或日常聊天也比大型模型厲害。

  9. Dev.to Top Tech75

    如何先算記憶體和速度,判斷 LLM 能不能在筆電上跑

    想在筆電上跑 LLM,常會遇到模型下載很久、開啟後卻慢得難以使用的問題。作者用模型大小、KV cache 和記憶體頻寬,做成一套下載前的估算方法,也提供 Python 指令碼,讓人把模型設定和自己的硬體資料放進去計算。以 M1 Pro、16 GB 記憶體為例,Qwen3-8B 搭配 32k 上下文能裝進可用的 GPU 記憶體;Qwen3-14B 則需要縮短上下文或改用較省記憶體的快取。這套演算法能先排除不合適的型號,再用 llama-bench 實測速度。

  10. PyTorch Core Releases74

    PyTorch 用 Metal 改寫 MPS 的複數 FFT,部分資料形狀運算更快

    在 Apple 裝置上用 PyTorch 計算複數 FFT 時,原本的 MPSGraph 實作有些資料形狀跑得較慢。這項更新改用 Metal 核心處理複數轉複數的 FFT,並依資料長度選擇不同演算法;長度含有其他質數因子時,則改用 Bluestein 演算法。作者表示,新實作與 CPU 計算結果沒有數值差異。在 M5 Pro 的測試中,13 種基準資料形狀的中位速度提升 1.55 倍,143 種取自 Hugging Face 的資料形狀則提升 1.63 倍;個別形狀的速度變化不同。這次更新只涵蓋複數轉複數 FFT,rfft 和 irfft 暫時仍使用 MPSGraph。

    推薦理由:這次改寫涵蓋不同長度與質數因子的 FFT,並提供多種資料形狀的速度比較,可用來瞭解新實作在哪些情況下較有優勢。

11月15日週日
  1. Dev.to Top Tech52

    RoPE 如何告訴大型語言模型每個 token 的位置

    大型語言模型要看懂一句話,得知道每個 token 出現的先後位置;上下文拉長時,原本的位置方法也可能不再適用。文章用「紅狐狸跳過灰狐狸」說明 RoPE:它會依 token 的位置旋轉注意力向量,讓模型比較兩個 token 相隔多遠。作者也比較 GPT-2 使用的絕對位置嵌入和 ALiBi,並提醒,想延長模型的上下文時,要先確認它使用哪種位置方法。RoPE 模型可搭配 YaRN 等方法調整,但套用錯誤的設定可能讓長文本回答變差;可先檢視 Hugging Face Transformers 模型設定中的 rope_theta 和 max_position_embeddings。

  2. Dev.to Top Tech68

    Walid Hadri 用程式例子帶你看懂大型語言模型的演進

    大型語言模型看起來會回答問題,但它一開始學的其實是接著文字往下寫。Walid Hadri 用「法國首都是哪裡?」這個問題,帶讀者看模型如何從預測下一個 token,發展到理解指令、花更多時間推理,以及呼叫工具完成工作;文中也附上程式碼,讓人用開放模型重做部分例子。像 DeepSeek-R1 的小型版本有時會答對、有時會數錯「strawberry」裡的 r,說明多想幾步能幫上忙,卻不保證答案正確。

  3. Dev.to Top Tech58

    Folkbench 如何偵測第三方 AI API 轉送服務的模型表現悄悄變差

    第三方 AI API 轉送服務可能照樣回覆成功,模型表現卻已悄悄變差,例如換成較便宜或較舊的模型、減少推理量,或截掉對話內容。Folkbench 的 Integrity Monitor 會在同一時段,用會更新的時事題目和固定特徵測試,分別檢查轉送服務與官方 API 的表現,再比較答案特徵、推理 token 數量等訊號。作者提醒,單次答錯或分數下降不能直接判定服務有問題;要連續觀察多個時段,並按不同模型和服務群組分開比較。

  4. Dev.to Top Tech73

    llama.cpp v1.0.0 改了什麼?穩定版如何影響本機 AI

    llama.cpp 長期使用像 b12359 這樣的版本號,開發者不容易判斷更新會不會讓程式出問題。v1.0.0 開始採用明確的版本規則:重大版本可以更動公開的 C API,小版本加入相容的新功能,修補版本則修正錯誤。這項承諾只涵蓋公開介面,並不保證執行時的行為或預設設定都不變。這次更新本身也會讓舊程式需要修改,使用已移除函式等舊功能的程式可能無法編譯;文章建議升級前先檢查自己的程式和工作流程。

  5. Dev.to Top Tech62

    RAG 和微調怎麼選?用退款助理範例找出問題

    AI 助理答錯時,問題可能是找不到最新資料,也可能是沒有照指定格式回答,兩種狀況需要不同做法。文章用虛構的退款助理說明:政策更新時,要整理並搜尋新檔案,再確認系統找到正確版本;格式反覆出錯時,先試清楚的提示詞和輸出設定,仍有明確問題再用合適例子測試微調。作者也提醒,微調不會自動提供最新政策或確認使用者有沒有許可權。把資料問題和回答方式分開測試,才能選出符合需求的簡單做法。

  6. Ahead of AI (Sebastian Raschka)71

    Sebastian Raschka 用圖解和 PyTorch 程式說明 LLM 的位置編碼

    大型語言模型看到一串詞時,也得知道每個詞排在哪裡,才分得清「紅狐狸」和「灰狐狸」誰在跳。Sebastian Raschka 用圖解、簡單數學和 PyTorch 程式,說明 GPT-2 怎麼把位置資訊加進詞的向量,也逐步拆解 RoPE 如何在注意力計算中轉動查詢與鍵向量,讓模型掌握詞與詞之間的距離。文章最後整理近期開放權重模型使用 RoPE、部分 RoPE 和 NoPE 的方式,並指出 RoPE 仍最常見,但 2026 年的模型中,混用 RoPE 和 NoPE 的情況增加了。

    推薦理由:文章用圖解和小段 PyTorch 程式拆解 RoPE 的運作,也整理近年開放權重模型的位置編碼選擇,方便讀者理解架構差異。

  7. Dev.to Top Tech58

    ZAQERIS Ai 開源 ZQN-12B,主打 8 GB 顯示卡也能執行

    大型模型常需要較多記憶體才能執行,ZAQERIS Ai 發布第二個開源模型 ZQN-12B,並公開壓縮方法的技術論文。這個從零訓練的模型有 15.55B 引數,壓縮後佔用 6.48 GiB,約為每個權重 3.25 bits;團隊表示,它可在消費級 8 GB 顯示卡上以每秒約 25 個 token 執行。模型原生上下文視窗為 128K,搭配 YaRN 可達 256K。團隊也說明這是早期版本,並非前沿模型。

  8. Dev.to Top Tech35

    AGI 與 ASI 第 5 章:因果推理為什麼重要

    看到兩件事常一起發生,不代表其中一件造成另一件:雨天街道常是濕的,但拿水管把街道弄濕,不會讓天下雨。因果推理就是弄清楚事情為什麼發生、如果動手改變某件事會怎樣,以及過去若做了不同選擇,結果可能有什麼不同。這一章用因果圖整理事情之間的影響,也說明只靠觀察資料,可能會把真正的原因看錯;像是接受治療的人病情較差,不一定是治療害的,也可能是病得較重的人更常接受治療。 對 AGI 來說,光會從過去的資料猜結果還不夠,還得知道採取行動會帶來什麼後果。比方說,機器人要判斷改走另一條路能不能避開碰撞;AI 助理也需要理解,自己的做法可能造成哪些直接或意外影響。懂得原因,系統才比較能把學到的知識用在新情況,也能更仔細地規劃行動。

  9. Dev.to Top Tech66

    RTX 3090 的 24GB VRAM 能跑 Qwen3.8-27B 嗎?作者拆解實際限制

    網路貼文說 RTX 3090 能輕鬆跑 Qwen 4 27B 和 Flash,但模型名稱和大小容易讓人誤會。作者查了 Hugging Face 上的模型資料:27B 模型原始檔案有 55.6GB,無法直接放進 24GB VRAM;改用 4 位元量化後,約需 16.7GB,還要替上下文和其他系統用途留空間。Flash-Next 的檔案更大,無法放進單張 24GB 顯示卡,官方提供的是雲端服務。作者建議從 8,000 token 的上下文開始,並實際測量速度;文章也說明,目前未見獨立測試同時回報這張卡上的速度與品質。

  10. Dev.to Top Tech57

    如何先檢查答案合不合格,再比較 LLM API 價格

    只看每百萬 token 的輸入價格,可能看不出完成一項工作的實際花費,因為答錯重試也會增加費用。作者先寫好一份五行檔案和四個問題,再用同一個 API 測試 Qwen3.8 Flash 和 GLM-5.3 Flash;兩者都答對四題,但這八次請求只能示範做法,不能代表模型在正式工作中的整體表現。比較價格時,作者建議記下每次請求的答案、狀態、耗時、重試次數和用量,並把所有嘗試的費用除以通過檢查的任務數。帳單金額和費率仍須另外核對。

  11. Dev.to Top Tech67

    Ollama 沒套用 Modelfile 的 TEMPLATE,作者用提示詞 token 數抓出問題

    改了 Modelfile 的提示詞範本,不代表 Ollama 真的用新範本組出模型收到的提示詞。作者在一次本機測試中,原本想移除 Qwen3.8 27B GGUF 提示詞裡一段談推理程度的文字,卻發現 10 個任務的提示詞 token 數都和原本一樣,輸出也全部與基準測試相同,因此這次結果不能用來判斷移除文字有沒有影響。接著他用短訊息測試不同設定,發現透過 /v1 請求傳入 reasoning_effort: medium,才會讓那段文字消失;chat_template_kwargs 在這個設定下沒有作用。作者計畫加入實際檢查後再重跑,重跑結果尚未出爐。

  12. Dev.to Top Tech71

    Gemini 4 和 Gemma 4 怎麼選?作者用同一組題目比較分數、速度與花費

    比較模型時,只看答對幾題或每個 token 的價格,可能看不出每次使用實際要花多少。作者讓 7 個 Gemini 4、Gemini 3.5、Gemini 3.8 和 Gemma 4 模型,用相同題目與設定測數學題和工具呼叫,並比較答對情況、速度和費用。測試中,Gemini 4 Argon 的數學題分數最高,工具呼叫則和免費的 Gemma 4 31B 並列;Gemini 4 Hydrogen 回答較快,但因為每題都會進行思考,這次總花費反而高於 Argon。這些結果能幫忙看出不同模型在速度、表現與費用上的取捨,但測試只涵蓋短數學題和單次工具呼叫。

  13. Dev.to Top Tech75

    Gemma 4 和 Gemini 模型該在哪裡跑?實測比較本機、API 與租用加速器

    模型可以在自己的電腦、雲端 API 或租來的加速器上執行,但速度、費用和管理方式差很多。作者用同一套數學題和工具呼叫題,測試 Gemma 4 與 Gemini 模型在多種裝置和服務上的表現。測試中,Gemini 4 Argon 的數學題分數最高;Gemma 4 31B 在 Gemini API 和 RTX 3050 上答對的數量相同。租來的裝置在使用量高時,每百萬輸出 token 的費用較低;只有少量請求時,費用可能較高。這些比較可用來依流量、速度、價格與是否需要本機執行,挑選合適的方式。

  14. Dev.to Top Tech62

    Agent Relay 重算 AI 助理基準:高分模型不一定最划算

    挑 AI 助理時,只看平均分數,可能看不出每次好答案要花多少錢,也看不出它有多少次完全沒答好。Agent Relay 根據 Deepnote 的 Agent Initiative Benchmark 公開資料,重新計算每個模型取得滿分回答的成本,並比較零分次數和不該發言時的誤報。結果顯示,平均分數最高的 GPT-6 Astra,每次滿分回答約 $1.33;GPT-6.1 Sol 約 $0.255,便宜約 5.2 倍,兩者的分數區間也有重疊。作者提醒,基準只有 50 項任務,這些數字適合用來篩掉不合需求的模型,不能據此精確選出勝者。

  15. Dev.to Top Tech57

    作者用 Bend 驗證網球計分,並模擬 WTA 年終賽 1,048,576 次

    寫程式時,測試常抓不到規則沒想到的錯誤。作者用 Bend 寫網球計分和賽事模擬,先列出每種情況都應成立的規則,再讓 Claude Code 協助依規則寫程式。他在計分、盤數和模擬等部分故意放進 24 個錯誤,規則檢查都抓了出來;但一個用來略過資格賽的篩選條件,也誤略過了四強賽,因為沒有規則涵蓋這種情況。接著,他用近 52 週硬地賽事資料,模擬 1,048,576 次 WTA 年終賽,估算 8 位球員的奪冠機率。這個例子顯示,規則能幫忙抓錯,但只能檢查事先寫進去的內容。

  16. Rohan Paul47

    大型語言模型會猜文字裡最常接著出現的內容,但常見的說法不一定是真的,少見的真事也可能被模型低估。Meta 的這篇論文提出,可以讓模型換幾種觀點回答同一個問題,再看答案有哪些地方都相同;如果完全沒有共同答案,就先不要作答。論文用例子說明,答案看起來有多可能,和它是不是真的不一定相同:在一個只有兩種答案的例子裡,loss 0.67 對應 100% 正確,接近的 0.71 卻對應 0%。這只是論文中的例子,沒有實際實驗;它提醒我們,信任 AI 答案前,可以換個說法、角色或語言再問一次。

  17. Dev.to Top Tech60

    Gemini 4 Carbon 在 MathArena 數學評測中超越 GPT-6.1 Sol

    選數學能力強的模型時,只看分數可能會忽略每次測試要花多少錢。MathArena 更新評測後,Google 的 Gemini 4 Carbon 以 85.4% 排名第一,Claude Fable 5.2 得 82.8%,GPT-6.1 Sol 得 80.6%;每個分數也附有誤差範圍。依測試設定,跑完一輪 Carbon 約花 15.70 美元,Fable 5.2 約 40 美元,GPT-6.1 Sol 約 1 美元。這份榜單把準確度和成本放在一起比較,團隊仍可用自己的工作內容測試,判斷多花的錢是否划算。

  18. Dev.to Top Tech76

    Anthropic 教你用 Claude Opus 5.5 處理日常知識工作

    用 AI 助理做研究、分析和檔案時,舊的提示詞習慣可能讓回覆變慢,也不一定讓成果更好。Anthropic 建議把 Claude Opus 5.5 當作日常工作模型,先用 Medium 努力程度,並在第一則訊息說清楚想完成什麼;「think hard」這類要求可以刪掉,圖表則直接附上,不必重新打成文字。Anthropic 表示,在自家評測中,Opus 5.5 用 Medium 的表現達到或超過 Opus 5 用 High。Opus 5.5 的自適應思考也無法關閉,努力程度是可調整的控制方式。

    推薦理由:Anthropic 說明 Opus 5.5 的推理深度由模型自行調整,並整理出可直接套用的提示詞習慣與工作設定。

  19. The Decoder67

    Anthropic 建議使用 Claude Opus 5.5 時調整提示詞習慣

    使用 Claude Opus 5.5 時,沿用舊模型的提示詞習慣,可能讓回答變慢,卻沒有更好。Anthropic 建議拿掉「think hard」和「think carefully」,先用預設的 Medium effort;公司表示,內部測試中,Opus 5.5 用 Medium 的表現和 Opus 5 用 High 相當,較高設定也不一定帶來更好的結果。交代目標、輸出格式和何時需要追問,並直接附上圖表或要求完成品,也有助於模型一次完成工作。這些是 Anthropic 根據自身測試提出的建議。

  20. The Decoder70

    Gemini 4 Carbon 登上 MathArena 數學測驗第一,費用是 GPT-6.1 Sol 的 15 倍

    MathArena 數學測驗的前三名,能力和使用費用差距很大。The Decoder 整理的結果顯示,Google 的 Gemini 4 Carbon 排名第一,GPT-6.1 Sol 排名第三,Claude Fable 5.2 排名第二;測試設定下,三者的預估表現分別是 85.4%、80.6% 和 82.8%。Gemini 4 Carbon 的費用約是 GPT-6.1 Sol 的 15 倍,Claude Fable 5.2 則約為 40 倍。Gemini 4 Carbon 常因超過時限而失敗,也曾讓一段程式連跑超過十一小時,沒有檢視進度。

11月14日週六
  1. Hacker News (official RSS)70

    NVIDIA 教你用 vLLM 在兩臺 DGX Station 上執行 GLM-5.3

    753 billion 引數的 GLM-5.3 太大,單張 GB300 GPU 放不下;這篇教學示範如何用兩臺 NVIDIA DGX Station 一起執行。兩臺機器透過 RDMA 連線,各自載入一部分模型,再由其中一臺提供同一個 API,讓請求由兩邊的 GPU 一起處理。文章也示範如何送出請求和測試多人同時使用時的表現:並行數為 16 時,整體輸出速度達到 607.8 tok/s;增加到 32 時,速度降為 385.0 tok/s,平均回應時間則升至 453.5 秒。

  2. Artificial Analysis62

    Perplexity 更新了 Decider v1.3 和 Decider Flash v1.3,兩款都是用來處理決策任務的模型。Artificial Analysis 的 Decision Index v2.1 給兩者 70 分和 64 分;和 v1.2 相比,Flash 版進步 4 分,排名升到第 10 名。Decider v1.3 在 AA-Paperclip 得 69 分,在 EvalSafe-O*NET-AA 得 89 分。兩款模型每百萬項任務的成本分別是 $68 和 $34;它們都位在該評測的能力與成本取捨曲線上。

    推薦理由:兩個版本的測試排名與每百萬項任務成本放在一起,能看出不同規模模型在決策表現和費用上的取捨。

  3. Tom’s Hardware AI & Computing68

    律師升級 8 張 V100 伺服器,讓 DeepSeek V4.1 Flash 多數運算升至 4-bit

    這臺用 8 張 V100 顯示卡執行 DeepSeek V4.1 Flash 的私人伺服器,原本只能把模型權重壓到 2-bit,升級後約 80% 的運算路徑能用 4-bit NVFP4。做法是把常用的模型部分升到較高精度,其餘仍維持 2-bit,並把記憶體加到 1TB、加入 RTX 3090。測試顯示,輸出速度比原本慢,但結果更接近參考版本;兩個請求同時執行時,總輸出量也比單一請求高。伺服器原先的當機問題最後被認為可能來自故障電源供應器,換掉供電後,9 次長時間對話都沒有出錯。

  4. Dev.to Top Tech66

    Royal Simpson Pinto 教你找出 AI 助理上下文裡浪費的 token

    AI 助理每次呼叫模型,都會重新送出目前的上下文;工具結果、檔案和舊紀錄留得越久,重複傳送的成本就越高。Royal Simpson Pinto 分享自己分析執行紀錄的方法:記下每回合實際送出的內容,按工具定義、工具結果和檔案等類別整理 token,再檢視每段內容留了幾回合、是否重複。文章也介紹他做的 ctxlens,可用來整理這些資料並找出可刪減之處。修剪太多可能讓 AI 助理之後得重新找資料,因此作者提醒要用實際執行結果確認是否真的省下成本。

  5. llama.cpp Releases47

    llama.cpp 重整 DFlash 推測解碼,加入 DFlash2 和 LiliCorr 專用型別

    llama.cpp 重新整理 DFlash 家族的推測解碼程式,讓不同草稿模型各自使用對應的讀取和執行方式。新增的 draft-dflash2 和 draft-lilicorr 可指定 DFlash2 與 LiliCorr;原有的 draft-dflash 也會依草稿模型的資料自動選擇 DFlash、DFlash2 或 LiliCorr。若型別和模型不相符,或同一次執行混用多種 DFlash 家族型別,系統會拒絕開始推測解碼。這次整理也讓 DSpark 使用自己的讀取方式,並把共用的程式拆分整理。

  6. Dev.to Top Tech61

    NVIDIA 推出 GR00T 2,讓機器人嘗試把學到的技能用在不同機器上

    每種機器人的手臂、鏡頭和夾爪都不同,教會一臺機器做事,往往不能直接搬到另一臺。NVIDIA 推出 GR00T 2,讓模型一起預測接下來的畫面和機器人動作,並從人類與機器人的示範中學習,希望把技能用在不同機器上,減少重新收集資料和訓練的需求。NVIDIA 回報,模型在 50 項任務的多次測試中,零樣本成功率為 40%,微調後結果較高。文章也引述 Samarth Urs 的質疑:這個數字是跨多次測試計算,模型曾在 50 項任務中的 40 項至少成功一次。要判斷技能能否廣泛轉用,還得看任務如何挑選、能試幾次,以及換到不熟悉的環境後表現如何。

  7. Microsoft ONNX Runtime Releases73

    ONNX Runtime CUDA Plugin EP 0.4.0 加入 CPU 與 GPU 混合執行 MoE 模型

    大型 MoE 模型的專家層可能超出 GPU 記憶體容量,讓模型難以執行。ONNX Runtime CUDA Plugin EP 0.4.0 新增 CPU 與 GPU 混合解除安裝功能:放得下的專家留在 GPU,其他專家改由 CPU 處理,也能在執行過程中把常用專家移到 GPU。這項功能需要搭配 ONNX Runtime 1.32.0;版本或運算元格式不相符時,可能造成執行錯誤或程式崩潰。更新也加入直接執行 GGUF 等區塊量化權重的運算元,以及長上下文和推測解碼加速。

    推薦理由:這次更新把 MoE 模型的專家層分散到 CPU 與 GPU 執行,也補上多種量化格式支援,能協助評估 GPU 記憶體不足時的部署選項。

  8. Dev.to Top Tech74

    MIT CSAIL 團隊用 50 次模型執行,修正 Qwen3.5-0.8B 的重複輸出

    小型語言模型有時會一直重複內容,答案還沒寫完就碰到長度上限,讓原本會的題目也得不到分數。MIT CSAIL 團隊讓 GPT-6 Astra 在不訓練模型的情況下,修改 Qwen3.5-0.8B 的部分權重;在 50 次模型執行後,MATH-500 答對率從 7.9% 升到 48.1%,答案被截斷的比例則從 93.0% 降到 33.1%。研究者檢查另一批題目後發現,答對率增加主要來自原本被截斷的答案完成了,已完成答案的正確率沒有改變。這項做法修正了輸出問題,沒有教模型新的數學能力;每種修改只測了一次,結果仍需小心解讀。