跳到正文

#推理

RSS
今日 6 則
11月20日週五
  1. Dev.to Top Tech69

    Google 推出 Gemini 4 Neon,主打兼顧推理能力與價格

    挑模型時,小型款速度快、價格低,大型款能力強但更貴,中間款能不能划算,得看價格和用途。Google 在 11 月 18 日推出 Gemini 4 Neon,定位介於 Hydrogen 和 Carbon 之間,主打複雜程式開發、分析推理和企業工作流程。Neon 每百萬個輸入 token 收 $3、輸出 token 收 $15;Google 表示,在預設的高思考等級下,每項任務比 Carbon 便宜 32%,但這是 Google 提供的比較數字,尚無外部測試重跑。Gemini 的 Tasks 現在也能使用 Neon,處理多步驟工作。它將提供給部分付費方案與企業使用者,沒有免費方案。

  2. Dev.to Top Tech79

    Hy4 flash 自架指南:220B 引數模型的顯示卡記憶體與授權怎麼看

    220B 引數的 Hy4 flash 看起來很大,但每個 token 實際啟用的引數約為 12B;自架時,權重檔和長上下文的記憶體需求才是主要考量。作者拆解模型結構與檔案大小,估算在 1M-token 上下文下,若 KV cache 儲存壓縮後的資料,每條序列約需 6.9 GB;這是作者的推算,實際用量會依快取方式和精度而變。官方 FP8 配方使用 8 張 GPU,授權也有條件:以 API 等方式提供遠端服務,達到指定營收或月活門檻時,需要另取得書面授權。

    推薦理由:文章把 Hy4 flash 的權重、KV cache 與授權條件拆開估算,也標出哪些是作者推算、哪些是騰訊提供的數字,能幫讀者先判斷自架成本與服務限制。

  3. ModelScope83

    看影片時,畫面、對話和背景聲音常要分開處理,WeChat Vision 推出的 WeMM-Video 能把它們放在一起理解,也能用中文或英文回答。這個開放權重模型家族有 2B、4B、9B 和 35B-A3B 等尺寸,可接收文字、圖片、音訊和影片,並提供直接回答與深入推理兩種模式。技術報告稱,35B-A3B 在同等規模的開放模型中影音表現突出;Thinking 模式在 17 項一般影音基準中的 16 項,勝過 Seed2.0-Mini-0428 和 Qwen3.5-Omni-Flash。

    推薦理由:WeMM-Video 把影片畫面、對話與環境聲音放在同一條時間線理解,報告也比較了不同規模模型在多項影音基準上的表現。

  4. BlockTempo 動區動趨71

    OpenAI 強化 GPT-6.2 防蒸餾,隱藏推理提取成功率降至 1% 以下

    AI 助理如果要接著長對話工作,開發者可能想改寫舊訊息或整理成摘要,但這些變動會讓先前的推理無法沿用。OpenAI 說明,GPT-6.2 的推理內容會繫結之前的對話;改寫或插入舊訊息後,API 會移除受影響的推理,模型可能得重新計算,增加 token 用量、成本與等待時間。OpenAI 以六個攻擊模型進行紅隊測試,GPT-6.2 Astra 和 Sol 的隱藏推理提取成功率,在先前輪次與當次請求兩種測試中都低於 1%。開發者可保留原對話並往後追加,也能透過 API 回傳資訊和用量儀錶板檢視推理為何遭移除。

  5. Dev.to Top Tech46

    開發者如何測試中國 AI 模型的政治立場反應

    只用英文問幾個問題,可能看不出中國 AI 模型在真實使用時會怎麼回答;換成中文、改變問題問法,結果都可能不同。文章建議開發者用中英文自然寫出敏感問題,再用是非題、開放問答和列出多種看法等方式測試,並記下模型版本與每次回答。舉例來說,同一個政治問題用中文問,模型可能比用英文問時更支援中國政府的立場;改成是非題,也可能讓回答沒那麼支援。這些測試能幫團隊在正式使用前看出模型會拒答、閃躲,還是偏向某種說法,也要記得模型的表現不一定每次都一樣。

  6. Dev.to Top Tech60

    為什麼打造可靠 AI 助理時,先改善工具與檢查流程往往比微調更重要

    打造 AI 助理時,團隊常想先微調模型,但有些案例顯示,工具和檢查流程也會大幅影響成果。文章整理 Clay、Harness-Bench 和 LangChain 的案例:固定模型、只更換工具流程時,分數曾從 52.4 變到 76.2;另一個案例則用流程調整,讓 Nemotron 3 Ultra 在 Deep Agents 測試中的分數接近 Opus 4.8,成本約低 10 倍。作者建議先整理工具、加入檢查步驟並追蹤失敗;只有流程改善停滯,而且任務範圍明確時,再考慮微調。

  7. Dev.to Top Tech81

    OpenAI 說 Codex 協助研究人員提出 GPT-6.2 Astra 的想法

    OpenAI 研究人員開始用 AI 助理協助開發模型,但工具能不能做好工作,仍會因任務而有很大差別。OpenAI 表示,Codex 曾在研究 GPT-6.2 Astra 時提供想法;10 月時,AI 助理完成預估需人類花 2 到 4 小時的任務比例為 46%,但成功啟動訓練只有 35%,撰寫模型推論與服務系統程式碼則是 25%。研究人員也提到,AI 助理可能沿著沒用的方向繼續做、產出品質不佳的程式碼,因此仍需要人類密切監督。這些資料呈現 AI 工具正逐漸進入研究流程,也顯示人類仍是其中的重要角色。

    推薦理由:OpenAI 的資料呈現 AI 助理參與研究的成長與落差,可用來理解哪些工作已能交給工具,以及人類監督仍扮演的角色。

  8. Dev.to Top Tech56

    實測 Qwen2.5-1.5B-Instruct:先看摘要沒有比截短文字更準

    把每則問題的文字截短,可能讓小型模型少被不相干的內容帶偏;作者因此測試,先看每則問題的摘要再讀全文會不會更好。使用 Qwen2.5-1.5B-Instruct 比較三種方式後,截短文字答對 17 題,摘要優先答對 16 題,讀完整文字答對 9 題。摘要優先每題平均花 5,172 個 token,是截短文字的 2.6 倍。模型仍常盯著最醒目的 412 號問題,摘要沒有解決這個問題;作者認為,候選專案不多時,截短文字更省成本,表現也相近。測試中還有一題的標籤洩漏線索,因此無法判斷模型是否真的讀到了後面的關鍵內容。

  9. Dev.to Top Tech60

    Gemini 4 四款模型怎麼選?比較推理、寫程式和長文本表現

    挑模型時,只看一個總分,可能看不出它在自己的工作上好不好用。作者整理 Gemini 4 Argon、Carbon、Hydrogen 和 Neon 的公開測試,沒有重新跑測試;結果顯示,同樣是高推理設定,Neon 和 Carbon 的總分都是 60,但估計完成加權任務的時間分別是 14.8 分鐘和超過半小時。長文本測試也顯示,模型能讀進很多文字,不代表都同樣會追蹤內容之間的關係。文章提醒,寫程式的結果還會受工具、重試方式和驗收標準影響,挑模型時應用自己的任務測試,並把花費、完成時間和通過驗收的結果一起比較。

  10. Dev.to Top Tech37

    Test-Time Training 如何讓 AI 助理在推論時邊讀邊學

    一般模型上線後,內部引數就固定了;新資料只能暫存在對話裡,對話結束後就留不下來。Test-Time Training(TTT)讓模型讀到新內容時,也替內部一個小型記憶網路更新引數,把眼前的規則或程式資訊記起來,再接著回答。像 Titans 這類架構會特別留意出乎意料的新資訊,讓重要內容更容易寫進記憶,同時保留原本的基礎知識。這種做法希望讓模型遇到陌生任務時能更快調整,也減少長對話中遺失細節的問題。

  11. AWS Machine Learning Blog71

    Amazon SageMaker Inference 回顧 2026 年後續 14 項更新

    模型上線後,團隊還得處理延遲變高、GPU 沒用滿、流量塞在單一區域等問題。這篇文章整理 Amazon SageMaker Inference 後續推出的 14 項更新,涵蓋效能建議、LoRA adapter 調校、GPU 分割、多節點模型服務、跨區域流量分配和持續監控。例如,跨區域路由能把請求送到其他已登記的端點,並限制哪些區域可以處理流量;原有端點也能用少量額外機器分批更新模型,再重複使用既有機器。文章透過一個客服 AI 助理團隊的假想案例,說明這些工具如何協助團隊管理模型上線後的工作。

    推薦理由:文章依照模型上線後常見的營運難題,整理 SageMaker Inference 的更新如何協助團隊調校效能、共用 GPU 資源並跨區域分流。

  12. OpenAI Developers59

    AI 助理處理長對話時,若能接著先前的推理繼續工作,就能少用一些 token,也更容易命中快取。OpenAI 表示,在 Responses API 使用 GPT-6.2 時,AI 助理可以沿用較早的推理內容;從最新一代前沿模型開始,每段推理也會和它前面的對話紀錄連在一起。如果修改了較早的訊息,API 就會丟掉修改位置之後的推理內容,避免沿用已不符合新對話的推理。

  13. Dev.to Top Tech58

    作者推出 wsr,先找出本地模型答錯的原因再修正

    本地模型答錯或只是不回覆時,直接修改模型權重可能會修錯地方。作者做了開源工具 wsr,先檢查模型檔案、設定、請求和回覆,再逐項測試可能原因;找得到原因時會附上證據和修法,找不到就不猜。只有排除其他問題後,wsr 才會深入檢查模型權重,並用沒看過的資料確認修正是否有效。作者也比較了 Qwen2.5 的拒答修正方式:直接移除拒答方向雖減少誤拒,卻會讓模型回答更多有害請求;wsr 的方法保留了大部分正確拒答。測試只涵蓋小型模型,結果多來自單次測試。

  14. Dev.to Top Tech62

    注意力機制如何讓 Transformer 按內容決定資訊流向

    在一句話裡,像「它」這樣的詞要回頭找到指的是誰,模型才看得懂。注意力機制會比較每個位置的查詢和其他位置的鍵,再依相似程度加權整理對方提供的資訊;多頭注意力則讓模型同時學會不同的查詢方式。文章也用簡單的程式碼說明計算過程,並解釋為什麼要縮放分數,避免訓練一開始就讓權重過度集中。注意力本身不懂詞語順序,還會隨序列變長而耗用更多計算資源;注意力權重也不能直接當成模型做決定的理由。

  15. AWS Machine Learning Blog64

    Amazon SageMaker AI 開始監控推論端點,找出延遲上升與閒置 GPU

    AI 推論端點上線時調好的設定,可能會因流量和模型改變而不再合適,讓回應變慢或 GPU 閒置。Amazon SageMaker AI 現在會自動檢視端點的延遲、GPU 使用情況和服務設定,找出延遲變高、容量沒用滿,或可用但尚未開啟的效能改善;它不會讀取請求或回應內容。收到通知後,團隊可以在 SageMaker Studio 用實際流量測試其他設定,比較回應時間、吞吐量和每百萬個 token 的費用。測試在另一組運算資源上進行,端點不會自行變更,團隊確認結果後才決定是否套用。

    推薦理由:端點的流量和模型需求會隨時間改變,這項功能用實際流量測試替代方案,協助團隊比較速度、吞吐量與費用,再自行決定是否調整。

  16. Dev.to Top Tech52

    Gemini 4 Neon 價格和生成測試怎麼比?

    選模型時,只看 Token 單價,可能猜錯哪款模型做一次任務比較省錢。這篇文章整理 Carbon、Neon 和 Hydrogen 的價格與推理檔位,也比較三款模型在同一個圖形生成題目中的耗時和費用。Carbon 的優惠價到 2026 年 11 月 30 日,12 月 1 日起恢復較高的常規價格;測試中,Neon 的單次費用有時低於 Carbon,原因是它用了較少 Token。這只是單一題目的示例,不能用來判斷模型整體能力或穩定速度。

  17. elvis52

    模型量化時,適合的設定會隨模型和精度改變,專家往往得手動重做。MIT 和 NVIDIA 的論文提出 QDA,讓 AI 助理一輪輪組合並測試量化方案;它先用幾分鐘比較候選模型和原模型在推理過程中的輸出差異,再對有希望的方案進行較長測試。論文表示,QDA在幾種設定下都勝過最好的公開方案;在 320B MoE GLM-5.3-Flash 的 NVFP4 W4A4 測試中,保留了 FP8 準確度的 98.3%,高於最佳廠商檢查點的 96.9%。

  18. Dev.to Top Tech61

    Energy-Based Reasoners 如何讓迴圈推理模型判斷進度

    迴圈推理模型會反覆更新答案,但原本不容易知道答案有沒有變好、何時該停,或多個答案該選哪個。這篇文章解說一篇由 Duke、UIUC 和 Harvard 團隊提出的研究:模型用一個「能量值」衡量目前答案好不好,並依此修正答案;能量變化趨於平穩時就停止,也能用能量挑出較好的候選答案。在數獨等有標準答案的解謎測試中,研究團隊回報它以較少運算達到高準確率。不過,這些結果還不能說明它能否改善開放式語言推理。

  19. Artificial Analysis43

    不太熟悉新推出的 Gemini 4 系列?以下是 Gemini 4 Carbon、Neon 和 Hydrogen 的幾項重點 Carbon 是價格最高的模型(每 1M 輸入/輸出 tokens 為 $4/$20),接著是 Neon($3/$15)和 Hydrogen($1.50/$7.50)。在低推理力度下,Carbon 的表現是三者中最好的,但會使用更多 tokens。不過,Neon 和 Hydrogen 提高推理力度後的擴充套件效果更好,並多了一種推理選項(xhigh)。

  20. Together AI70

    Together AI 宣佈 Qwen4 Max 已可在平臺上使用,並提供 30% 折扣。這款模型是 Alibaba 的旗艦 Qwen 模型,採用 MoE 架構,總引數量為 2.4T、活躍引數量為 71B;原文表示它適合長時間執行的 AI 助理工作、程式開發和視覺任務,並有 1m 上下文視窗。

    推薦理由:Qwen4 Max 在 Together AI 上提供 30% 折扣,原文也列出活躍引數量與上下文視窗,可瞭解這次上架的價格優惠和模型規格。

  21. NVIDIA Blog71

    NVIDIA 與 Microsoft 擴大 AI 運算,從 Azure 延伸到 Windows 電腦

    企業想把 AI 用在工作上,得先決定模型要放在哪裡、如何配合自家資料。NVIDIA 和 Microsoft 擴大合作,讓企業能在 Azure 使用 NVIDIA Vera Rubin NVL72 系統,也能透過 Microsoft Foundry 調整 NVIDIA Nemotron 開放模型,再部署到雲端或企業自己的裝置。EY 用這種方式調整模型來分類採購紀錄,在自己的評估資料上準確率提高 55%,成本比專有前沿模型低 15 倍。合作也把 AI 部署選項延伸到 Azure Local、工業用邊緣裝置和 Windows 電腦,讓企業能依資料位置與工作需求選擇執行方式。

    推薦理由:NVIDIA 與 Microsoft 把雲端、企業內部和個人電腦的 AI 部署選項串在一起,也展示企業如何用自家資料調整開放模型。

  22. Google Research84

    Google 用量子處理器測試 contextuality,最高跑到 105 個量子位元

    量子電腦的特殊優勢能不能在更多量子位元上維持,過去還不清楚。Google Research 團隊在 Willow 量子處理器上測試一種叫 contextuality 的量子特性:兩組參與者要在不能交談的情況下,對同一格給出一致答案;預先寫好的古典規則最多隻能答對 88.89%,量子處理器答對 98.30%。團隊也測試最多 71 個量子位元的遊戲,以及最多 105 個量子位元的淺層量子電路,結果都超過古典方法的界線。這些任務還能抓出一般隨機電路測試容易漏掉的細微硬體錯誤。

    推薦理由:研究以多種量子任務檢驗 contextuality 是否能在更多量子位元上維持,也指出這些任務能抓出隨機電路測試容易漏掉的細微硬體誤差。

  23. Dev.to Top Tech66

    Gemini 各模型怎麼選?實測比較答題表現、費用和速度

    要挑 Gemini API 模型,光看每個 token 的價格不一定知道哪個最划算,答題表現和速度也會影響實際花費。作者用相同題目和評分方式比較 8 個模型:Gemini 4 的 4 個模型都答對 30 題 AIME 2025,但這次測試分不出它們誰更準;Argon 每題較便宜,Hydrogen 回答較快。Neon 在高思考設定下答題表現和 Carbon 一樣,費用較低。這些結果來自每個模型和設定各一次測試,沒有涵蓋長時間的 AI 助理工作或程式開發。

  24. Dev.to Top Tech44

    為什麼光靠擴大資料中心,還是無法讓 AI 不再胡亂回答?

    AI 有時會把兩件很像的事搞混,就像郵差把包裹送到隔壁同名的人家。擴大型模型、增加運算能力,可以讓不同概念分得更開,減少這種錯誤,但每少犯一次錯都會花更多錢,而且錯誤不會因此完全消失。另一種情況是模型根本沒學過答案,卻還是硬猜;文章舉例,一個模型常說「我不知道」之後,答錯的次數變少了,但答對率也沒有因此提高。作者認為,AI 除了要學會承認不懂,也需要另一套系統檢查答案。大資料中心能讓 AI 進步,卻不能單靠規模讓人完全放心。

  25. MarkTechPost78

    Perplexity 推出 Orchestrator API,讓模型故障時自動切換供應商

    團隊接入多家模型時,常得管理不同 API;供應商出錯時,也可能讓請求失敗。Perplexity 推出 Orchestrator API,讓開發者用一個入口呼叫多家公司的模型,遇到供應商錯誤、限流或逾時時,會改由另一個部署提供相同模型。每次請求仍按實際回答的模型費率計費,失敗且未產生輸出的請求不收費。另一項 perplexity/auto 路由功能還在預覽,會依對話內容和開發者寫的路由說明選擇模型;文中測試也顯示,加入路由後,Claude Fable 5.2 在 63 項 Terminal-Bench 4.1 任務中的完成數從 38 項增加到 41 項,但每項任務的估計成本較高。

    推薦理由:Perplexity Orchestrator 把多家模型與供應商放在同一個 API 入口,文章也比較了故障切換、路由方式與收費差異。

  26. Google Developers Blog72

    Google 示範如何用 Tunix 和 Gemma 4 訓練多輪 AI 助理

    AI 助理玩棋盤遊戲時,如果只能一次猜一格,常會打很多次才找到目標。Google 示範用 Tunix 在 Cloud TPU 上訓練 Gemma 4,讓它每次出手後讀取棋盤回饋,再決定下一步。示範中的 Plane Strike 是 6x6 棋盤遊戲,AI 助理要找出藏起來的 8 格飛機。訓練 100 步後,在保留的棋盤測試中,勝率從 9.4% 提升到 95%,平均出手次數也從 22.44 次降到約 16 次。

    推薦理由:Plane Strike 的訓練過程呈現多輪工具呼叫如何配合環境回饋逐步修正策略,也提供勝率與出手次數的變化作為參考。

  27. Dev.to Top Tech76

    如何用 llama.cpp 加速 Qwen3.8-27B:NVIDIA 草稿模型可能不如內建 MTP

    在 24 GB 顯示卡上跑 Qwen3.8-27B,加入草稿模型不一定會更快,還可能因為佔用太多顯示記憶體而變慢。作者實測並整理模型卡與 llama.cpp、vLLM 的說明,教人比較 NVIDIA 的 4B 草稿模型和模型內建的 MTP。以文中的估算來看,Q4_K_M 量化後,兩個模型光是權重就要 20.16 GB,還沒算上下文等額外用量;短回答、容易猜錯的內容,也可能讓草稿模型得不償失。作者建議用自己的常見提示詞,分別測試兩種方法和不使用草稿模型時的生成速度,再選較快的設定。

    推薦理由:文章把接受長度、草稿模型耗用的顯示記憶體與回復檢查點成本放在一起比較,說明為何 4B 草稿模型在單張消費級 GPU 上未必勝過內建 MTP。

  28. Dev.to Top Tech88

    Google DeepMind 用 AI 驗證 Signal 加密程式碼,四項保障仍有範圍限制

    Signal 的加密程式通過形式化驗證,究竟代表訊息有多安全?Google DeepMind 用 AI 為 libsignal 的編譯程式碼建立數學證明,確認一對一對話符合四項保障,包括舊訊息不會因目前的金鑰外洩而被讀取,以及裝置遭短暫入侵後,後續對話能恢復安全。這份證明不涵蓋群組聊天、金鑰產生或手機作業系統,也沒有證明 SPQR 的後量子修復能力。作者認為,這顯示正式驗證對小型團隊可能逐漸變得可行,但仍需要人先清楚定義要證明什麼;測試找出錯誤,證明則能排除特定型別的錯誤,兩者作用不同。

    推薦理由:這項驗證直接檢查編譯後的程式碼,並列出涵蓋範圍與未證明的部分,可用來理解形式化驗證能提供什麼保障。

  29. llama.cpp Releases61

    llama.cpp b12543 加快 Apple Silicon 上的 CONV_2D 運算

    在 Apple Silicon 上執行卷積運算時,部分 GPU 運算單元可能閒置,讓某些工作跑得較慢。llama.cpp b12543 為支援 tensor API 的裝置加入新的 CONV_2D 核心,也調整工作切分方式,並改善資料位置計算;不支援 tensor API 的裝置仍使用原本的核心。發布資料列出 M5 Max 上多種輸入尺寸的測試結果,顯示部分測試的每次運算時間縮短。對超過 4 GiB 的影像資料則會改用通用核心。

    推薦理由:llama.cpp 這次更新針對 Metal 上的 CONV_2D 卷積運算調整核心與工作切分方式,並提供 M5 Max 多種輸入尺寸的耗時比較,可用來瞭解效能變化。

11月19日週四
  1. Dev.to Top Tech58

    Gemini 4 四款模型怎麼選?Hydrogen 回答較快,Neon 價格最高

    Gemini 4 的四款模型速度、價格和擅長的工作不同,選錯可能讓程式跑得慢,也多花費用。作者用平臺近 30 天的實際呼叫比較速度與價格:回答長度在 1,500 到 4,000 個 token 時,Hydrogen 中位數為 23 秒,Argon 為 44 秒、Carbon 為 49 秒;Neon 每 1M 個輸入 token 收 $3.00、輸出 token 收 $15.00,是四款中最貴的。作者也用六項任務測試 Neon,把思考程度從預設的 high 調成 low,費用從 24.7 美分降到 12 美分,37 項檢查都通過。文中建議日常大量工作先用 Hydrogen,較難的問題再交給其他模型;這些結果來自作者的平臺和測試,不能直接當成所有工作都適用的排名。

  2. CMU Machine Learning Blog59

    CMU 研究者解析 AI 助理的能力如何牽動內部表徵與安全

    AI 助理只靠眼前看到的資訊,有時無法判斷下一步該怎麼做;但它做得好,是否代表內部一定記住了過去或掌握環境變化?CMU 研究者 Aran Nayebi 用自己的研究說明,在資訊不完整、任務需要多步行動時,表現良好的 AI 助理必須保留有助於預測結果的資訊;只做簡單的一步任務則不一定需要。文章也談到,難度較高的任務可能讓不同模型的內部運作更相似,研究者已在模型中觀察到部分重複出現的單元與注意力頭。作者最後提醒,能持續探索、把任務做好,不代表 AI 助理也會接受人類要求它停下來,下一部分將探討如何保障這種可修正性。

  3. Phoronix (Linux HW & Benchmarks)55

    Unsloth Desktop 支援 AMD Ryzen AI NPU,也能在 Linux 上使用

    Unsloth Desktop 現在能使用 AMD Ryzen AI NPU 在本機執行模型推論,適用於搭載 XDNA 2 或更新版本 NPU 的 Ryzen AI 筆電和桌上型電腦。這項支援也能用在 Linux 版本,不限於 Microsoft Windows。文章提到,已有超過 100 款相容的 AI 助理應用和工作流程可搭配使用;背後使用 AMD 開源的 Lemonade 和 FastFlowLM 來提供模型服務與推論。

  4. Dev.to Top Tech58

    作者拆解 Qwen3.6-35B-A3B 在 4GB 顯示卡上的速度瓶頸

    4GB 顯示卡能不能跑大型模型,光看顯示卡容量還不夠;作者分析一臺筆電跑 Qwen3.6-35B-A3B 的資料,認為速度主要受記憶體頻寬限制。這臺筆電每秒生成 21.72 個 token,作者估算它用掉記憶體通道理論頻寬的 84% 到 93%。他再和另一臺記憶體頻寬較高的筆電比較,兩者的生成速度差距和頻寬差距接近。作者也提供一段程式碼,讓讀者輸入模型大小、活躍引數和生成速度,估算自己的電腦用了多少頻寬;不過其中一臺筆電的記憶體配置尚未確認,因此部分估算仍有前提。

  5. Dev.to Top Tech52

    Qwen3 27B 在 12GB 筆電顯示卡上實測:NVFP4 幾乎省不了 VRAM

    在 12GB 顯示卡上跑大型模型,記憶體不夠時,直覺可能是換成更省空間的量化設定。作者在同一臺筆電上比較 NVFP4 和 RK4V4,發現兩者的 VRAM 峰值只差約 50–70 MiB;真正佔掉大部分空間的是會隨上下文增加的 KV 快取。作者建議遇到記憶體不足時,先調低 KV 快取的容量。品質檢查中,RK4V4 答對 35/39 題,NVFP4 答對 34/39 題,但樣本不多;這些結果來自單一裝置,不能當成通用基準。

  6. Dev.to Top Tech72

    作者示範如何用 12GB 筆電顯示卡執行 Qwen3 27B AI 助理

    在筆電顯示卡記憶體有限時,AI 助理處理長程式檔和多次工具操作,可能放不下需要記住的對話。作者用 KVMem 把近期和找回的資料放在顯示卡上,其餘歷史存在電腦記憶體,需要時再取回,並搭配 dsh 工作區執行程式開發、檔案和網路工作。作者在自己的 12GB 顯示卡上測試,讓 AI 助理回想先前對話與程式內容的測試答對 24 題;但 256K 是可用容量上限,並不代表每一步都能讀取全部歷史,完整 256K 也尚未驗證。

  7. O'Reilly Radar71

    AI 開始協助打造下一代 AI,作者分析自我改進的做法與風險

    AI 已開始幫忙寫程式、改提示詞、整理可重用的工具,甚至加快模型訓練;文章把這些做法分成幾種層次,從重試答案到修改自身程式都有。像 AlphaEvolve 找出讓 Gemini 訓練快 1% 的計算方式,顯示 AI 也能改善打造 AI 的流程。麻煩在於,系統會朝評分方式努力:如果分數設錯,AI 可能學會騙過檢查,分數變高,行為卻沒變好。作者認為,能訂出好目標、寫出 AI 騙不過的測試,並看出錯誤改變,會愈來愈重要。

  8. The Decoder84

    Google DeepMind 推出 Gemini 4 Neon,速度更快、定價更低

    Google DeepMind 推出 Gemini 4 Neon,作為 Gemini 4 Carbon 之外的新選擇。Neon 的文字、圖片、音訊和影片上下文視窗可容納一百萬個 token,生成速度接近 Carbon 的兩倍,標準定價也低 25%。不過,Neon 每項任務會多用約 15% 的輸出 token,因此省下的費用來自每 token 單價較低。報導也整理了它在程式開發、檔案和簡報測試中的表現;不同測試與推理設定下的結果並不相同。

    推薦理由:Neon 與 Carbon 的比較涵蓋速度、價格和多項測試,也指出省錢來自較低的每 token 定價,而非較少的輸出 token。

  9. Tom’s Hardware AI & Computing76

    三張二手 Nvidia V100 跑 Qwen 3.6 35B,長上下文仍有每秒 72.7 個 token

    想在家用電腦跑大型語言模型,買新顯示卡可能很花錢。這篇評測用三張二手 Nvidia V100 組成總價 $1,042 的主機,測試 Qwen 3.6 35B;在 4K 上下文時,每秒約產生 100 個 token,到了 128K 仍有 72.7 個。作為比較,三張 P100 在相同條件下只有 40.2 個,V100 每次測試的 GPU 耗電也約是 P100 的一半。作者提醒,各臺裝置使用的執行工具不同,因此比較數字只能大致參考。

    推薦理由:這組測試比較不同退役 GPU 在長上下文下的速度與耗電,也列出自組成本,可用來評估舊卡能否應付本機模型推論。

  10. Dev.to Top Tech66

    如何調整 Claude Fable 5.2 的推理投入,降低 AI 工作成本

    使用 AI 服務時,換模型會影響帳單,模型思考多久也會。Atomic Agent 團隊用同一個程式修正任務比較 Opus 5.5 和 Fable 5.2,四種設定都通過 59 項測試,但每次花費從 $0.97 到 $7.70。Fable 5.2 從高推理投入改成中等後,成本少了 76%,完成時間也縮短 84%,結果相同。作者建議先挑一項固定工作,用不同設定各跑三次,再比較每次完成工作的費用;例行、容易檢查的工作可試著調低投入,困難或出錯代價高的工作則可能值得多花費用。