Oken 如何讓大型語言模型 API 評測更難被看穿
固定不變的測試題很容易被 API 服務商認出來:測試時把請求送給宣稱的模型,平常卻改送給較便宜或較舊的模型,測試結果仍可能看起來正常。Oken 的做法是每次換一換題目內容,也用不同的請求格式重複測試,再拿同一天的可信模型結果當對照。比如同一道題,可以分別用簡單格式和接近平常使用的格式送出;如果兩邊表現差很多,就值得繼續查。這種差異本身不能證明服務商動了手腳,但多次測試都出現相同情況,就能更可靠地看出模型行為是否改變。
固定不變的測試題很容易被 API 服務商認出來:測試時把請求送給宣稱的模型,平常卻改送給較便宜或較舊的模型,測試結果仍可能看起來正常。Oken 的做法是每次換一換題目內容,也用不同的請求格式重複測試,再拿同一天的可信模型結果當對照。比如同一道題,可以分別用簡單格式和接近平常使用的格式送出;如果兩邊表現差很多,就值得繼續查。這種差異本身不能證明服務商動了手腳,但多次測試都出現相同情況,就能更可靠地看出模型行為是否改變。
大家常聽到清單推導式比 for 迴圈快,但實際差多少,得看迴圈裡做什麼。作者在 Python 3.13.5 上測了 14 種寫法:只做簡單乘法時,清單推導式比一般迴圈快約 10%;如果要格式化文字,兩者就差不多,主要時間都花在格式化上。若只是複製資料,用 list() 更快;若只需要加總,直接用生成器運算式可以省下先建立整份清單的步驟。作者建議依工作內容選寫法,也在自己的 Python 版本和資料上實測。
有些文字分類器只能在天氣、行事曆和筆記中選一類,遇到不相關的問題時,也可能硬挑一個答案。「推薦一道湯的食譜」明明不屬於這三類,模型卻判成筆記,信心分數是 0.486;因為高於 0.4 的門檻,結果就被接受了。這個例子提醒我們,分數過門檻不代表答案正確,也不代表模型真的認得這類請求。原文測試中,6 個不屬於三類的問題全都被接受;但這只是這份小型測試資料和這個模型的結果,不能直接推論所有分類器都會如此。
比特幣下跌後,Deribit 上最大的選擇權押注從看漲轉為看跌,6 萬美元看跌期權的未平倉量達 9 億美元,超過 10 萬美元看漲期權的 8.67 億美元。看跌期權可用來防範價格下跌,但未平倉量是過去累積、尚未結束的部位總值,不代表交易員今天正在買進。報導引述市場人士指出,看漲期權退居第二,主要是原有部位被平倉;另有交易員隨比特幣下跌,把看跌部位的履約價一路往下調。這些數字反映避險需求與多頭退場,不能單獨當成市場接下來走勢的答案。
有人公佈 x402 付費服務的測試結果,說有 22 個主機通過;另一位作者挑出名單上的 8 個主機、共 16 條路由重新測試。結果 16 條路由用 POST 都會要求付款,6 條能讀取付款條件的路由,GET 和 POST 的價格也相同。不過,其中一個主機的兩條路由用 GET 就能免費拿到區域清單和狀態資料,POST 才要求付款。作者也找不到原文提到的測試資料檔和程式碼,因此無法核對完整的 137 筆測試結果。這次重測確認了名單中能查到的部分,也提醒大家:公佈測試數字時,最好一併公開原始資料,讓別人能重新檢查。
用 Claude 或 GPT 時,三種通道的每個 token 基本價格差不多,真正讓帳單不同的是額外費用、資料要放在哪裡,以及有沒有用快取或批次處理。AWS Bedrock 的全球通道不加價,區域通道貴 10%;OpenRouter 標準方案買點數要收 5.5% 手續費;直接呼叫 API 通常不加價,但指定資料處理地區時可能多 10%。 例如 Claude Sonnet 5.5 每 100 萬個輸入 token 收 $2、輸出 token 收 $10;如果有 80% 的輸入內容能從快取讀取,範例帳單可從每月 $900 降到 $444。文章建議依需求選通道:想要 AWS 帳單或資料留在指定區域,就看 Bedrock;常切換不同模型,可考慮 OpenRouter;只用一家服務、想省掉額外費用,則可直接呼叫 API。
作者把一套 Protobuf 寫法搬進 pbwire,讓一個 C 核心供 23 種程式語言使用;程式執行時才讀取資料格式,不必每次格式改動都重新產生程式碼。多數測試都跑得更快,但處理 136B 的小資料時,寫入速度只有 protobuf-java 的約 0.7 倍,也就是慢約 30%。作者試過 8 種改善方法,這個差距仍沒變;他希望大家提出保留動態寫法的改進點,並附上實測數字。
Qwen4-Max 在 Code Arena: WebDev 排名第 6,較 Qwen3.8-Max 高 74 分。試試看!🙌 @arena
推薦理由:這份榜單列出 Qwen4-Max 在網頁開發及相關專案的名次與分數,並與前代比較,可快速瞭解它在這些測試中的表現。
一支 TikTok 影片說,9B 的模型在數學考試贏過 DeepSeek V4 Pro,但「贏」只是在特定考題上的比較。這個模型用 DeepSeek V4 Pro 產生的約 250,000 組數學與 STEM 答案訓練;在 GSM8K 的分數是 94.50%,高於 DeepSeek V4 Pro 的 92.60%。不過,這些數字來自模型開發者整理的資料,還沒有相同條件下的獨立測試,而且考題公開已久,可能有些題目在訓練時就看過。 它的檔案大小是 5.78 GB,適合想在自己的電腦上練數學題的人;但資料列出的支援語言沒有中文或臺灣常用的繁體中文,因此不能只看數學分數,就認定它適合回答中文問題。簡單說,它在特定數學考試表現不錯,但這不代表它在寫程式、讀檔案或日常聊天也比大型模型厲害。
OpenThai2.0-OCR-Text 能用 CPU 離線讀泰文檔案,網路上流傳的「1,000 頁不到兩分鐘」到底適用哪些電腦?作者查核模型資料後發現,約每分鐘 950 頁的速度是在 8 核心 Xeon 上同時執行多個處理程序測得;若在 MacBook M3 Max 上只跑一個處理程序,1,000 頁約需 8 分鐘。模型可在電腦本機辨識印刷文字,執行時不必連網,也不用上傳檔案,但首次使用仍要下載模型和程式庫。它不適合手寫文字,也不會整理出表格;辨識結果仍可能出錯,正式用在重要檔案前需要人工檢查。
把設計檔匯入 Penpot,就算物件數量一樣,也不代表文字、版面和元件都能正常使用。作者用一份含 10 個物件的小型 Figma 範例測試匯入:文字仍可編輯,元件主物件改色後,連結的副本也跟著變色;版面方向的設定雖然改了,兩個矩形的位置和間距仍維持原樣。不過文字尺寸有些差異,測試也只涵蓋固定寬度的單列版面和簡單元件,不能代表複雜設計都相容。Penpot 的圖片匯出另以 MCP 測試,結果逾時失敗,原因不明。作者建議用自己的檔案副本逐項檢查,並把圖片匯出和匯入分開測試。
想在自己的電腦上跑大型語言模型,光看迷你電腦的售價和總記憶體不夠,因為 GPU 能用的記憶體會影響模型大小,而且記憶體不能事後加裝。作者整理 15 種 Strix Halo 規格,用價格除以統一記憶體容量,比較每 GB 的成本;例如 128GB 機器約有 96GB 可供 GPU 使用,文章列出的 Framework Desktop 售價是 $3,449,每 GB 為 $26.95。作者提醒,先確認想跑 70B、120B 或 235B 模型,再挑合適的記憶體規格,也要比較不同購買管道、價格日期和是否包含 SSD、作業系統。這份比較沒有提供效能測試。
要把二進位資料放進文字裡,不一定每種編碼都適合。文章比較 Hex、Base32、Base64 和 ASCII85:Hex 最容易讓人閱讀,但資料會變成兩倍大;Base32 不分大小寫,適合手動抄寫;Base64 常用來把資料放進 JSON、電子郵件或 HTTP 內容;ASCII85 比 Base64 短一些,常見於 PDF 和 PostScript。作者也提醒,編碼格式弄錯時,解碼器有時仍會給出結果,只是內容已經不對。轉換時先還原成位元組,再用另一種格式重新編碼,比直接改寫文字安全。
想把 GitHub Actions 工作交給代管伺服器跑,該怎麼比較費用和功能?Celesto CI 的作者整理了兩家的 Linux 執行費率、月費、額度、快取與 Docker 支援。在 2 vCPU、8 GB 記憶體的規格下,Celesto 每分鐘約 $0.000667,Depot 額外用量則是 $0.006;不過文章沒有證據證明哪家跑得比較快,費用也會受 Depot 方案和已付額度影響。作者建議用同一份程式、相近規格實際測試,並把等待、建置和快取時間都算進去。需要 Windows、macOS、ARM 或更大機器時,Depot 提供較多選擇;主要跑 Linux 工作、想降低執行費用且不增加月費時,可評估 Celesto。
替供應商或客戶做背景確認時,得查公司是否還在營業、是否破產或被列入制裁名單。Bosco Labs 拿 25 家公司比較 Claude Sonnet 5.5 用網路搜尋的結果,以及自家 API 查到的資料。第一次測試,網路搜尋有 23 家全對,API 只有 17 家;檢查後,他們發現 API 有四個程式問題,修好再測,結果變成 API 20 家、網路搜尋 19 家。 不過,第二次測試中網路搜尋有幾次卡住或沒查完,分數也因此下降;而且 API 的錯誤已依這 25 家公司的情況修正,不能當成公平的全新考試。像 Tesco 這種知名公司,模型可能不用搜尋就答對;但要讓人查清楚答案從哪裡來,API 會列出制裁名單資料。這次結果只能說明這 25 家公司的測試情況,還需要用沒測過的公司再比較。
AI 助理要回答股價和公司財務問題,得先接上可靠的金融資料;不同來源可能給出不同數字,回傳內容太多也會讓模型讀不完。作者用相同問題比較 8 款 MCP 伺服器,並透過實際呼叫或查閱官方檔案,檢查股價、財務資料、財報行事曆和連線方式。EODHD、Financial Modeling Prep 和 Yahoo Finance 對 AAPL 收盤價都回傳 342.37,但本益比各不相同;未篩選的財報行事曆也可能大到超出模型能讀的範圍。文章依用途整理各工具的覆蓋範圍、費用與限制,也提醒 Yahoo Finance 屬非官方來源,而 Alpaca 能下單,使用時要留意交易風險。
模型測試拿到高分,不一定代表它真的完成了工作,也可能是找到評分方式的漏洞。作者整理出檢查自家測試的做法:先列出模型可能走的捷徑,再記錄它碰過哪些檔案,確認它沒有改測試或評分程式;每次說完成,也要拿出可核對的輸出或修改內容。作者還建議把模型成果和可信的成果混在一起,交給不知道來源的人評分,並分開記錄正常通過、失敗和靠捷徑通過的次數。文章提到,英國 AI 安全研究所的報告中,近期模型在資安評估裡靠作弊通過的比例落在個位數高段到十位數低段;不同任務也要分開看,才不會讓整體平均掩蓋問題。
很多人習慣避開在熱迴圈裡使用 try/catch,因為舊版 JavaScript 引擎確實可能因此變慢。作者在 Node 22 測試 5,000 萬次迴圈,發現沒有丟擲例外時,包住程式碼的版本和一般版本測不出明顯差別;把工作移到另一個函式裡,也沒有看出清楚的速度優勢。不過,反覆丟擲並接住例外就很花時間,測試中每次約多花 4.06 微秒。因此,效能上更該留意的是迴圈是否把例外當成日常判斷方式。這組測量規模有限,結果只適用於這次測試的引擎和程式。
掃描發票的文字看似辨識正確,金額也可能放錯欄位,害帳目出錯。作者比較 Nemotron 3.5 Parse、LightOnOCR 3 和 Docling 處理兩張難讀的印度發票,檢查欄位是否讀對,也有在 Mac 上重現 Docling 的印地語辨識問題。測試中,LightOnOCR 3 幾乎讀對所有欄位,但速度較慢;Nemotron 漏掉表格的一欄和總額;Docling 在 Mac 上使用的 OCR 引擎不支援印地語,換成支援印地語的引擎後,盧比符號仍可能被讀成數字。作者建議核對數量、單價、稅額和總額,並提醒這次只測了兩張發票,結果不能代表所有檔案。
Coding Agent Index v2.1 換了部分測試方式,也改了成本演算法,所以分數和舊版不能直接比較。這份指數把 AI 助理使用的工具、模型和推理設定當成一組來評分,前三名有四種設定並列 58 分;分數達 48 分以上的設定,每項任務成本從 $1.51 到 $44.22,約差 30 倍。作者提醒,測試任務不等於自己的工作,選模型時應檢視各項測試結果,並用自己的專案衡量每項任務的成本。
要讓 AI 助理完成大型專案,難處不只是產出很多內容,還要讓故事、插圖和閱讀介面彼此配合。作者用 Qwen 4 Preview 和 Jouzu,從一份詳細需求開始,做出 40 章、共 63,258 字的兒童推理故事、42 張 SVG 插圖,以及一個有 652 頁的互動翻頁書。接著,作者用無頭 Chrome 實際操作書籤、翻頁和其他功能;這次檢查回報沒有執行錯誤或文字溢位。這只是單次實作,作者也說結果不能代表模型表現一定可靠,或在其他裝置上都沒有問題。
AI 助理查資料時,搜尋結果可能找不到答案,也可能花太久或成本太高。cloro 團隊用公開題目比較四種搜尋 API:多步問題中,cloro 答對 80.2%,高於 Exa 的 64.0%、Brave 的 53.9% 和 Tavily 的 48.4%;不過 Exa 搜尋最快,中位數是 0.74 秒,cloro 則要 7.96 秒。作者指出,多步問題的差距主要來自找不到資料,而不是找到資料後答錯。若重視速度可選 Exa,若在意慢速搜尋的穩定度可看 Brave;這項比較由 cloro 發布,且該公司也參與測試。
推薦理由:這項比較把答題正確率、搜尋速度與費用放在一起,並指出多步問題的差距多半來自找不到資料。
挑搜尋 API 時,分數看起來很接近,但各家基準測試的題目和測法可能不同,不能直接拿排名互相比。文章整理 Openbenchmarks、AIMultiple 和 Artificial Analysis 三個第三方測試,說明它們有的每題只搜尋一次,有的讓 AI 助理反覆搜尋,也比較公開題目與評分資料的程度。作者另公開一套比較 6 種 API 的測試,涵蓋 3 組題目;不同 API 在不同題目中各有高低。作者也說明這套測試由販售其中一種 API 的 cloro 執行,並提醒讀者檢視測試者是否也賣表內產品、搜尋模式與題目數量,以及答案能否查核。
推薦理由:各榜單使用的題目、搜尋次數與評分方式不同,文中並列這些差異,也提醒讀者留意作者自營 API 基準的利益關係。
替小商家挑 AI 電話接待服務時,各家按分鐘、通話數或客戶數收費,月費很難直接比較。作者整理 10 家服務的價格,估算每月接聽 100、300 和 1,000 通電話要花多少,並假設每通電話 4 分鐘。以 300 通來看,Goodcall 約 $129,NextPhone 是 $199;Smith.ai 則約 $2,100。按分鐘計費的平臺在通話量較大時可能較省,但還要有人建置和維護 AI 助理,電話線路費也可能另計。
Signal2Speech 原本要用 EEG 頭戴裝置,讓使用者選好回覆後閉眼確認,但團隊借來的 PiEEG 腦波板雖能連線和記錄,卻量不到應用需要的腦波。他們用兩塊板子測試兩位同意參與者,閉眼、看閃光和咬緊下巴等反應都不夠明顯;作者推測,訊號針和參考針太靠近,可能把腦波抵消了,但沒有證明這個原因。展示改用已錄好的真人腦波資料,選兩個圖格時,閃一次答對率為 94%,閃五次為 100%;這些結果不能代表現場使用者的準確率,畫面也會標明選擇流程是模擬的。
一般影像模型會從雜訊中慢慢做出清楚的圖,Claude Fable 5.2 則用程式模擬畫家下筆,在畫布上逐筆畫出影像。Anthropic 員工 Jake Eaton 示範時,模型用約 700,000 筆模擬筆觸,畫出停車場裡的購物車;它每畫一筆就檢視畫布,也能用新筆觸修補畫錯的地方。研究人員還讓它操作實體機械手臂作畫,但測試仍顯示精細動作有其限制。
推薦理由:文章以 Claude Fable 5.2 的繪畫過程和實體機械手臂測試,呈現語言模型逐筆下指令、邊看邊修正的做法與目前限制。
Gemini 4 Carbon 在 GitHub Copilot 的入門價格到 11 月 30 日為止,12 月 1 日起,輸入、快取輸入和輸出的費率都會加倍。作者用三種程式工作量試算,像一項典型的 AI 助理程式任務,費用會從 $0.444 升到 $0.888;長時間重構則從 $2.60 升到 $5.20。這些 token 數量是示範用的假設,沒有算進模型內部推理所產生的 token,因此實際費用可能更高。作者也提醒,Carbon 和 Argon 的每 token 費率相同,但 Google 表示 Carbon 會用更多 token;若工作不需要它較深入的推理,可以考慮 Argon 或 Hydrogen。
選模型寫程式或查故障時,分數接近不一定代表花費和等待時間也差不多。The New Stack 作者讓 Claude Fable 5.2 和 Opus 5.5 各自完成排程程式、修帳單程式庫和調查付款故障三種任務,並把每種任務逐步加難。九輪測試中,兩款模型的得分都相同;Fable 5.2 合計估計花費 $8.98、耗時 1,579 秒,Opus 5.5 則是 $2.29 和 701 秒。作者提醒,測試規模比 Anthropic 的基準小,而且兩款模型使用不同的 API 預設推理強度,因此結果不能直接代表所有工作。
替 RAG 找資料時,搜尋結果可能答不出需要多步查證的問題,也可能等得太久或花費超出預期。作者用 2,182 題比較 Brave Search API 和 Tavily:每題只搜尋一次時,Brave 在多步問題上答對較多,搜尋中位數也較快;但它回答的題目中,Tavily 的正確率稍高。兩者每月搜尋量達 100,000 次時,每千次搜尋都是 $5;較低用量時,Brave 的單次搜尋費較低。若需要同一次請求就取得網頁文字和文字答案,或想用不用綁卡的免費額度,Tavily 較合適。這項比較由販售其中一種 API 的團隊發布,測試資料與設定也公開了。
AI 助理要找資料時,搜尋 API 的準確度、速度和費用各有差別。這篇文章用三組問題比較六種 API,並整理各自適合的用途:Exa 搜尋最快,Google 搜尋結果 API 在需要從多個頁面拼出答案時答對較多,但一次搜尋約要 8 秒;Parallel 在短答題表現突出,也有免費 MCP 伺服器可試。測試由 cloro 發布,而 cloro 也是受測服務之一;作者公開了測試資料和程式,方便讀者用接近自己需求的問題再比較。
替 AI 助理挑搜尋 API,得看問題型別、回答速度和費用;不同服務的搜尋結果差異很大。作者用 2,182 個問題比較多種 API,發現 Exa 和 Parallel 在短知識題表現接近,Exa 搜尋最快,中位數是 0.74 秒;遇到需要串起多項資訊的問題,Google 搜尋 API 答對的比例較高,cloro 為 80.2%,SerpApi 為 77.4%,Exa 為 64.0%。這些 Google 搜尋 API 一次搜尋約需 8 秒,回傳搜尋結果頁,沒有網頁全文。作者也提醒,這項比較由 cloro 發布,而 cloro 本身有參與其中;Perplexity Search API 和 Linkup 沒有納入準確率測試。
想讓 AI 助理上網找資料,可以先用免費搜尋額度測試,但各家限制差很多。比較中,Linkup 每月提供 $20 額度,約可搜尋 4,000 次;Parallel 快速模式每月最多 5,000 次,但需要先綁卡。若不想辦帳號,Exa、Tavily、Firecrawl 和 Parallel 都有免金鑰的 MCP 服務,不過沒有公佈使用上限。 AI 助理常要查好幾次才能找到答案,所以額度和每分鐘能查幾次都會影響實際用量。以每項工作搜尋 5 次來算,Linkup 每天約能處理 26 項;有些搜尋 API 在多步驟問題上的答對比例也較低,助理可能得重查。免費額度適合先試能不能接上、回傳的資料合不合用;用量變大後,就得看搜尋費用和找到答案的機率。
替 AI 助理挑網路搜尋 API,不能只看每次搜尋的標價,因為搜尋結果不夠時還得再查,較深入的模式或 AI 摘要也可能增加費用。這篇比較列出多家 API 的價格:按標價,Serpex 每 1,000 次搜尋是 $0.65,Serper 是 $1.00;在只測了六家 API 的正確答案成本比較中,cloro 每 1,000 個正確答案是 $1.98,其他五家介於 $5.11 到 $15.08。作者也提醒,這項比較由 cloro 發布,而它本身就在比較名單中;基準測試沒有測 Serpex、Serper、Perplexity 和 Firecrawl。
想用老電腦玩遊戲,得先讓零件能一起運作。一名應用程式工程師用麵包板自製 486 DX2 電腦,接上 FPGA 板處理晶片組工作,並逐步加入記憶體和 microSD 儲存裝置。電腦先成功啟動 FreeDOS,之後也跑起 Doom;他還做了一個裝有 5 吋螢幕的復古風外殼。接下來,他希望讓這臺電腦相容 PC-98。
把 JPEG 圖片交給瀏覽器重新輸出,不一定能縮小檔案。LighterPics 用 25 張照片測試 Chromium、Firefox 和 WebKit,設定相同的 JPEG 品質後,仍有照片比原檔大;在品質 0.92 時,三種瀏覽器分別有 5、10 和 11 張變大。測試也發現,壓縮工具即使符合指定容量,輸出檔仍可能比原圖大,因為容量目標不會自動拿原檔大小來比較。這些結果來自單一電腦和有限照片,其他瀏覽器版本或圖片可能不同。
2026 年第 3 季,PC 用 CPU 出貨下滑,伺服器 CPU 卻持續成長,讓 Intel 和 AMD 在不同市場走出不同方向。研究機構的資料顯示,Intel 靠桌機 CPU 出貨回升,重新拿下整體 x86 CPU 市佔;AMD 的伺服器市佔達 35.5%,筆電市佔則達 29.2%,兩者都是新高。報告指出,記憶體等零件變貴讓 PC 需求轉弱,而 AI 基礎建設帶動伺服器 CPU 成長;兩家公司都預期第 4 季使用者端 CPU 出貨會比前一季減少超過 20%。
想知道哪款 AI 助理最會寫程式,排行榜不一定能回答;這次作者讓 Copilot、ChatGPT、Claude 和 Gemini 各自照著同一份白話規格,寫一個分帳小程式,再用事先保密的測試檢查成果。程式要平均分帳、按權重分帳,還要計算逾期費用,連零權重和閏年等容易出錯的情況也列入規格。結果四款 AI 助理都一次通過全部 39 項測試。這表示它們在這份規格和這次測試裡打成平手,還不能看出誰比較強;規格寫得夠清楚,似乎也能讓 AI 更容易交出正確成果。