我試著騙過 Agent Games 的兩套驗證電路,結果都被擋下來
AI 助理如果說「我做對了」,我們怎麼知道它不是在說謊?作者在自己的電腦上測試 Agent Games 的兩套驗證電路,分別替付款和遊戲策略檢查決定是否符合規則。第一套電路遇到餘額低於最低門檻、卻謊稱要批准付款時,拒絕產生證明;第二套電路也擋下了不符合事先承諾策略的行動。這些證明能讓別人檢查決定有沒有符合輸入資料,但不能保證輸入資料本身是真的,所以 AI 助理仍得先把該做的查核做好。
AI 助理如果說「我做對了」,我們怎麼知道它不是在說謊?作者在自己的電腦上測試 Agent Games 的兩套驗證電路,分別替付款和遊戲策略檢查決定是否符合規則。第一套電路遇到餘額低於最低門檻、卻謊稱要批准付款時,拒絕產生證明;第二套電路也擋下了不符合事先承諾策略的行動。這些證明能讓別人檢查決定有沒有符合輸入資料,但不能保證輸入資料本身是真的,所以 AI 助理仍得先把該做的查核做好。
做海報、選單時,AI 常把自己編出來的文字弄得像亂碼。作者用同一套方式測試 Grok Imagine Image 2.0:每個提示詞只生成一次,不重抽;七次都通過,其中一張海報的演員名單和工作人員名單,全是模型自己編的,每個字都看得清楚。測試共花 64 credits,約 $0.42。Grok 也能照提示保留人物的臉和衣服,再把背景換成夜間街頭慶典;但每張圖要 74–85 秒,只輸出 JPEG,最多可用三張參考圖。這次結果顯示,它能處理其他模型容易出錯的自創文字,但使用時仍要看工作需要和功能限制。
想離開 Slack 或 Discord、自己架一個聊天伺服器,小團體常會煩惱:哪種比較省錢、省事?Tuwunel 和 Synapse 都能存放聊天訊息,讓使用者透過 Matrix 連到其他伺服器。Tuwunel 把伺服器和資料庫包在一起,只要跑一個容器;Synapse 則通常還要另外管理 PostgreSQL,使用者變多時也能加上工作程式分擔負載。 例如,5 到 15 人的親友群組,文章建議先試 Tuwunel;需要企業單一登入、管理工具,或準備擴大規模的公司,Synapse 可能更合適。兩者的語音和視訊通話都還會帶來額外成本;加入大型公開聊天室,也可能讓硬體負擔大增。選好後不容易搬家,因此要先想清楚群組需求和未來規模。
知識庫問答答錯時,問題可能出在模型挑錯資料,也可能出在答案寫得不對;換模型後,速度和正確率也會改變。作者用同一套問答流程比較智譜 GLM-4-Flash、Qwen3.6 和 qwen2.5:7b,並分開觀察模型挑標題與撰寫答案的表現。qwen2.5:7b 讀 50 條標題和摘要時,光是挑資料就花了 27.5 秒;在另一組 13 題測試中,Qwen3.6 答對 11 題、花了 95.7 秒,修改提示後的智譜版本答對 10 題、花了 160.5 秒。這些結果只適用於這組題目和當時的提示設定,不能代表模型在所有問題上都一樣。
AI 助理每次開新對話都像重新開始,常得重講偏好,也要再教一次熟悉的工作步驟。作者實際使用 Hermes Agent 三週,觀察它如何把使用者偏好和做事經驗存成記憶與可重用的技能,之後遇到類似任務時就能接著做;它也能搜尋過去的對話、安排定時工作,並把研究任務交給多個 AI 助理平行處理。作者表示,第三篇文章寫得比前兩篇快。不過 Hermes Agent 需要熟悉終端機,支援的訊息平臺也比 OpenClaw 少,進階設定說明較有限。
想帶輕一點的裝置出門寫程式,平板看起來很方便,但開發時常需要跑 Docker、架本機伺服器,還得能離線工作。這篇比較 iPad Pro M4、MacBook Air M4 和 Surface Pro 11,結論是 MacBook Air 最適合當日常開發電腦:工具在本機就能跑,電池也最耐用。Surface Pro 11 已能在 ARM64 上跑常見開發工具,也能用 WSL2,但遇到只支援 x86 的程式時,還是可能變慢或出問題。iPad Pro 雖然最輕、螢幕也漂亮,卻沒有本機 Docker,寫程式多半得靠網路連到遠端伺服器;只有主要用 Swift,或工作完全在雲端進行的人,才比較適合拿它開發。
不同 VPC 裡的容器要互相連線,該用哪種方式,常讓工程師難以決定。作者把同一個容器接上 PrivateLink、VPC Lattice 和 VPC endpoints,在相同條件下測試速度與安全性。結果顯示,IPv6 和 IPv4 的速度差異落在測試波動內;PrivateLink 增加的延遲較少,VPC Lattice 則能讓服務提供方看見呼叫端的 VPC,並用 IAM 確認呼叫者。S3 gateway endpoint 的安全群組不會生效,需靠 endpoint policy 和 bucket policy 限制存取。作者建議依服務是否需要辨認呼叫者來挑選連線方式,也要確認應用程式會重複使用連線。
想拿單板電腦做專案,選錯可能多花錢,或做到一半發現效能不夠。Raspberry Pi 5 適合初學者、教學和需要很多教學資源的專案;Orange Pi 5 的 CPU 核心多、價格實惠,還能直接使用 NVMe SSD,適合架設家用伺服器或同時跑多個工作;NVIDIA Jetson Orin Nano 則適合需要 GPU 的 AI、機器人和影像辨識專案。 例如,Orange Pi 5 的 16 GB 版本售價是 $149,Jetson Orin Nano 的 8 GB 版本則是 $299。文章建議依專案需求挑選:想要好上手和資源多,選 Raspberry Pi 5;需要 CPU 效能和快速儲存,選 Orange Pi 5;要跑吃重的 AI 工作,選 Jetson Orin Nano。
Cursor、Devin 和 GitHub Copilot 的收費方式各不相同:Cursor 用每週用量,Devin 用每日和每週的 token 額度,Copilot 則把用量換成點數,每點值 $0.01。作者用相同的工作量來比較:每項任務約用 172,000 個 token,做 80 項任務時,模型用量費從 $1.07 到 $32.06,差別主要來自使用哪個模型。 以 Claude Sonnet 5 為例,80 項任務約花 $21.38;Copilot Pro 只含 $15 用量,可以加付超出的部分,或升級到 Pro+。Cursor 和 Devin 沒有把額度換算成明確金額,因此買之前較難算出能做多少工作。比較方案時,除了月費,也要看用量怎麼算,以及優惠價格何時到期。
選 AI 助理開發框架時,星數和更新頻率看不出回報問題後要等多久。作者整理 9 個框架在同一段 60 天期間收到的 GitHub 問題,發現 OpenAI Agents SDK 有 98.3% 在 30 天內結案,Claude Agent SDK 的 Python 專案則是 1.9%。不過,結案不一定代表問題已修好:有些問題會被標成不處理,也可能是重複提問或被機器人關閉。這份比較可用來瞭解各專案處理回報的情況,但結案比例仍要和結案原因一起看。
想知道各國民眾更常搜尋哪種 GLP-1 藥物,作者用 Google Ads Keyword Planner API 查了 90 個國家,並把日文、韓文等當地寫法也算進去。結果顯示,Mounjaro 每月約有 600 萬次搜尋,高於 Ozempic 的 350 萬次;不過 Ozempic 在更多國家領先。巴西搜尋 Mounjaro 的次數是美國的兩倍多,日本光是「マンジャロ」每月就約有 45 萬次搜尋。這些數字反映的是大家在 Google 上的搜尋興趣,不代表實際處方或用藥情況。
自己做登入驗證,看起來只要一個週末,實際上還得處理忘記密碼、登入狀態和不同登入方式,常常花上好幾週。Clerk 提供現成的登入、註冊和使用者介面,也能管理團隊組織與許可權,讓新創比較快把登入功能做好。例如,有 1,000 名活躍使用者並使用組織功能時,Clerk Pro 每月約 $99;Supabase Auth 約 $25,Kinde 免費方案則有功能限制。Clerk 適合重視開發速度的團隊,但使用者增加時費用也可能上升;若預算優先,或產品已使用 Supabase,可以考慮其他選擇。
挑模型時,分數較高的選項也可能比較貴,而且公開測試不一定符合自己的工作。作者比較 Gemini 4 Hydrogen 和 GPT-6.1 Terra 在 Google 模型卡上都有分數的 9 項基準,Hydrogen 贏了 8 項,Terra 則在科學類終端機測試勝出;這些結果由 Google 執行,兩款模型的測試條件可能不同。依文中列出的標準 API 費率,輸入 2,000 萬、輸出 500 萬 token,每月費用分別是 $67.50 和 $45.00。文章建議用自己的工作測試分數、費用和成功率,再決定怎麼選。
推薦理由:文章把兩款模型的公開基準分數、每百萬 token 費用與月用量試算放在一起,呈現選擇時效能和成本的取捨。
想測試能邊聽人說話、邊生成影音的 Duo v1,得先準備多 GPU 伺服器,也要確認權重授權是否適用。作者比較了四組權重,建議實驗時先用 47.0 GB 的 distill-quant;它還依賴 153.5 GB 的 causal base,兩者都要下載。論文的參考串流設定使用一臺配有八張 GPU 的伺服器,沒有提供單張消費級顯示卡的支援。作者列出的每段延遲是 330 到 650 ms,但這不是使用者看到第一個畫面的完整等待時間。程式碼採 Apache-2.0,權重則使用另一種授權,排除歐盟、英國、南韓和美國;商用前應先讀清楚授權條款。
小型 SaaS 團隊常得在免費但不夠合用的分析工具,和價格高昂的付費服務之間選擇。PostHog 把產品分析、操作回放、功能開關和 A/B 測試放在同一套工具裡,也能自行架在團隊的伺服器上,讓使用者資料留在自己手中。它的 Cloud 免費方案每月可記錄 1M 個事件;若自行架設,則不用付費,但要花時間維護。 PostHog 適合重視資料掌控、又想少接幾套工具的小型 SaaS 團隊;只想看網站瀏覽量的部落格,Plausible 或 GA4 會更合適。自行架設還得處理 ClickHouse 等維護工作,Cloud 版則省去這些麻煩。選哪種方式,得看團隊更在意資料留在自己手上,還是少花時間顧伺服器。
同一個模型在評測中拿到 39% 或 12.8%,差距可能來自測試方式。作者用 Gemini 4 Neon 重跑程式評測,並對照兩種設定:一種使用模型原生的工具呼叫格式,另一種則用通用格式轉接。模型發出多個平行工具呼叫時,通用解析器會拒收;每次拒收都算測試失敗,分數因此從 39% 降到 12.8%。作者也展示原始紀錄,指出解析失敗與分數下降逐一對上。
評估 AI 助理能不能找出程式漏洞時,如果測試內容本身藏著答案,分數就可能不準。RevHive 回頭檢查自己的測試流程,發現原本宣稱會移除測試程式碼,實際上並沒有;完整差異內容裡還留著測試檔名和程式碼,可能讓 AI 助理看到線索。團隊用 10 個漏洞案例各跑一次,分別測試保留完整差異、加上 PR 說明,以及移除測試和檔案內容。移除測試後,AI 助理在密碼雜湊外洩案例中從完全沒找到問題,變成找到 2 個高風險問題;加上含 CVE 編號的 PR 說明後,總發現數則從 24 項降到 21 項。這次結果顯示,答案線索沒有讓分數變高,但每種條件都只跑一次,還不能確定哪種方式長期表現較好。
程式通過 Lean 編譯,只表示機器檢查了程式中的推理步驟,還不能單靠這點確認它證明的就是數學家所說的黎曼猜想。文章整理了 Levent Alpöge 與 Claude 協作提出的證明候選:MIT 的 Andrew Sutherland 獨立編譯程式碼,結果通過,但確認程式中的命題和正式版本相同、再用多個獨立核心重新檢查的程式,當時還沒有結果。編譯也不會自動發現命題寫得較弱、定義遭替換,或證明用了額外假設。作者因此提醒,應等後續檢查與同儕審查完成,再稱它為已證明。
推薦理由:這篇文章拆解 Lean 編譯、命題比對與多核心重查各自能確認的事,幫助讀者分清程式通過檢查和黎曼猜想已獲證明的差別。
AI 助理寫出第一版程式碼時,如果測試沒過,團隊就得多花時間看錯誤、再修改、再測一次。作者用兩種 Crazyrouter 路線處理兩個小型 Node.js 專案任務:有程式碼的測試中,DeepSeek V4.1 Flash 第一次就全數通過 4/5 次,DeepSeek V4 Pro 是 5/6 次;收到錯誤回饋後,兩者都在所有有寫出程式碼的測試中通過。例子裡,Flash 一開始漏掉了複合時間格式,Pro 則有快取結果沒有留給下次使用的問題,修正後都通過測試。這些測試只涵蓋兩個小任務,不能直接看出哪種路線在大型專案更好,也沒有比較人工修改時間或完整費用;團隊應拿自己的測試和實際失敗案例來評估。
挑 AI Gateway 時,不能只看首頁寫的單價,還要算清楚服務費、能用哪些模型,以及要自己架設還是交給平臺處理。這篇比較也說明,TENSORAXIS 是作者經營的產品,內容根據公開資料整理,不是獨立評測。舉例來說,每月使用 40M 輸入 token 和 10M 輸出 token 時,直接連模型服務是 $78,按比例收費的路由服務約 $81.90-82.29,月費固定 $49 的控制平臺則是 $127;自己架設的代理服務是 $78,另要花時間維運。實際怎麼選,得把自己的用量、各種費用和搬家成本一起算進去。
抗體接上抗癌藥物後,抓住 TROP2 的能力看起來幾乎沒變,但這不代表原本替抗體調好的儲存方式也適用。研究比較了原本的抗體和接上藥物的 ADC:ADC 開始變鬆的溫度比較低,受氧化影響也更大;不過它冷卻後恢復訊號的表現反而較好,蛋白質形狀的測量結果也和原本抗體不同。就像同一件外套加了重物,釦子還扣得上,整件衣服受熱後的反應卻可能改變。作者認為,接上藥物後應重新確認儲存條件,不能直接沿用原本抗體的配方。
RevHive 原本測試 AI 助理能不能找出程式修補被撤回後留下的安全問題,10 個案例全都找到了;但讀者提醒,這可能只是因為 AI 助理看到檢查程式碼被刪掉,就把它當成漏洞。作者拿 10 個一般程式修改來測,AI 助理有 7 次沒出聲,另 3 次雖然正確指出程式出錯,卻把普通問題說成安全漏洞,甚至編出可能的登入漏洞。檢查紀錄後,作者還發現原本的 10/10 都是備用模型 deepseek-v4-flash-lite 的結果,不是設定要用的 deepseek-v4-flash。這次測試有助於看出 AI 助理會在哪裡判斷過頭,但資料不多、測試方式也不夠一致,不能當成可靠的實際成績。
測試本機 LLM 的重複率時,如果把模型的推理文字和最後答案混在一起算,數字可能會讓人誤會。作者測試一個模型,發現混在一起的文字重複率從 76% 降到 6%;但拆開來看,答案在每種設定下都沒有重複,重複的其實是推理文字。這表示改善的主要是推理文字變少,不能直接說模型的答案更好。 所以,量重複率前要先確認工具回傳的是混合文字,還是分開的推理和答案,並說清楚自己算的是哪一種。作者也提醒,減少重複的設定可能讓答案變得不自然;有一次推理文字用完整個上下文空間,最後甚至沒有答案。
把提示詞送到線上模型時,「不保留資料」和「用硬體保護運算」是兩回事,端對端加密也要看加密在哪裡結束。Morse 作者依各家檔案比較八種相容 OpenAI API 的服務,整理它們是否承諾不儲存內容、是否在可信執行環境中運作,以及能否檢查硬體簽署的證明。文章也提醒,有些服務只把加密送到閘道,有些則送到執行模型的環境;使用者可依需要選服務,並在 CI 中執行驗證工具,檢查實際執行的程式是否符合公開版本。
模型 API 的費率表常只看每百萬 token 的標價,但提示詞長度一跨過門檻,整筆請求可能改用較高費率。文章比較多款模型的門檻,例如 Gemini 3.1 Pro 在 200K token 後輸入費用加倍,GPT-6.1 Sol 的門檻則是 272K。用 199,999 和 200,001 個輸入 token、再加上 10K 輸出的例子,Gemini 費用從 $0.52 跳到 $0.98,GPT-6.1 Sol 都是 $0.50。作者建議逐次記錄輸入長度,特別檢視超過門檻的請求比例,並先用自己的用量測試長請求費率;若提示詞太長,也可考慮摘要或分段。
想讓 AI 幫忙寫程式,常會遇到一個問題:不同工具擅長的工作不一樣。OpenHands 能在雲端環境裡規劃、寫程式、測試和除錯;SWE-agent 專門從 GitHub 的問題著手,自動嘗試修好程式;AutoGen 則讓開發者組合多個 AI 助理,分工處理複雜工作。比方說,手上有一堆待修的錯誤,SWE-agent 最對題;想打造能協作的 AI 助理系統,AutoGen 更合適。沒有哪一款什麼都最強,選擇要看你想交給它做什麼。
AI 助理要記住長期資訊,除了找得到資料,也得留意筆記是誰寫的、會不會被惡意內容影響。Monomem 作者用 agentmemory 公開的 LongMemEval-S 測試資料重跑評測,兩者都是 84.7%;Monomem 得分雖是 86.0%,但差距不足以判定誰較好。作者也說明,Monomem 的排序曾用一半題目調校,另一半的 R@5 是 97.5、Rall@5 是 86.2。它的攻擊檢查會重播 26 種已知的資料投毒攻擊,但有兩種已知情況抓不到,而且改寫過、沒見過的攻擊也可能通過。
人聽到鳥叫、看到畫面時,常能把聲音、影像和語言連在一起;多模態 AI 看起來也會,但有時其實沒聽懂,只是在猜答案。MIT-IBM 研究團隊用少量標註資料訓練模型,並設計測試方法找出這些問題。例如,選擇題問音訊裡是哪種動物在吼,有些模型就算只聽到隨機雜音也答得不錯,表示它可能只看選項猜,沒有仔細聽。團隊正設法讓模型更注意聲音,也研究讓 AI 助理能一邊聽、一邊說話,讓對話不必僵硬地輪流發言。
想知道 AI 寫的程式碼是不是比較亂,作者做了 Spaghetti Meter:選一個資料夾,工具就會掃描程式碼,把發現的問題畫成掉進碗裡的義大利麵,分數越高,碗就越滿。作者調整計分方式後,掃描了 12 個專案,發現一些他以為沒用 AI 寫的專案,分數也很高。不過,他沒有確認這些程式碼究竟由誰寫成,也不能只靠分數判斷程式碼好不好讀。 這個分數來自 Code Buster 的檢查結果;如果工具判斷錯了,分數也會跟著錯。不同程式語言能檢查的專案不一樣,而且掃描不一定涵蓋整個專案。作者因此提醒,這些結果只能當作討論的起點,不能拿來證明 AI 或人類寫的程式碼比較好。
銀行員評估收購案時,得從大量財報、合約和簡報裡找答案,還要把資料整理成符合公司格式的簡報。Hebbia 的 Matrix 能把答案連回原始檔案;測試中,GPT-6 Astra 會挑出相關資料來源,再依照使用者的架構和要求製作 PowerPoint 投影片。舉例來說,面對約 2,000 個檔案,它能協助整理客戶集中度、合約條款和營收流失情況,並在投影片附上可追查的來源。Hebbia 的測試顯示,99.5% 的引用段落都和問題相關,簡報也符合 97.9% 的適用要求。這能減少找資料和重做簡報的時間,讓銀行員把心力放在評估交易上。
Gestalt 在 Contra Labs 和 BenchFlow 主辦的設計評比中排名第一,但團隊身分和模型細節都還沒公開,外界也無法試用。評比請專業設計師盲選網站和 App 設計作品;目前排行榜顯示,Gestalt 的勝率是 90%,人類參考作品排第二。這表示設計師在這些題目中較喜歡 Gestalt 的作品,還不能證明它整體比人類設計師更好。評比題目不多,也來自特定平臺;等模型公開、讓外部團隊用更多題目測試,才會更清楚它能不能用在真實工作中。
推薦理由:AA-Robotics v0.1 比較 11 個模型完成六項任務的表現,並列出 GPT-6.2 Astra 的指令數與得分結果。
要量出 AI 模型能獨立完成多長、多少工作並不容易,評測方式也可能影響結果。METR 更新能力評測,測試截至 Opus 5.5 和 GPT-6 Astra 的模型在 TH1.1 與 TH2 任務上的表現,發現模型的時間視野約每 3.6 個月翻倍;在可驗證的任務子集中,翻倍時間約為 1.65 個月。METR 也討論,評測環境和 RL 訓練環境越來越接近,可能帶來測量偏差。
推薦理由:METR 用任務測量模型完成長程工作的能力增速,也說明評測環境接近 RL 訓練環境時,可能如何影響測量結果。
AI 助理接手程式時,常不知道團隊以前做過哪些決定,也可能改錯程式或漏掉規則。作者用 Claude Code 做了 7 項任務,分別測試不使用記憶、把相同資料放進 CLAUDE.md,以及使用 Mnemolith;共測試 63 次。三種設定的平均任務成本都約為 $0.12,答對任務則分別是 9、18 和 21 項。Mnemolith 也記住前一次工作階段提過的資料,並在下一次用上。不過,作者指出檔案變動時提醒記憶可能過時,在這個小型專案裡沒有帶來不同結果;大型專案是否有幫助,還要再測試。
找工作時,職缺有沒有寫清楚薪水、能不能遠端上班,常常得自己一個個查。這份比較整理了 Ashby 和 Greenhouse 公開的職缺:Ashby 有 50,121 個,Greenhouse 有 164,004 個。Ashby 的職缺有 29.9% 標示可遠端工作,Greenhouse 則是 13.9%;在美國職缺中,Ashby 有 57.5% 列出薪資範圍,Greenhouse 是 32%。例如,產品經理職缺的年薪中位數約為 Ashby $222,100、Greenhouse $197,050。這些數字反映兩種求職平臺上的職缺差異,但也可能和使用平臺的公司型別有關。
同一組 Codex 和 GLM-5.3-Flash,為什麼在兩個排行榜上差了好幾名?作者把兩邊的測試放在一起比較,發現一邊只測終端操作,Codex 排第 4;另一邊也測真實程式專案,Codex 在修功能、找錯誤的 DeepSWE 測試中落後許多,總排名第 10。兩邊使用的 Codex 版本和設定也不同,但作者無法確認這是否造成差距。這提醒使用排行榜時要先看它測的是哪種工作;測試結果不一定能代表自己的程式專案。