高品味測試員：我們一再回鍋的 AI 工具

OpenAI 開發者日（Dev Day）發布的內容，對每天實測模型的人來說大多令人失望；而更具實質意義的轉變是：真正站上產品最前線的，是個人 AI 助理，而不是寫程式的代理。這正是第一場「High Taste Testers」圓桌論壇的主軸，由 swyx 召集五位整天與前沿模型為伍的實務工作者：Alex Volkov、Ben Hylak（Human Layer 創辦人）、Dex Horthy（Raindrop 創辦人）、Allison Durham（自稱在「RC」做模型與 harness），以及 Ben Davis（YouTube／Podcast 創作者「NerdSnipe」）。

整場對話大多圍繞三件事：開發者日到底出了什麼、為什麼 Codex／ChatGPT 應用程式一直退步；模型陣容的現況（Opus 5.5、Sol 6.1、Jev 決策模型、Grok 4.7、MuseSpark）；以及每位來賓怎麼架設自己的個人助理——信箱存取、信任邊界、子代理（sub-agent）排程、MCP 閘道。標題講「什麼才真的有用」算貼切，但這集與其說是開發者日回顧，不如說是一場實務工作者對助理架構與模型選擇的導覽。

開發者日發布的東西很多，但重度使用者說大半都是退步

與談人對 OpenAI 開發者日發布內容的評價是：產品面負評，模型面勉強給一個讚。頭條是 Sol 6.1、「超高速」模式，以及 Dots——一款助理形態的產品，OpenClaw 的 Peter Steinberger 還特地回覆 Ben Hylak 說「天啊老兄，我們做出一模一樣的東西」。Alex Volkov 給 Thibaut 的第一個回饋很直白：Dots 必須做成獨立應用程式，因為他手上已經同時跑好幾個代理（Astra、Codex、goals、staff、通知），他要的是一個能獨立觀察、獨立發通知的助理。

反覆出現的抱怨是功能藏太深、應用程式太肥。Dots「深深藏在 UI 裡」，swyx 在第二側邊欄三點選單裡挖到的地圖功能也一樣。Ben Davis 說 Codex 桌面版「剛推出時方向完全正確，之後每一次更新都越來越不對」，認為開發者日多數更新都是退步——第二側邊欄手感很差、效能變糟，Dex Horthy 還回報離線時輸入欄會凍住。Horthy 的診斷是：這個應用程式感覺像 AI 寫的，「東西三不五時就隨機變動……你瞇著眼一看，會想說，等等，這是怎樣？」他舉例，OpenAI 把「fork chat」改名為「copy chat」，因為非開發者看不懂 fork。

| 發布專案 | 與談人評價 | 具體抱怨 |
|---|---|---|
| Dots（助理） | 方向對，包裝錯 | 藏在 ChatGPT UI 裡；應獨立成 app；企業版與消費版同時發布 |
| Sol 6.1 | 被低估，價格漂亮 | Sol 6 才早一週推出，品牌定位混亂 |
| 超高速模式 | 有用但很貴 | Ben Davis 約 20 分鐘就燒掉一整週的額度重置 |
| Codex app 更新 | 退步 | 多出側邊欄、效能變差、離線時輸入凍結 |
| 地圖功能 | 沒人發現 | 埋在第二側邊欄的三點選單裡 |

Ben Hylak 給出「為什麼什麼都藏起來」的結構性解釋：「如果我們為了那 800 萬個沒那麼 AI 中毒的使用者把它弄壞，就得把所有東西藏起來……相信重度使用者會自己找到。」Ben Davis 則把更深的問題定調為：產品「想討好所有人，結果誰都討好不了」——他喜歡 GrokBot 當工作助理、Muse 給一般消費者，但說 Codex 正在被稀釋，ChatGPT 卻越來越複雜。

真正沒解的問題是：執行到底在哪裡發生

Dex Horthy 最犀利的一點是：「任務完成，可以闔上筆電了」這個承諾根本是假的。他離開辦公室來錄音時，刻意讓筆電開著，好讓代理繼續工作。他試過雲端按鈕，看不懂怎麼設定，最後發現筆電一闔，工作就停了。Ben Hylak 對 Dots 的相關不滿是驗證（auth）：他有一個 Git repo，裡面是代理寫的 markdown 檔和指令碼，其中一支指令碼會從 Mercury（他的銀行）拉資料來寫每週更新。ChatGPT 裡沒有 Mercury 外掛，所以除非他一直開著 Codex 桌面版，Dots「根本沒辦法完成任何驗證，也用不了我這一年累積下來的任何指令碼」。

swyx 提出 PyDurable 作為反例：這套系統把所有代理狀態外部化到一份僅可追加（append-only）的日誌，讓工作能在本機與雲端之間搬移。Ben Hylak 提到 Mario 說過 PyDurable 在正式推出前一年內重寫了七次，而他自己的團隊正是因為不想把東西蓋在 OpenAI 或 Anthropic 不保證的 API 上，才選擇在僅可追加日誌上自建 coding harness。Alex Volkov 問有沒有 agents.md 標準；swyx 指向 Justin Schroeder 的標準化嘗試，但還沒有任何實驗室採用。

flowchart TD
    A["目前的代理狀態"] --> B["記憶體內的 session"]
    B --> C["筆電必須一直開著"]
    B --> D["雲端交接會斷"]
    A --> E["僅可追加日誌（PyDurable、Human Layer）"]
    E --> F["本機到雲端可轉移"]
    E --> G["還沒有實驗室保證的 API"]

Allison Durham 說遠端執行「是很難解的工程問題」，尤其是要為一般使用者把體驗做好。

個人助理才是真正的產品前線，而信任是瓶頸

Alex Volkov 正在「發動一場正名運動」，要把 agent 改叫 assistant，理由是「agent」對非開發者來說是個嚇人的詞，而「assistant」大家很熟——有錢人一直都有個人助理，現在實驗室要把這件事帶給每一個人。他預測實驗室能賺兩次：使用者拿回時間，實驗室則讓使用者黏上連續的 Token 串流，而不是一次性的問答。

信任這一題，與談人出現分歧。Dex Horthy 說 Dots 是「第一個讓我接上個人信箱的代理或助理」，先前他只把行事曆接給 Poke（一種 80/20 的取捨）。他點名自己願意交資料的公司就三家，依序是：Apple、Google、OpenAI——「對我來說沒有第四家。」他明確排除 Amazon 和 Facebook。Ben Hylak 也是第一次接信箱，起因是另一位創辦人提醒他，OpenAI 早就握有他的私密資料。swyx 說他在 Muse 預覽時拒絕交出信箱密碼，而且「除了 Gmail 之外，我永遠不會把信箱密碼輸入任何東西」——他要的是 OAuth 聯結器，不是密碼。

Ben Davis 畫出操作上的界線：「我基本上還是唯讀，要寫入得明確授權。」他用 GrokBot 處理信件，但要求寄出前先給他看草稿，並說大約每五封草稿就有一封夾帶他不想要的東西——包括機器人把信署名成「這個人的 Grokman」。Alex Volkov 反駁說，對最新模型而言，提示注入（prompt injection）「大致上已經解決」，並引用 Matthew Berman 的測試：越獄者 Pliny 對一個服務代理試了五次都失敗；再加上提示注入基準測試顯示，Astra 和 Opus 5.5「不信任任何來自系統提示之外的東西」。Dex Horthy 不以為然：「笨比惡意更危險」，而且不管意圖如何，誤判就是會發生。他舉 Instinct 的軼事：有人向朋友的助理索取信箱裡的 Netflix 兩階段驗證碼，結果還真的拿到了。

模型陣容：Opus 5.5 讓 Anthropic 找回寫作優勢，Sol 6.1 被低估

與談人談模型談得異常具體。Dex Horthy 的定調是：「Opus 級模型有靈魂……GPT 模型沒有靈魂——這是設計使然，工程能力頂尖，靈魂為零。」任何跟寫作有關的事他都用 Opus 5.5，並說 V6 系列他根本沒辦法用來寫作。Alex Volkov 提到 Sam Altman 公開承認 OpenAI 的寫作是弱項，並說正在追趕。Ben Hylak 說他在 Opus 5.5 之前感受完全相反——以前絕不會用 Claude 模型寫作——而 Claude 4.8「一團亂」，把使用者逼回 4.6。Dex Horthy 證實，Raindrop 從 4.6 換到 4.8 時客戶紛紛抱怨，還截圖說「我看不懂」。

swyx 指出 Anthropic 在 Opus 5.5 發表時做了不尋常的動作：等於公開切割先前的版本，還有研究員為 Opus 5 道歉。Alex Volkov 對「為什麼與談人感受不到品質下滑」的推論是：Anthropic 員工用的是未發布、無限制、超快的內部模型，「跟使用者拿到的體驗完全是兩回事」。

| 模型 | 與談人定位 | 值得注意的說法 |
|---|---|---|
| Opus 5.5 | 寫作最佳；讓 Anthropic 回神 | Ben Hylak 把人生第一次 Claude Code 額度重置用在這 |
| Sol 6.1 | 被低估，價格漂亮 | Ben Davis：「比大多數人以為的好太多太多」 |
| Grok 4.7 | 令人失望 | Token 效率差；超過 200K 上下文與高速模式價格翻倍 |
| MuseSpark | 便宜的多模態主力 | 1M 上下文，比 Gemini 便宜，支撐 Muse |
| Sonic（Fireworks） | 「你不該碰的最佳模型」 | 當 Opus 底下的便宜子代理很好用 |
| Luna | 速度取勝 | 與談人感嘆 Terra／Luna 的命名被放棄 |

Ben Hylak 的基準測試軼事：在 Slop Code Bench（出自威斯康辛大學實驗室）上，Opus 5.5 寫了大約三萬行，Sonnet 5 和 Opus 4.8 只寫了約一萬行——而 Opus 5.5 的產出有一半以上是測試。Ben Davis 提出「能力高原」的框架：模型逼近天花板、停滯，然後被一次階梯式跳躍突破；他把 Sol 6.1、Astra、Opus 5.5、Fable 5.1 歸入由「群集行為」與信任定義的新類別。

開源方面，Ben Davis 在 GLM 5.3 Flash 的規模還不明朗前就買了四臺 DGX Spark，並說這些 Spark 還漲價了。他在上面跑 V4.1 Flash，覺得對有驗證機制的爬山式問題很有用，但也說「OpenAI 的前沿和 literally 其他所有東西之間，有一道巨大的鴻溝」。Alex Volkov 估計，在前沿「又筆直往上衝」之後，開源大約落後一年。

Jev 決策模型：確實省成本，但爆紅示範多半很蠢

Ben Hylak 對 Jev 的看法是：技術上沒有開啟任何新可能——GPT-4o-mini 早就能做多數分類——但價格與速度讓它能用在新的地方。他最愛的功能是 log probs 回歸：「我其實很想知道……那個 Token 實際的輸出機率是多少。」Dex Horthy 補充，其他模型一直都能給結構化輸出，但「校準得很差」——不管提示怎麼寫，0 到 1 的分數就是會掉進 0、0.5 或 1。

Horthy 描述的實際好處是切換成本低：一旦有了標註資料，「把我現有的標註全拿來當 eval……只要它一致的比例超過 X%，你就只需要人工看那些不一致的部分。」Ben Hylak 則描述一套「窮人版 Jev」流程——拿一個失敗案例做成 eval，調整提示直到它通過。

Ben Hylak 的具體成果：一條代理式記憶管線，在 Jev（負責結構化輸出）與 Sol 5.6／6 模型（負責較重的工作）之間來回，再用 Jev 做排序與重新排名——「把 Jev 放進去之後，成本大概降了 10 到 20 倍。」他說在他們的 eval 裡，Jev 的答案與 Opus 5.5 高度一致，而且不用推理。Horthy 指出，前沿模型若不大量推理，做分類「慘不忍睹」。

Ben Davis 對這波討論很火大：「那些瘋傳的示範大多很蠢……蠢到不行。」他舉晚宴上那句「現在有了 Jev，我就能保證輸出一定是我要的格式」為例，說這只是人們在告訴自己早就知道的事。他最愛的實際用例是 command-K 選單——從三個字母排出 20 個可能的目的地，幾乎是瞬間完成。

至於 Cloudflare 的競爭模型，Ben Hylak 說數字「誇張」——小顆那款速度高很多還能打平 Jev，大顆那款在效能與速度上都贏 Jev。swyx 提到 Diogo 在自己的 Podcast 上大概講了七次「我不信基準測試」。Horthy 的反駁是：在狹窄的結構化分類上，對單一領域過度擬合沒問題，但 Jev 的賣點是資料多樣，這很難忠實地做基準測試。Alex Volkov 預測 Jev 會走向裝置端（WebGPU 版 Jev 已經有了），並說他是透過 Vercel AI gateway 用 Jev，而不是自己申請 API key。swyx 提到 TypeSafe 據傳有一輪 100 億美元的募資。

子代理排程是新工作流，而且每個人長得都不一樣

排程這段是整集操作密度最高的部分。Dex Horthy 用 Astra Ultra 的最快模式。Ben Hylak 描述一套「窮人版 Ralph 迴圈」：睡前排入 5 到 10 個提示（「做這個，現在讓它更好、壓縮、現在讀計畫、繼續讓它更好」），而且要有界，不能無界，因為「你讓模型整晚不間斷地跑，產出的程式碼會多到你根本消化不完」。swyx 則用一個 detached 模式的 skill，在 tmux 裡開 CLI 代理，讓他能同時跑約 40 個、看日誌、暫停、改進、重跑。

Alex Volkov 問過 Codex 團隊，Codex 能不能生出看得見、會對話的執行緒；對方說因為快取最佳化，子代理「明顯更好也更快」。他在某個設定下跑了 48 個子代理，兩小時就把額度燒光，只好改回預設值。Ben Davis 維持在 15 個左右，並說你直接叫 Sol 6.1 多生幾個就好。Volkov 建議把自動壓縮的門檻從預設的約 275K Token 調高到 1M。

講到壓縮（compaction），Dex Horthy 希望能關掉摘要式壓縮，改成直接截斷大型工具呼叫或圖片。他形容 Claude Code 的壓縮會產生「一種連結」——它會說「嘿，我看到你之前在做什麼了」。Ben Hylak 提到 Claude Code 以前會在內部把大型工具呼叫剝掉。Allison Durham 說她很愛 OpenAI 的壓縮，但覺得很慢。

「幕僚長」模式被反覆提起。Alex Volkov 在 Cursor 和 GrokBot 裡都用：「主執行緒完全不要做事……你的上下文應該是我和你的對話，而不是執行過程。」swyx 剛好相反——在主執行緒工作，把對話擺旁邊。Ben Davis 最難的問題只有靠 Ultra 加大量子代理才解得動，而主執行緒「唯一的工作就是派發子代理、幫它們計時，一旦它們停下來或偷懶，就繼續推它們」。Volkov 把它比作把工程師升成主管：主代理不該動手用工具，只負責派工與審查。

工具散亂、MCP 閘道，以及硬體押注

Alex Volkov 點出沒人解掉的問題：「我根本不記得哪段對話是在哪個助理裡講的。」助理之間的記憶匯入行不通，因為「那些複本到某個時間點就開始過著不同的人生」。他目前的分工：GrokBot 負責工作與公司管理（配一個幕僚長和 Linear 聯結器，讓機器人之間可以互相開票），Muse 負責語音驅動的雜務（「我的飯店離這裡多遠」），Instinct 負責不需要他資料的事。沒有壞處的時候，他會把同一個任務丟給三個助理，比較速度與品質。

Ben Davis 的解法是 MCP 閘道：一個中央連線層（Gmail、Google Drive、Notion），跑在家裡的 Linux 機器上，前面掛 Cloudflare DNS proxy，這樣每個新助理只要登入一次 MCP，就繼承所有工具、skill、提示與設定。他還是會用一些原生聯結器，例如 GrokBot 的財務聯結器。Ben Hylak 的配置仍是一個放指令碼與 markdown 記憶的 Git repo，透過 Claude Code 或 Codex 啟動。Dex Horthy 同時跑 Dots、Codex、自己架在 S3 上的「Google Drive」和信箱——而信箱仍是他最怕的東西，因為兩階段驗證碼都會寄到那裡。Allison Durham 說她只用 Codex，其他都不用。

Ben Hylak 唯一想要的寫入許可權是虛擬卡：他希望代理能針對每個供應商（AWS 對 G Suite）開一張 Mercury 虛擬卡，各自有額度與到期日，而不是所有東西都刷同一張。Alex Volkov 說他的代理正是這樣做——每筆採購生一張虛擬卡。

硬體方面，Alex Volkov 最期待的是整合：GrokBot 進 Tesla（語音轉文字給機器人，機器人再回報）、Muse 上眼鏡，以及 Zack 展示的 Charm 裝置——一臺 Tamagotchi 形狀的 Muse 家用機。他預測會立刻賣光，還說他的代理裡已經排好要買六臺的計畫。Ben Davis 問這為什麼還沒上 Apple Watch；Allison Durham 的答案是：那不是你的手機，而其他東西也不會是。Dex Horthy 的反對理由是充電疲勞：「要充電的東西已經飽和了」，他自己不戴 Apple Watch，因為一定會忘記充電。

被低估的選擇：Dex Horthy 說 Google AI 搜尋摘要「超級被低估」——約 300 毫秒就有答案，ChatGPT 要 10 到 30 秒，而且他覺得很煩，因為改了推理設定後會延續到新開的對話。swyx 用 Raycast 配鍵盤快捷鍵。Ben Hylak 開始用 Instinct 取代 Google 查簡短的事實型問題，例如半夜在阿姆斯特丹車站能不能感應信用卡。

值得觀察的重點

與談人的分歧比共識更有資訊量。Volkov 相信提示注入對最新模型大致已解，助理是讓一般人入門的關鍵；Horthy 相信意外洩漏才是更大的風險，所以不接信箱。Volkov 想要每個用途一個助理，接受記憶碎裂；Davis 想要集中式 MCP 閘道，讓切換成本崩解。底下那個未解的技術問題是：執行到底住在哪裡——Horthy 的筆電得一直開著，Hylak 的 Dots 碰不到他的 Mercury 指令碼，而 PyDurable 的僅可追加日誌是唯一有人點名、真的出貨的答案。如果有實驗室採用某種狀態標準，或做出可靠的本機到雲端交接，今天檯面上的助理產品會長得完全不一樣。另一條要追的線是 Anthropic 的內外部模型落差：如果員工永遠只用未發布、無限制、快速的模型，使用者回報的版本間品質下滑，可能就會一直沒被察覺，直到像 Opus 5.5 這樣的發表把基準重新校正回來。