我釋出了很多東西,也學到更多 :)
我釋出了很多東西,也學到更多 :)
Theo Browne 認為 AI 編碼 harness 正逐漸成為隱形的實作細節,他呼籲開發者把重心放在能力與價格,而非工具本身,並透過與既有創作者建立關係來打造通路。
Podcast 專家音訊節目
收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情
作者展示了利用多模型評分迴圈將 UI 從 6/10 提升至 10/10 的可複用方法,對開發者在缺乏 UI/UX 人手時提供實務參考。
Theo Browne 是 T3 Code 這個代理式開發環境的創造者。他主張,AI 寫程式的「外殼」(harness)正逐漸變成實作細節,使用者不必再在意;真正能槓桿的地方,在於把模糊的問題轉換成可量測的評測(eval),讓代理能沿著評分持續爬坡。本集大部分是現場實作:Browne 把大半時間花在錄兩支長影片上——一支講為什麼外殼幾乎不重要,一支講如何用多模型「評議會」把 T3 Code 的 UI 從 6/10 一路爬升到 10/10——另外還有一大段聊天室問答,談新創、通路,以及他自己的產品。標題說「出貨很多」並不誇張;外殼論述是全集的智識核心,但只佔了錄影的前一小時左右,並非整集。
Browne 的視角相當罕見:他同時經營三家公司(T3 Tools、T3 Content,以及創作者合作經紀公司 10XN),把 T3 Code 當成免費開源專案維護,而且在 Anthropic 與 OpenAI 兩個生態系都涉入夠深,對雙方的路線圖都有意見。讀者讀完應該能帶走三樣東西:一套具體可複用的技巧(用多模型評分迴圈當作評測)、一個清楚的 LLM/外殼/介面分層心智模型,以及 Browne 對代理工具市場走向毫不修飾的看法——包括他預測 T3 Code 一旦停止加速就會死。
外殼正變成實作細節,而 Browne 不想再談它了
Browne 的核心論點是:工程師鑽研的那一層不斷往上移,而外殼正是即將被吸收掉的當前這一層。他用一個堆疊來鋪陳:指令集被 C 取代、格式之爭被 Prettier 終結、框架被模型取代,現在輪到外殼被它上面那一層吸收。他的證據是各家外殼之間的差距已縮小到雜訊等級——他估計在跑 Codex 模型時,Claude Code 與 Codex 的差距只有「3% 到 5%」,並說這個差距是模型層的缺陷、日後會被修掉,而不是能長久維持的產品護城河。
他把外殼(讓模型得以行動的工具與語法——讀檔、編輯、bash、子代理)和介面(人實際接觸的東西)分得很清楚。他認為 Claude Code 是一個介面,裡面綁了一套外殼(Agent SDK)。T3 Code 則是介面加上一層資料平面(T3 Code MCP),讓某個外殼能把工作轉派給另一個外殼,而不必棲身於任何單一外殼之內。正是這個架構選擇,讓 T3 Code 能一鍵在 Claude Code 與 Codex 之間切換,同時保留各外殼原生的 skills 與外掛。
| 層級 | 是什麼 | Browne 點名的例子 |
|---|---|---|
| LLM | 只負責生成文字 | Opus 5.5、GPT-6.1、Muse、Gemini |
| 外殼 | 模型用來行動的工具+語法 | Claude Agent SDK、Codex、Pi、OpenCode |
| 介面 | 人實際接觸的東西 | Claude Code CLI/桌面版、T3 Code、Anti-Gravity |
| 資料平面 | 透過 MCP 的外部繫結 | Supabase MCP、PostHog MCP、T3 Code MCP |
他反覆強調的實際後果是:使用者根本感受不到外殼。他們從 Claude Code 換到 T3 Code、加上 Codex,然後困惑於自己的 Claude skills 不見了——因為他們以為換掉的是整個盒子,其實只換了介面。Browne 形容 T3 Code 像「購物中心裡的美食街,你挑要走進哪個廚房」,並說模型選擇器其實就是外殼選擇器。
「我不管差距是不是比那更大。那是 LLM 層的缺陷,遲早會被解決。讓外殼變得不重要,正是我的目標。」
他也坦承這裡面有自身利益的考量,隨即又把它擱到一邊:如果外殼真的重要,他大可以打造一個很棒的外殼來贏得使用者;但事實並非如此,所以他選擇了更難的路——讓 T3 Code 與外殼無關。他提到這麼做的複雜度代價:「你知道我們的程式碼為了管理所有外殼底下各種不同型別的子代理,有多複雜嗎?爛透了。」並說 OpenCode 之所以比較好做,正是因為它不去支援每個外殼的怪癖。
多模型評分迴圈,在沒有設計師的情況下把 6/10 的 UI 拉到 10/10
這是本集最具體、最可複用的發現。Browne 沒有全職的 UI/UX 人手,還被公開批評 T3 Code 看起來很醜而耿耿於懷。他做了一個「評議會」skill:由三家不同供應商的強模型(Opus 5.5、GPT-6.1/Sol、Muse)各自檢視截圖並給 UI 打 1–10 分,另外刻意放進第四個沒用的「Jester」(Gemini),它的分數不予採計,輸出只用來記錄、博君一笑。接著他把這套流程當成爬坡來跑——反覆迭代,直到每位評議會成員都給到 9/10 以上。
結果逐輪如下:
| 輪次 | Opus | Sol(GPT-6.1) | Muse | 備註 |
|---|---|---|---|---|
| 1(基準) | 6.0 | 6.5 | 6.0 | Gemini/Jester 也約 6.5 |
| 2 | 8.0 | 8.0 | 7.5 | 第一批修正之後 |
| 3 | 9.0 | 9.0 | 9.0 | 達成原始目標 |
| 後續(加入 Claude Code/Codex 對照) | 7.1 → 8.7 → 9.0 | 7.4 → 8.1 → 8.9 → 9.0 | 7.9 | 加入競品後分數重新校準 |
| 最後衝刺(目標 9.5) | 總分 9.3 | 各類別皆 9.5 | 10.0 | 多跑了 10 輪 |
方法上的關鍵洞見是:當他把 Claude Code 與 Codex 的截圖放進比較組後,分數掉了下來,爬坡也變得更難——而且競品自己的分數即使截圖從未更動,也隨時間往上漂。這種不確定性正是他警告別把目標分數告訴子代理的原因(可能造成偏誤),也是他安排模型順序以節省用量的原因:先跑 Sol 直到分數拉高,再加入 Opus,最後才輪到 Muse。
成本與時間:約 17.6 小時的平行代理執行時間,總計約 400 美元,其中包含一次 152 美元的 beta 精修,單就畫面上展示的 UI 工作約 250 美元。Browne 拿這筆錢對照每月 200 美元的訂閱——後者最多可產出 12,000 美元的用量——所以對任何有 Claude 和 Codex 訂閱的人來說,這個實驗都很便宜。他也提到同一套技巧曾套用在一個更難、可程式化驗證的評測上:T3 Code MCP 的工具描述。
「只要你能把某件事變成評測,你就能讓它爬坡。這只是評測的搞笑版本。」
他對結果明顯感到意外:「我本來——我早就對這招的效果很驚豔了。靠,這真的有效。」他把成果以切換開關的形式推上 beta 分頁,並在直播中直接合併上線。
MCP 描述評測把上下文砍半,同時提升正確率
Browne 的第二次爬坡嚴謹得多,因為它可以程式化驗證。他把自己歷史紀錄中模型誤用 T3 Code MCP 工具的每一個案例都蒐集起來——該用子代理時卻開了新執行緒、該收斂的執行緒卻留在畫面上——加以分類,建出一份 85 到 88 個案例的評測。Sonnet 5.5 起初大約答對 60/88。
接著他依序給代理兩個相反的目標:先拿到滿分並提交為穩定基準,然後在維持滿分的前提下盡可能刪減工具描述,目標是原始篇幅的三分之一。那個執行緒「跑了靠盃久」,但成功了。實測的上下文用量降幅:T3 Code 減少 52%,開啟工具搜尋的 T3 Code 減少 78%。這項變更已進入 nightly,正朝 stable 推進。
他特別點出的失敗模式是:中間某一輪只拿到 63/85,比 66/85 的基準還低,之後才回升。這正是提交評測的價值——它能抓到代理在最佳化過程中自己引入的退步。Browne 更廣的論點是:這類工作在一年前根本不切實際(得花好幾個月手動蒐集資料),現在卻「算是小事一樁」,這正是評測驅動開發如今可行的原因。
Browne 看兩大實驗室:Anthropic 領先、OpenAI 落後,而 Agent SDK 的 bug 是真的
Browne 在直播中確認,Claude Agent SDK 的問題「絕對是 bug」,並非刻意設計,並說 Anthropic 正在處理——不過他也保留地說,他不確定對方是否已公開承認。他對這層關係很謹慎:「我比幾乎任何人都更需要跟這些實驗室維持良好關係,因為 T3 Code。」這也是他拒絕做那種讓使用者把多個 Claude 或 Codex 訂閱疊在同一個工具裡的功能的原因。
談到 OpenAI,他毫不留情:「老實說,除了 OpenAI 自己,有時候會覺得他們卡住了,對 Anthropic 的碾壓毫無對策。」他說自己沒有拿到 OpenAI 任何競品的早期存取,推測他們可能得「直接跳到 6.5 或 7」,並稱 Codex 的系統提示「一團亂」,把模型搞得「像被切除腦葉一樣糟糕」。他預測,一旦 OpenAI 追上,Codex 對 OpenAI 自家模型而言會明顯比 Claude Code 更好用——這又強化了他「外殼與模型正在收斂」的論點。
他也提到一個結構性的副作用:使用者之所以還能把訂閱方案用在其他工具上,可能正是因為 T3 Code 存在,因為「Anthropic 或 OpenAI 若把 T3 Code 弄死,場面會很難看」。
新創是糟糕的預設選項,通路才是真正的瓶頸
聊天室裡有個 14 歲的少年問新建立議,換來一段落落長的反創業說教。Browne 的原則是:只有當某個具體的缺口讓你氣到不行、心不甘情不願地非做不可時,才去創業。否則就去上班——人脈、運氣曝險和薪水,複利速度都比較快。他說自己根本不想當 CEO,如今卻「卡在當三家公司的 CEO」。
他最廣為流傳的版本,刻意寫得很灰暗:
「唯一會上升的,是你自殺的機率。而這偏偏又剛好對應到你朋友少得可憐,死了甚至不會有人想念。」
他把能撐下來歸功於共同創辦人與 Y Combinator——「我人生中最孤獨的時候,就是一個人創業」——並把新創的苦比作醫學院:同梯結構讓同樣艱難的經歷不那麼孤立。他說自己創業最大的錯誤是超額招聘,並點名裁員是他做過最難的事,而這正是他如今對人力規模與變現格外謹慎的原因。
談到通路,他打了個比方:想像寫程式至今仍要花十年才練得精、而且只有少數人做得到——你就不會去找大師請教你的第一支 app,而是付錢請他,或跟他交朋友。他給開發者的建議是去結交那些已經握有通路的人,因為「如果你說服不了我們用你做的東西,你就永遠說服不了我們的觀眾」。他也提到 10XN 旗下創作者的 YouTube 觀看數已突破五億,並隨手估算所有開發者中有 40–50% 會看到這些創作者的內容。
T3 Code 的商業現實:免費、開源,而且拚命保持領先
Browne 對經濟現實很坦白。T3 Code 沒有營收——「你沒辦法付錢給我們來用它」——團隊是三位全職工程師(Julius、Mark、Gabriel),加上在他其他事業任職的貢獻者。他賣一門付費課程(Mega Dev),明擺著是為了養團隊,並在直播中反覆叮嚀觀眾別用自己的錢買,而是報公帳:「我要養 18 個員工。我們得賺錢。」
他用加速的角度談競爭風險:Bammel 和 Human Layer 各自曾領先市場約 18 個月,但此後只前進了六個月,結果全被追上。他的結論是,T3 Code 若停止往下一層推進,也會以同樣的方式死掉——「敵人不是加速。現在連維持速度都不夠了。」
他也提到一個小小的工程勝利:修好 Windows ARM 版本。原本要花 10–20 分鐘的 Windows ARM64 建置,現在 3 分鐘內就能完成,做法是在 Linux 上交叉編譯 ARM 執行檔,只在 Windows 機器上簽章與驗證。他對這個平臺的評價毫不留情——「我他媽恨死 Windows,更恨死 Windows ARM」——並賭 Intel 修好自家晶片的機率,比 Microsoft 修好 Windows 的機率還高。
直播本身就是場災難,而版本在直播中壞了
本集開場是 Browne 在跟平臺故障搏鬥:新手機觸發 Google 身分重新驗證,害他無法開播;OBS 狀態不對;他的 M5 Max MacBook(128GB 記憶體、8TB 硬碟,當初花 8,000 美元購入,現在轉手價 12,000 美元)在直播中途死當,只能強制斷電重開。他當場讀了當機日誌,除了可能是鍵盤/觸控板鎖死之外,查不出確切原因。他說自己差點取消,但還是硬撐下去,因為接下來一週會很混亂,週三可能無法開直播。
收尾也是一場現場事故:他推的 nightly 版本一啟動就壞,他只好結束直播去處理——「要是我的審查迴圈裡有 Gemini 就好了。」他也提到另一個 Cloudflare Pipelines 的問題:他自己用代理建置的監控發現了嚴重缺陷,Cloudflare 的 CTO 後來還向他索取細節;他拿這件事當證據,說明模型如今在某些架構審查上,已經比推出這些系統的公司本身還行。
綜合:評測就是產品,護城河就是加速
有兩條線把本集串在一起。第一,Browne 最有價值的產出不是某個功能,而是一套*方法*:把模糊的品質標準轉換成分數,讓多個模型來評判,然後反覆迭代直到分數過關。他用在 UI 上(靠感覺、不確定性高,但還是奏效),也用在 MCP 工具描述上(可程式化、可驗證,上下文砍了 52–78%)。尚未解決的張力在於:靠感覺的版本並不可靠——同一張截圖評三次會得到三個分數、競品分數在毫無變動下也會往上漂、把目標告訴子代理可能造成偏誤。Browne 全都承認,卻照樣出貨,這件事本身就是個資料點,說明工具演進的速度遠快於嚴謹度。
第二,Browne 押注的每一層最後都被商品化,而他把它當成商業模式,而不是威脅。他預期 ADE 會在「非常近的未來」變得不重要,就像 IDE 和編輯器一樣;而他打造 T3 Code,就是要讓它成為能在那場轉換中存活下來的東西——靠的是站在外殼之上,而非藏在外殼之中。這招能不能成,取決於那些實驗室:如果 Anthropic 或 OpenAI 推出自家第一方 ADE,或者外殼與模型的收斂讓介面層變得微不足道,T3 Code 免費開源的定位就會從護城河變成負債。值得持續追蹤的是:Agent SDK 的 bug 會不會有公開的事後檢討、OpenAI 會不會推出足以與 Opus 5.5 競爭的東西,以及當評判的模型和被評判的模型是同一批時,評議會這套技巧還站不站得住腳。