跳到正文
Theo - t3.gg(youtube.com)· Theo Browne·· 11 天前品質評分58

選擇太難了

選擇太難了

重點導讀

Theo Browne 認為 Opus 5.5 適合可驗證的爬山式任務,Fable 5.2 則在創意工作上勝出,並主張開放權重模型正永久落後於閉源實驗室。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

正文

T3 Code 開發者 Theo Browne 主張,開放權重模型的競賽實際上已經結束:算力取得的差距、Anthropic 成功打擊蒸餾(distillation),加上遞迴式自我改進(recursive self-improvement),已經拉開中國實驗室追不上的缺口。這段論述以預錄影片形式出現在一場 345 分鐘直播的尾聲,是全集最具實質內容的段落。大部分時間裡,Browne 都在公開工作:處理 T3 Code 的 pull request 與資料分析、讀訂閱者訊息,並草擬另外三支影片——Claude Opus 5.5 對上 Fable 5.2 的比較、對 Google Gemini 4 Carbon 的爆氣開噴,以及對 Lauren「寫程式已死」一文的回應。標題所指的主題——難以在多個模型之間取捨——正是 Opus 對 Fable 那段的內容,約佔整場直播的五分之一。

Browne 是唯一的講者,也是這裡幾乎每一個數字的原始出處:T3 Code 安裝數、Token 支出、模型吞吐量、benchmark 差距,都是他自己的測量或他對第三方資料的判讀,本文一律以「他的說法」呈現。讀者讀完應該能掌握他的模型選擇框架(Opus 是講究細節的「Alan」,Fable 是快速出貨的「Brad」)、他反對 Gemini 的理由,以及他所謂正在擴大開放與閉源模型差距的三重機制。

開放權重模型正在落敗,三股力量讓差距永久化

Browne 的核心主張是:開放權重模型已經落後太多,他已經停止押注,儘管他過去曾是 DeepSeek 的早期公開擁護者。他把開放權重模型追平閉源模型的巔峰定在 2025 年 1 月——當時 DeepSeek 的 R1 推理模型推出,據他所述,在許多工上超越 OpenAI 的 O1,而當時 Anthropic 和 Google 根本還沒有任何推理模型。他拿出證據:2025 年 1 月 6 日傳給 YouTuber 同行 Fami 的 iMessage,說 T3 Chat 跑在 DeepSeek 上,因為它「又快又便宜,而且好得莫名其妙」;以及她後來承認他是對的訊息。

他證明「沒人拿開放權重模型做正經工作」的證據,是 T3 Code 自家的遙測資料。開放權重模型只佔平臺上 0.5% 的對話輪次與 0.7% 的 Token,而至少用過一次開放權重模型的安裝佔比,從 16% 掉到 6%。他說 T3 Code 現在每天處理的 Token 量已超過 OpenRouter——開放權重推論最大的聚合平臺——他據此認為 OpenRouter 表面上可觀的開放權重用量,大多隻是免費使用者。

力量Browne 的機制他得出的後果
算力規模美國閉源實驗室取得 GPU 的速度遠快於受進口限制的中國實驗室;他虛構了一個例子:5,000 顆對 1,500 顆 GPU,年增率分別是 2–4 倍對 1.5–2 倍算力差距是指數型,不是線性
蒸餾他認為 Anthropic 的推理軌跡(reasoning traces)是刻意劣化的,用來毒化訓練資料;OpenAI 則加密子代理(sub-agent)的提示,讓人讀不到開放實驗室賴以追趕的捷徑已被封死
遞迴式自我改進Anthropic 的模型協助打造 Anthropic 的下一代模型;OpenAI 的模型,他說,「連 div 都置中不了」領先者的優勢持續複利

他引用一個叫 MaxBench 的 benchmark,由 Justin Lowe 以開源的 DeepSWE 測試套件為基礎,對 89 個公開任務做小幅修改而成。只有 Opus 5.5 守住分數;GLM 5.3 掉了 12 分,DeepSeek V4.1 Flash 掉了近 30 分,某個 GLM 5.3 Flash 變體掉了 50 分。他還說,有個開放權重模型在他自製的「SkateBench」上拿了滿分,直到他把題目數量加倍,結果新題一題都沒答對——這就是他對實驗室追逐 benchmark 分數的解釋:「開放權重模型實驗室唯一能賺錢的方法,就是秀出誇張的 benchmark 成績,然後拿到資金。」

「現在還有人說開放權重模型在真實工程工作上跟 Fable 一樣好,那是自欺欺人。」

他把蒸餾戰爭連結到安全問題:他在直播中讀了一份 Orca Router 的報告,內容描述被竊的 API key 和被劫持的推論算力被廉價轉賣,他說重點不在轉賣利潤,而在蒐集請求與回應日誌當訓練資料。他提到 Railway 曾遭入侵,目的就是竊取 API key。他坦承希望自己判斷錯了,並列出能證明他錯的條件:出口管制放寬、出現新的蒸餾技術,或出現新的訓練方法。

Opus 5.5 是講究的審查者,Fable 5.2 是負責出貨的那個

Browne 的模型選擇框架是全集最可重複使用的內容。他把真正的選擇簡化為兩個 Anthropic 模型,其餘一概斥為「自我安慰」。他的比喻:Opus 是「Alan」,在這個程式碼庫待了六年的老手,熟知每一處粗糙的邊角,一個小 PR 也能留八條評論;Fable 是「Brad」,有 20 年資歷但到職才三個月,他的直覺是針對工程風險而非這個程式碼庫,會直接說「LGTM」。

屬性Opus 5.5Fable 5.2
個性老師的寵兒;想討人歡心;會把範圍愈做愈大坐在教室後排的聰明小孩;願意抄近路
強項反覆檢查;找得到邊界情況;每個角落都不放過找得出聰明的解法;敢質疑前提;能讓卡住的工作推進
弱點過度設計;卡在枝微末節;原地打轉會漏東西;當程式碼審查者表現不佳
最佳 effort 等級High(Medium 和 xHigh 也不錯;Max「很垃圾」)High;第一個在 Max 上表現比 xHigh 還差的模型
吞吐量約 112 Token/秒(Artificial Analysis:102–115)約 106 Token/秒——與 Opus 在誤差範圍內
訂閱額度完整每週配額每週配額一半;$200 方案下約 $3k 用量,Opus 約 $14k

他最簡單的規則:「用到你想從 Opus 得到更多為止。」第二條規則把任務分成可證明與不可證明兩類——如果正確性可以靠爬山法驗證,Opus 就夠;如果任務需要判斷、創意或探索,Fable 能找出 Opus 想不到的選項。他用 T3 Code 一個真實的效能問題說明:Opus 為長時間執行的對話串打造了極佳的測試環境,卻沒發現一個懸而未決、錨定在對話串開頭的待辦清單,會迫使整段歷史每次都被重新傳送。Fable 立刻看出來,在某些邊界情況下把網路傳輸的資料量砍了約 150 倍。

他還提到,Fable 是最願意說某個卡住的 PR 沒問題、直接合併的模型;而在他自己的審查品質評測中,Fable 的表現不如 Opus 和 Sonnet——他判定這個差距無所謂,因為 Fable 放行的每一個 PR 實際上都是安全的。他指出 Anthropic 自家的建議(Addy Osmani 的文章)是從 Opus 5.5 Medium 起步,範圍明確的工作降到 Sonnet 5.5 或 Haiku 5.5,最難的問題升到 Fable;Browne 不同意 Sonnet 那一段,他說在他某個專案上 Sonnet 每項任務花 $10,成果卻比 Opus 差。

Gemini 4 Carbon 根本不能用,Browne 把矛頭指向 Google 的推論堆疊

Browne 錄了一支影片,收回他先前對 Gemini 4 Carbon 相對溫和的評價,並在這裡預告了論點。他有憑有據的主張是:在同型別的代理工作流程(agentic workflow)中,Gemini consistently 比 Opus 5.5 和 GPT-6.1 Sol 慢五倍。他說原因不在 Token 吞吐量,而在首 Token 延遲(time-to-first-token)——從請求送出到有任何回應超過 11 秒,而且每一步都如此。他在直播中當場示範,陪觀眾一起等。

他說這個數字還低估了問題:在三次用 Carbon 當評審之後,他改了自己的 skill,叫代理們放棄等它,所以後來的測量排除了最糟的等待。他還說 Gemini 平均會把同一個檔案讀 8 到 16 次,而且快取不可靠——「有 30% 的機率它不從你剛寫入的快取讀取。」

這段後來演變成對 Varun 的個人攻擊。Varun 是前 Windsurf 執行長,現任職於 Google DeepMind,Browne 指控他在公開回覆中貼了笑哭表情符號,並把延遲問題輕描淡寫成 pre-fill 的取捨。Browne 的反駁:Varun 自己截圖裡的那個模型,是圖中所有選項裡最貴、最慢、表現最差的。他還指控 Varun 和兩位共同創辦人拿了 Windsurf 出售的錢走人,留下 130 人的公司,並對比他自己在 T3 Tools 與 Mark 五五對分的股權安排。他請 Varun 私訊他而不是公開回應,並表示願意把完整的 prompt 與環境日誌提供給任何想要的 DeepMind 工程師。

「朋友不會讓朋友用 Gemini。」

T3 Code 被貢獻淹沒,解法是關 PR,不是合併

Browne 花了整場直播很大一部分談 T3 Code 的營運。重點數字:排除機器人農場後的安裝數 692,933(他過濾掉來自單一 IP 的大量叢集,約去掉 40 萬),每天花費 $820 萬的 Token,未關閉的 PR 與 issue 共 34,597 件。他說專案曾在一天內收到 4,000 件,現在降到 3,700 件,七日平均每天 319 個 PR、110 個 issue,週三尖峰則是 466 個 PR、158 個 issue。

他說大約 70% 的功能需求和 bug 回報,講的都是 App 裡已經有的東西。他的政策現在很明確:不接受非員工的功能 PR;沒有內部背書、且已有三個未關 PR 的貢獻者,PR 會被自動關閉。他唯一想要的貢獻,是詳盡的 bug 回報,或協助分類待處理清單。

反面案例是一位 14 歲的貢獻者 Arjun,他一支關於降低 T3 Code 記憶體用量的影片爆紅,引來一波標註和引用推文,聲稱這個 App 是資源怪獸。Browne 說那個 PR 只會省下約 16 MB 的 RAM,卻讓搜尋慢四倍,而 T3 Code 實際上只用 150–200 MB。他強調自己不是在攻擊這個孩子,而是在講這種現象。正面案例則是一個範圍小、可量測的邊界情況修正,程式碼改動極少,他「零監督」直接合併。

他也證實 Microsoft、AWS(可能與 Amazon 內部的核心 fork 分開),以及至少一家銀行都有內部 fork,並說他送出了 Microsoft 通過安全審查所需的修改。他正在規劃一套擴充系統,打算花三天和 Fable 一起草擬最低限度的規格,因為多機同步會讓外掛(mods)比單機 App 難做得多。

語音轉文字是個「最爛的產品配最好的團隊」的市場

Browne 依輸出品質、以及各公司採納回饋的程度,替三款聽寫工具排名,結果兩個排名正好相反。TypeLess 輸出最好、上手體驗最差——15 到 20 分鐘的教學,其中五分鐘的翻譯練習他永遠用不到——團隊則被他形容為不願設想自己哪裡做錯。WhisperFlow 預設值扎實、團隊還算有回應,但有些他已經放棄的怪毛病。SuperWhisper 目前是他最不喜歡的產品,但創辦人每天主動要回饋,修 bug 也快。

他把自己的語音轉文字逐字稿全寄給 SuperWhisper 的創辦人,用來建立評測集,並看好它一個月內會變成他的最愛;他也提到它現在是 Omarchy 的預設,這點很重要,因為使用那套環境的 DHH 對未修的問題很容易不耐。他把對失敗的容忍度設定為「失敗必須能讓產品變好」:「我不介意東西出錯,只要我確信我遇到的這次失敗,會提高未來運作得更好的機率。」

「寫程式已死」是對的,哀悼值得同理,但不值得盲從

回應 Lauren 的文章時,Browne 同意手寫程式碼實際上已經終結——他說自己超過 90% 的程式碼是 Claude 寫的——但他主張這種失落是真實的。他在聊天室請大家舉手,問有誰記得那種 debug 到凌晨四點、在筋疲力盡中突然靈光一閃的經驗,並說他也很懷念,只是比多數開發者少一些,因為他找到了替代的滿足感。

他給正在為這個轉變哀悼的開發者的建議是:「學會愛上事情在動,而不是事情在哪裡。」他把 Boris(Claude Code)、Lauren(React compiler)、Matt Pocock 以及他自己在 AI 時代的成功,歸因於他們都是從 React 和 TypeScript 一路走來,而那裡不斷改朝換代是常態。他列出大約 20 個 JavaScript 框架,從 jQuery、Knockout 一路數到 React、Vue、Svelte、Solid 和 htmx,來佐證這一點。

他劃下一條界線:在不知道 Lauren 寫了 React compiler 一大部分的情況下,就攻擊她是「vibe coder」——「你比你抱怨的那個 vibe coder 還不如。」他也主張 AI 對好奇的人和有身心障礙的人特別有利,而無障礙(accessibility)工作與代理可用性有重疊,因為兩者都依賴文字而非影像。

反覆出現的模式:Browne 用自己的資料當論據

每一個段落裡,Browne 都寧可拿自己的遙測資料,而不是公開 benchmark,而且他明講:「我快要到需要自己做一整套 benchmark 的地步了,因為每一個 benchmark 都很爛。」他批評 Artificial Analysis 的指數是從請求被接受才開始計時,沒把延遲算進去,他說這就是他低估 Gemini 遲緩的原因。他指出該指數從 v4 改到 v5,閉源模型平均掉了 2.4 分、開放模型掉了 13 分,並駁斥關於這次改版的陰謀論,說新數字只是比較合理而已。

他也提到 Anthropic 自家員工自報的生產力圖表,採對數刻度,顯示感知到的加速從 Sonnet 3.7 的 20–25%,一路升到一個他稱為「Model 4」的未發表內部模型約 12 倍。他說 Anthropic 會從公開模型中移除 AI 研究能力,並在 API 層封鎖,所以那些能力無法被蒸餾。

值得觀察的重點

開放權重的論點建立在 Browne 無法完全驗證的說法上——Anthropic 刻意劣化推理軌跡、OpenAI 加密子代理提示、benchmark 分數被大規模操弄。每一項都合理,但每一項都是他的推論。他自己點名的反證值得追蹤:Kimi K3.1 Pro 的權重已經釋出,他稱它確實不錯;他也說 OpenAI 與 Anthropic 之間的差距,已經證明一個算力充裕的實驗室能多快被一個自我改進的實驗室甩開。如果出口管制放寬,或出現新的蒸餾方法,他的論點會最先崩解。產品面上,要盯的數字是 T3 Code 的 PR 積壓(34,597 件且持續增加)、每天 $820 萬的 Token 支出,以及規劃中的擴充規格能否在多機同步問題讓外掛做不下去之前推出。

來源: Theo - t3.gg (youtube.com)
開啟原文

讀者討論

理性交流 · 即時討論