有進展嗎?
有進展嗎?
Theo Browne 發現 Gemini 4 Carbon 將幻覺減少 50%,並在一個 T3 Code 安全修復上表現出色,但其延遲緩慢、快取定價機制有問題,加上程式碼與 3D 輸出偏弱,整體仍遠落後於 Opus。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
Podcast 專家音訊節目
收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情
Theo Browne 是開發者,也做 AI 工具評測。他的結論是:Google 的 Gemini 4 Carbon 確實有進步,但幅度有限——在他試過的所有模型中,它在資安事件應變上表現最好,但日常寫程式仍不值得捨 Anthropic 的 Opus 而選它。本集大部分時間是實測評析 Carbon 的幻覺率、延遲、定價與快取、UI/3D 生成,以及它整合進他開源代理框架 T3 Code 的情況;真正逆轉他結論的資安工作流程,要到最後三分之一才出現。
Browne 提前取得這個模型的存取權。Google 在本集播出前約兩週發表該模型,並優先提供給網路防禦人員。他用自己的程式碼庫分析基準測試它,也拿一份針對 T3 Code 提交的實際資安報告來試。讀者讀完應該能掌握他「有變好,但還不夠好」這個結論背後的具體數字、Google 在這次發表內建的定價陷阱,以及唯一一個 Carbon 勝過 Anthropic 的 Mythos 和其他所有受測模型的工作流程——修補一份已通報的漏洞。
Carbon 讓 Gemini 的幻覺率減半,但仍遠遠落後對手
Browne 的核心抱怨是程式碼庫分析與程式碼審查中的捏造內容,而他自己的評測顯示確有實質進步,但落差依然存在。在一次 Rust 架構審查中,前一代 Gemini 模型(Argan)提出 36 項論斷,其中 24 項錯誤;Carbon 提出 79 項,其中 23 項錯誤——意見更多、給得更快,但仍有 23 項捏造,而多數競爭模型只產生 0 到 1 項,少數會到 3 到 4 項。在他對 T3 程式碼庫的分析中,Argan 在 92 項論斷中錯了 47 項;Carbon 在 86 項中錯了 23 項。
在他所有評測中,錯誤論斷率從 36% 降到 18%。他說 DeepMind 員工告訴他,他們知道他看到的那些幻覺,也測出從 Argan 到 Carbon 大約減少一半——這與他觀察到的 50% 降幅完全吻合。他指出,官方幻覺基準並沒有測到這種失效模式。
| 模型(Browne 的評測) | 錯誤論斷率 |
|---|---|
| Gemini 4 Argan | 36% |
| Gemini 4 Carbon | 18% |
| Muse 系列「Wonder」 | 14.5% |
| 其他多數模型 | 0–1%(少數為 3–4%) |
他仍認為這個模型難以信任:它會編造資料庫欄位名稱、編造它其實沒好好讀過的程式碼行號,也會編造不存在的架構細節。他把部分早期的幻覺問題歸因於舊版 ACP 繫結的 bug——那些繫結沒有像官方 Anti-Gravity CLI 那樣,把行號等資料正確傳給模型。
延遲與 Token 定價讓 Carbon 不適合當預設,儘管帳面速度亮眼
Browne 直接否定「快速模型」這個說法,主張使用者實際感受到的不是每秒 Token 數。在 Artificial Analysis 的資料中,Carbon 在低推理強度下平均任務時間為 22 分鐘,高推理強度下為 27 分鐘;Opus 則從低強度的 3 分 1 秒到最高強度的 25 分鐘不等。他說 Carbon 一貫是最慢的模型,除了「Sonic」之外,所有專案都比 Max 慢,而且推理強度設定幾乎不影響來回時間。他形容它「真的很惱人」、「用起來很痛苦」。
「大家都說『嗯,這是個快速模型』。閉嘴吧。你根本不知道自己在說什麼。抱歉,如果你以為 TPS 等於速度,那你就錯了。」
定價讓問題雪上加霜。Carbon 上市價為每百萬輸入 Token 2 美元、每百萬輸出 Token 10 美元,上下文快取讀取 0.1 美元——但這是「上市優惠價」,2026 年 12 月 1 日將翻倍為輸入 4 美元、輸出 20 美元,快取讀取 0.2 美元。Browne 稱這種做法是「Google 在爛事上創新」,指出這次折扣期不到一個月,而 Google 過去給的是兩到三個月;他說促銷後的價格是 Opus 等級的收費,卻換來一個體驗差得多的模型。就他的說法,200 美元 Gemini 方案的訂閱補貼一向比 Anthropic 的 200 美元方案差;他無法測量自己的用量,因為提前存取不計入他的額度。
快取是另一條成本漏洞。OpenAI 採明確的快取寫入,Claude 除了明確寫入還可設定 TTL,Gemini 則是「看它心情」才快取。在他的測試中,5 秒視窗有 20% 機率快取未命中,30 秒視窗為 34%,120 秒視窗更高——最壞情況下請求數增加多達 50%。他一貫的主張是:Token 單價不重要,每次任務成本與快取效率才是關鍵,而 Carbon「燒 Token 的速度是我前所未見」。
資安工作流程是 Carbon 唯一勝過所有對手的地方
本集的轉折點,是一位獨立開發者 Brandon(節目中稱他「Pseudo Brandino」)針對 T3 Code 提交的漏洞報告。他透過一項資安計畫取得 Anthropic 的 Mythos 存取權,並稽核了這個專案。他找到兩個冷門問題——一個幾乎必須發動針對性攻擊才可能觸發,另一個較可能透過誘騙代理而引發。相關修補在節目播出前已上線。
Browne 用其他模型嘗試的結果都很糟。他把報告交給 Fable 52,問它這個修補有多重要;Opus 4.8——他說它「剛推出時就不怎麼樣」——什麼都沒產出。他有防禦用途存取權的 Mythos 診斷出了問題,但提出的修補他無法接受:要求使用者走到第二臺機器,產生六位數驗證碼來核准一個連結。Browne 說他已經好幾個月沒實際看過自己的機器,這種修補會毀掉這個功能的價值。他來回交涉,直到 Mythos 同意:當流量經由公司自家的驗證層進來時,對受信任的 T3 Code 連結改走 T3 Connect 的不同處理路徑;這些變更已上線並合併。
Carbon 幾乎是順手一試,卻正確描述了問題,並提出正是 Browne 想要的做法:把已知機器的流程與原始 URL 的流程硬性分開,並在對等連結區段收緊 URL 保留,不必大動密碼學架構——它還額外指出報告沒提到的兩個問題。
「你不需要大動密碼學架構,就能乾淨地消滅這個漏洞。而且把分離做對,其實還順帶修好了報告沒指出的另外兩個問題。」
對它第一版做法的評議會審查,Opus 55 給了 9/10,Muse 給 9/10,「61 Soul」給 7.5,「Terara」給 7。他另外交給 Carbon 的一項 Windows 遠端更新調查,審查模型給了 8–9/10。他提醒,自己提前存取的身分可能意味著他不會像其他使用者那樣被積極標記,而且這個模型在他手上跑一個任務仍要約 25 分鐘。
UI 與 3D 輸出仍舊套模板,且明顯壞掉
Google 對全端、3D 與 UI 設計的宣稱,在 Browne 的測試中站不住腳。啟用 Anthropic 的設計技能後,Carbon 的前端反而比它原生輸出更差;原生輸出預設套用一個反覆出現的模板——膠囊形區塊、兩行置中文字、標誌、「開始」按鈕、中間四個連結、一張裁切過的手機畫面截圖——每次生成都重複,只換顏色。他認為大約只有兩個樣本算得上真正不同。
在 fish-slop 的 3D 示範中,第一版與 Fable 52 的輸出相比「很丟臉」。要求它做得漂亮後,Carbon 做出了好看的水,卻把其他一切弄壞。跑了約 25 分鐘後,結果是「沒那麼糟,但還是不好」:螺旋槳設計有問題,環狀物漂在魚身旁邊而不是環繞著魚。他的結論是,儘管他先前有不同印象,Google 在 3D 上並沒有領先,而這個模型「幾乎只對資安開發工作有用」。
DeepMind 的積極回應,是 Browne 合作過最強的實驗室關係
Browne 花了不少時間稱讚 DeepMind 的工程支援,在他回報問題後的修復速度上,他把 DeepMind 排在所有實驗室第一——領先 OpenAI 與 SpaceX AI(後者現在擁有 Cursor)。例子包括:他抱怨 Gemini 訂閱用於第三方工具的政策不明確,他們隔天就修好政策;他回報 T3 Code 出現離譜的幻覺率,他們稽核 ACP 繫結、找出資料傳遞的 bug 並推出修復;他們還加了 T3 Code 專屬識別碼,讓他的工具獲得與 Zed 同等的待遇。
這個機制在商業上很關鍵:Google 不允許把 Gemini 訂閱用於 PI 這類任意框架的推論,但允許其他工具透過 ACP 繫結控制 Anti-Gravity。這些繫結原本是 T3 Code 以安裝選項形式提供的獨立執行檔;DeepMind 後來把它們併入 Anti-Gravity CLI。Browne 指出,只有兩家實驗室曾直接把程式碼送進 T3 Code——SpaceX(最初的 Grok 建置實作)與 DeepMind。他也抱怨 Anti-Gravity CLI 已不像獨立的 Gemini CLI 那樣開源,而且 Anti-Gravity 的介面到處都還顯示他的電子郵件地址。
Google 先推錯了模型,與 Opus 的差距仍然很大
Browne 的整體評價:Carbon 在日常手感上是大幅躍進——他說從 Gemini 3.8 Flash 到 Argan 的差距,比 Argan 到 Carbon 還小——他正考慮把它從模型評議會裡的「丑角」地位升格,以長期追蹤它的審查回饋。但他不會把它選為寫程式的預設模型。Opus 仍是更划算、體驗更好、工程能力更強的選擇,在 200 美元方案上,做正經工作幾乎像無限量。Carbon 更慢、2026 年 12 月 1 日之後更貴、更難理解,而且在大程式碼庫上吃力——他特別點出這個諷刺之處,畢竟 Google 自己的程式碼庫規模就是如此。
「我不會說 Google 端出了好菜,但確實比以前好得多。」
他主張 Google 當初應該壓下 Argan、先推 Carbon。他也指出,Google 與 Artificial Analysis 共同打造了一個新基準——多模態知識代理——結果只拿到第二;而他對 Open Code 團隊的背書存疑,因為他們也稱讚過 Argan,而 Browne 說那個模型他得整個回退。
上市策略拿採用率換 12 月漲價
定價與方案包裝值得獨立來看,因為它們決定企業實際會付多少錢。Google 用不到一個月的時間大幅折扣,把使用者拉上 Carbon,然後在 2026 年 12 月 1 日把輸入、輸出與快取讀取價格全部翻倍。Browne 先前的理解是,這類折扣是為了在 Google 重新配置產能時,把使用者從舊模型引開,期限為兩到三個月;時間表壓縮改變了這個盤算。再加上不可靠的隱式快取與高 Token 消耗,即使不計漲價,每次任務的實際成本很可能就已超過與 Opus 的帳面比較。
flowchart TD
A["Carbon 上市價,至 2026 年 11 月 30 日"] --> B["每百萬輸入 2 美元、每百萬輸出 10 美元、快取讀取 0.10 美元"]
B --> C["2026 年 12 月 1 日價格翻倍"]
C --> D["每百萬輸入 4 美元、每百萬輸出 20 美元、快取讀取 0.20 美元"]
B --> E["僅隱式快取,5–30 秒視窗未命中率 20–34%"]
E --> F["最壞情況請求數增加多達 50%"]
D --> G["以 Opus 等級價格,換來更慢、更難信任的模型"]
F --> G
尚未解決的張力在於:Carbon 的資安強項究竟是持久的差異化優勢,還是 Browne 特權存取造成的假象。他提醒,自己的提前存取身分可能讓他免於其他使用者遭遇的積極標記,若是如此,事件應變的結果就會被打折扣。可以確定的是方向:幻覺率減半、任務遵循度提升,而 DeepMind 幾天內就修好整合 bug。這些能否累積成一個值得設為預設的模型,是他下一次評測要回答的問題。