跳到正文
Every (AI & I)(youtube.com)· Dan Shipper·· 4 天前品質評分58

GPT-6.2 Astra 與 Sol 重測

GPT-6.2 Astra 與 Sol 重測

重點導讀

Dan Shipper 團隊將 Astra 6.2 與 Soul 對上 Fable、Argon 與 Carbon 進行測試,發現 OpenAI 的模型速度快、跑分表現稱職,但過於精簡、風格千篇一律;而意外現身的 Gemini 4 Neon 則以更低成本達到同等水準。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

正文

OpenAI 的 GPT-6.2 Astra 與 Sol 在公開爭議後重新受測——爭議點在於受測版本是否已於審查後更動——結果仍落後 Anthropic 的 Fable 5.2、Opus 5.5 以及 Google 的 Gemini 系列模型(依 Every Frontier 團隊的基準測試),核心弱點如出一轍:過度精簡、過度強調可執行性,犧牲了推理與創意廣度。本集大致是逐模型重測的實測走查——涵蓋寫作、程式、編輯與創意程式任務——標題所指的主題(Astra/Sol 重測)約佔前三分之二,最後三分之一轉向 Google 新發布的 Gemini 4 Neon 初步評測。

與談者為 Every 的 Frontier 團隊:Dan Shipper(主持人、執行長)、Mike(評測負責人)、Kieran(Frontier 團隊)、Katie(專職撰稿),設計師 Tyler 與專職撰稿 Jack 於節目中途加入。OpenAI 的 Tibo 公開表示,先前的負評是基於後續已更動的預發布版本,團隊因此重跑「感覺測試」(vibe check)。結論是:分數「基本上沒動」,雖有幾項實質進步(一項初階工程師程式基準、部分編輯任務),但仍未達到競品模型設下的門檻。

重測結果變化不大:Astra 與 Sol 仍落後前沿

Mike 的主要發現是:預發布與正式發布後的分數幾乎持平。他對 Astra 預發布版、Astra 現行版、Sol 預發布版、Sol 現行版跑同一批任務,排名維持不變。個別任務有變動——一項「talk form app」的 vibe coding 任務在預發布版反而略高——他歸因於每次執行之間的自然變異,因為每項任務只跑一次、耗時數小時、消耗大量 Token。

唯一明確的進步出現在 Mike 的「初階工程師基準」,這是對 Dan 的資深工程師基準的戲仿。Mike 餵給模型數百張待辦工單,要求它只挑出指令足夠明確、無須反問就能完成的工單,再檢查它是否真的把 PR 做到應有的水準。Astra 正式版出現大幅提升——有一張工單進步 29 分——但平均仍低於 Fable 5.2,也就是該任務目前的最佳成績。

「看起來它至少在這一類任務上的程式能力有進步。但還是沒達到 Fable 5.2 的水準。」——Mike

Dan 的寫作回饋測試重現了最初的抱怨。給模型一篇文章、要求回饋加上改寫,Astra 6.2 把建議文案放在最前面,把編輯意見埋在最後;相較之下,Argon 產出大量可用的編輯建議。Dan 也點出一個在重測後依然存在的特定句式:「triple the runner-up's token count on Every's OpenAI leaderboard and our CEO Dan Shipper would still be in first place」——精簡,但語序顛倒。後來某次執行則以「Dan Shipper uses more than three times as many OpenAI tokens as the runner up」開頭,Dan 稱之為「絕對好多了」,這顯示只是小幅漂移,而非真正修正。

核心批評:為了速度與可執行性調校過頭

團隊的共同診斷是:OpenAI 把一些本質上不錯的特質——速度、精簡、推進行動——調過了頭,超過許多工適合的程度。Dan 認為這是模型開發的反覆模式:實驗室會在某個維度上過度矯正(讓它少爭辯,結果它什麼都同意;讓它多問問題,結果它問些惱人的問題),要命中甜蜜點「是藝術,不是科學」。

Kieran 的程式例子把這點講得很具體。在一項自動研究爬山式最佳化任務(「讓使用者互動更快」)中,Astra 在十二項改進裡只贏了一項——它找到一個慢的地方然後猛攻——另一個模型則通盤推理整個系統、全面改進,總體勝出。Astra 甚至在自己的輸出裡承認,它「在基準測試上一開始看得太窄」。

「它很擅長快速把事情做完。只是比較不擅長看大局,有時還會直接跳到結論。」——Kieran

Mike 的版本則是針對提問:模型「為問而問」,像研討會上問了一個答案不影響結論的問題的聽眾,有時甚至問自己剛剛才建出來的東西。他覺得用這個模型「很難不一直盯著」。

Dan 的綜合看法是:OpenAI 的模型長期屬於精簡、高效、把事情搞定的一派——這也是團隊許多人一年前從 Anthropic 跳過來的原因——但調到 12 之後,這項優勢在長時間、創意性或模糊的問題解決工作上反而成了負債。

寫作測試:開頭更吸睛,但意圖與語氣仍會走鐘

Katie 自稱「Claude 派」,會依任務拆分寫作工具組合。她跑了長期使用的寫作測試(同一道題目自 2026 年約 4、5 月起沿用),外加一項較新的「大綱/開頭/正文」測試。發布前的 Astra 樣本替 Dan 的自動化文章開頭寫出:「One way to create work for a software engineer is to give their manager the ability to write code」——她扣分,因為第一次讀的人無法把它連到主題。Sol 寫的「the more work we give AI at Every the more work it gives us back」她喜歡,但接著寫成「our founder's email」而非第一人稱的「my」,沒抓到自己在用誰的口吻。

發布後,Astra 在 extra-high 推理強度下產出的開頭,她判定完全沒抓到重點(「one of the best labor-saving devices at a small company is an engineer saying that'll take three months」)。在 high 強度下則產出:「AI answers about 95% of my email. You could look at my sent folder and conclude that a substantial part of running Every has been automated away. I look at the same folder and wonder how a man who writes so few emails can owe so many people a decision.」Dan 的反應是這段讀起來「clotty」——聽起來很有洞見,但什麼都沒說;他把這種失敗模式歸給 Claude 的寫作,而非 OpenAI 一貫的線性風格。

Katie 也發現模型不配合她的「30% 大綱」慣例(主論點、支援論點、結論、轉折),而是產出敘事性散文,而非可掃讀的大綱。她提到 Astra 有建議標題,Sol 沒有。

Jack 的編輯測試——他最常用的 GPT 工作流程,是在段落上留下精準的行內評論,再請模型逐條處理——結果 Astra 與 Sol 表現相當,也與先前版本相當,差異僅止於「個人品味的細微差別」。決定因素是成本與速度:Astra 在 high 強度下重測耗時 36 秒,之前約 2 分鐘;Sol 則約 3 分 60 秒——較便宜的模型在這項任務上反而更快,因此他看不出用 Sol 的理由。

創意程式測試暴露揮之不去的「固定風格」

設計師 Tyler 的測試方式是請模型做出互動式廚房物件(一顆蛋、一碗撒了柴魚片的飯、一張沾了果汁的餐巾紙),藉此檢驗物理、真實感與互動。他的結論:Astra「還行」,他甚至有點替它難過,因為 Opus 把期待拉得太高;Sol 更糟——他說用起來「有點生氣」,在互動與動畫設計上只給十分之一分。

量化發現是本集最驚人的部分。在她九個範例的重測中(以及先前約 93 個範例的較大集合),Katie 發現 Astra 約 94% 的作品都用同一段隨機數程式碼來生成顆粒疊層——即使她明確說過不要用顆粒——約一半使用 Georgia 字型。Sol 有 77% 使用該段顆粒程式碼。兩者都大量依賴一種她說她很討厭的黃綠色/黃綠色系(chartreuse)配色。Opus 與 Fable 在字型、顏色與疊層上的變化則大得多。

「我不知道該說『固定風格』還是『預設風格』才對,但這是我真的很不喜歡的一點。」——Katie

Jack 把這連結到自己的測試:用他幼兒遊戲間的照片生成一款賽車遊戲。GPT 版本在畫面上比以往好看,但玩起來「像在軌道上」——車子自己會跑、操控沒反應,感覺不像真的遊戲。相較之下,Carbon 雖有自身缺點,但感覺得到方向盤、也除錯得動。

開放式教育任務暴露意圖理解失敗

Katie 的複合寫作測試是最清楚的例子。她要求做一個遊戲化教學體驗,教使用者 Compound Writing 外掛怎麼運作,Astra 產出「Help Mel fix her lamp」——一個角色與任務,和產品看不出任何關聯——唯一有用的內容是角落一小段欄位指南。在她糾正(「我看不出這哪裡有教育意義」)之後,它產出一個測驗,卻預設使用者已懂它本來要教的概念。

Sol 雖然是較小的模型,表現反而略好,列出大致對應外掛流程的步驟(「set the desk, find the story, shape the piece, pull a proof, edit and sign off, make it compound」),不過「pull a proof」語意不清。Carbon 拿到同一道提示,開頭就帶入取自 Compound Writing 指南的「販賣機陷阱」概念,並解釋外掛的各個元件——內容很滿、不太算遊戲,但離教育目標近得多。

「我真正想從模型身上看到的,是它理解這是什麼意思、目標是什麼,然後做出一個能支撐這個目標的體驗。」——Katie

Gemini 4 Neon 來得快、便宜,且出乎意料地有競爭力

Google 在直播期間發布 Gemini 4 Neon(團隊前一晚、也就是 2026-11-17 才得知)。Dan 認為它是更快、效能更好的模型,直指 Carbon 的主要弱點——延遲。Kieran 的初步判斷是能力感覺「偏 Sonnet」。

他的第一個測試很說明問題:他把同一道爬山式最佳化提示分別給 Astra 6.2 High 與 Neon,Neon「把 Astra 電爆」——更快、最佳化更好,而且沒有卡在單一狹窄的修法上。它確實沒通過他的從零開始證明基準,12 分鐘完成但未達可接受標準,他認為這是小模型的限制。

Mike 的自動評測把 Neon 放在與 Astra、Sol 同一頂層水準——對一個小得多、便宜得多、快得多的模型來說很意外——但略低於 Hydrogen,目前他排名第一的模型。在一項 PowerPoint 生成任務中,Neon 產出的簡報相當於他對中階員工的期待,自己做出客製 SVG,並遵循 Every 的品牌風格指南,成本約 400 萬 Token,Astra 為 90 萬;Argon 在同一任務約用 1,000 萬。Mike 說若價格相當,便宜的垃圾分類工作他大概會選 Neon 而非 Gemini Flash;否則他仍會用 Opus 5.5、有 Token 時用 Fable,並以 Argon 作為第二意見。

Katie 的寫作測試則令人振奮:Neon 產出結構化的 30% 大綱,含受眾描述與三個開頭選項,其中一個(「My job title is staff writer, which felt a little absurd this week while I was shipping tabs for a word processor I built myself...」)她說她真的可能會用。Dan 指出 Google 模型有「完成主義」傾向,會把每個點都塞進同一段,但他稱 Google 模型與 Anti-Gravity 是目前最好的寫作工具之一。

模型家族各有個性,排行榜輪動極快

團隊反覆回到一個觀點:每家實驗室的模型都有可辨識的性格,而當基本知識工作已被解決之後,這比任何單一基準都重要。

實驗室/家族典型強項典型弱點
OpenAI(Astra、Sol)快、精簡、可執行、高效;擅長精準編輯與規格明確的任務過度壓縮;只挑一條窄路;架構推理弱;風格僵化(顆粒疊層、Georgia、黃綠色)
Anthropic(Opus 5.5、Fable 5.2)會推理「為什麼」、有創意、能貼合語氣,在 Mike 的基準上整體最佳會產出聽起來有洞見、實則空洞的散文(Dan 的「clotty」批評)
Google(Argon、Carbon、Hydrogen、Neon)輸出「怪」得不相關、多模態、寫作強、變異大、能長時間執行吃 Token(Argon 做一份簡報約 1,000 萬)、慢(Carbon)、輸出塞太滿

Jack 提出補充:OpenAI 在真實世界知識工作的基準如今大致已飽和,評測前沿已轉向創意與以前做不到的任務——這正是 Anthropic 與 Google 自 Argon 以來競爭的戰場。Dan 略微反駁,認為某個工作流程飽和,只代表還有更進階的工作流程(例如讓你的代理處理大部分 email)等著被測。

Dan 也拉出歷史脈絡:Google 在本集前幾個月還「完全不在賽局裡」,接著接連推出 Argon、Carbon、Hydrogen、Neon。他指出 Opus 5 在 Opus 5.5 成為團隊最愛之前普遍不受歡迎,並預測 OpenAI 也會在幾個月內以強勢模型回歸。

本集以團隊的實用建議收尾:Astra 6.2 與 Sol 6.2 有小幅進步,但在 Every 在意的任務上仍未達前沿;Neon 是值得一試的快模型,尤其適合作為進入 Gemini 家族的起點,完整感覺測試將於近日推出。未解的張力在於:OpenAI 的「速度與精簡」定位究竟是可長可久的策略,還是它把自己最佳化進去的死角——以及下一次發布會不會像 Opus 5.5 修正 Opus 5 那樣把它修正回來。

來源: Every (AI & I) (youtube.com)
開啟原文

讀者討論

理性交流 · 即時討論