Fable 5.2 實測評比
Fable 5.2 實測評比
Fable 5.2 拿下主持人給予的金牌評價,他們用它打造 3D 耶路撒冷模型、數位音訊工作站與影片剪輯器;Anthropic 的 Jeremy 則認為它最適合定義模糊的複雜任務,而非日常主力工具。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
Podcast 專家音訊節目
收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情
Kieran 是 Every 的作曲家兼工程師,他認為 Anthropic 的 Fable 5.2 是他第一個評為「金牌」的模型——這是一次範式轉移——因為它能承接一個龐大而模糊的野心,並自主執行數天到數週,打造出專業級軟體。Every 編輯團隊幾乎一致給出最高的「Reach test」評級,而這集 102 分鐘的節目大部分時間都花在實作上:3D 耶路撒冷、復仇者聯盟戰鬥場景、瀏覽器數位音訊工作站、內部影片剪輯器,以及一系列設計與交易測試。Anthropic 研究產品經理 Jeremy 大約在第 13 分鐘加入,說明產品定位、定價與排程架構;其餘都是團隊自己的測試。
與談者是 Every 的員工,他們在 Fable 5.2 發布前數週就取得早期使用權,中途一度失去許可權,直到這場直播前才重新拿回。Katie 是撰稿人,做了一個聖經研讀 App 和一個名為「Jerusalem Bench」的 3D 測試;Mike 負責評測與產品工作,做了一個漫威戰鬥場景,並清掉一份產品待辦清單;Kieran 做了 DAW 和影片剪輯器;設計師 Tyler 與金融/顧問分析師 Ryan 則分別補上設計與量化測試的視角。讀者讀完應該能清楚掌握:Fable 5.2 在哪些地方勝過 Opus 5.5(長時程、模糊、高度判斷性的工作)、哪些地方不適合(日常寫作、簡單儀錶板)、成本多少,以及 Anthropic 建議如何把它和較便宜的模型搭配使用。
金牌模型改變的是你的工作方式,不只是產出
Every 的 Reach test 分四級:紅(垃圾,永遠不會想用)、黃(有條件使用)、綠(日常主力)、金(範式轉移)。Katie、Mike、Kieran 都給 Fable 5.2 金牌;Katie 和 Mike 說這是他們第一次給出金牌。Dan 由 Kieran 代為表達,給的是綠色——他認為這對長時間建置而言確實是範式轉移,但時間與 Token 成本都很高,並說這是他用過最好的 Claude 寫手,但寫作仍偏好 Astra。Tyler 也給了金牌。
Mike 與 Kieran 共同歸納出的金牌定義,是能「把你帶進一種全新的存在狀態」的模型——你會用不同的方式思考自己的工作是什麼、自己能做哪些任務。他的證據是:在三週的使用期內,他估算自己一週做了大約八週的工作量。當許可權被收回、他回到 Opus 5.5 後,發現自己的野心「被抬高了一點」——他做的東西仍然更好,這說明模型改變的是他對「什麼可能」的想像,而不只是產出速度。
團隊一致意外的是,這個模型以 5.2 而非 5.5 之名推出。Katie 把她的評級比作「凱特·溫斯蕾以《為愛朗讀》拿了一座職涯奧斯卡,但又因為這部片、連同她整個職涯的總和再拿一座」。Jeremy 被直接問到為什麼不是 5.5 時,只說 Anthropic 做命名決策「基於各種理由」,並承認這個模型「有可能活得比那個版本號更久」。
一個反覆出現的但書:這個模型更慢、更審慎,而且要求你改變工作流程。Mike 說他必須讓更多事情並行,並把環境設定得更好——週五丟出工作,週日晚上回來收成品。他也警告「你的夢想必須附帶評測」。有一次他給模型一份簡報要它更新;它跑了很久,卻只讀了簡報的文字、沒讀圖片,結果出錯。凡是沒有給它正確工具、或沒給它自我檢查的方法,它的表現就會打折。
長時程自主性才是真正的躍進
這個模型最核心的能力,是在單一宏大目標上無人看管地執行數天到數週,而且隨著投入與執行時間增加,它會變得更好,而不是更複雜。Kieran 指出,有別於較小的模型,給 Fable 5.2 更多投入並不會讓它堆疊複雜度——「它就是做更多事,有時反而做更少」,這讓使用者能自行決定要花多少錢。
| 建置專案 | 負責人 | 執行時間 | 回報的 Token 成本 | 備註 |
|---|---|---|---|---|
| 耶路撒冷 3D 模型 | Katie | 約 24 小時(可能 36 小時;跑了兩次) | 未說明 | 42 個取自聖經的導覽站點、碰撞偵測、可走進的室內空間,包括最後的晚餐廳 |
| 復仇者聯盟紐約大戰,從霍博肯視角 | Mike | 週五到週日 | 以 API 價格計約 3,000 美元 | 角色時間軸、各角色位置、數千次走查測試,確認攝影機不會卡住 |
| 氛圍音樂 DAW | Kieran | 約一週 | 約 20,000 美元 | 由 C++ 編譯的 WebAssembly 外掛、支援 VST、Ableton Link、Push 控制器 |
| Every Cut 影片剪輯器 | Kieran | 一天(「一次到位」) | 約 10,000 美元 | Descript 風格的文字剪輯、時間軸、可呼叫 1,000 多個工具的代理、雲端 GPU 算圖 |
| 釀酒遊戲(「First Crush」) | Kieran | 未說明 | 未說明 | 由模型自己跑 36 小時的遊戲內流程做測試 |
Mike 的復仇者聯盟建置最能說明評測迴圈。模型知道這部電影,所以能規劃什麼事情該在何時何地發生,再拿這個標準答案來檢查自己。它跑了數千次測試,走遍不同區域,確認攝影機或角色是否卡在建築物裡。Mike 拿這點對比那些花費數百萬美元、看起來卻更差的紀錄片 3D 算圖,並提到 Every 的影片主管已經把播客攝影棚做成 3D 模型,用來規劃攝影機位置。
Kieran 對瓶頸的詮釋是這集最值得引用的一句話:「瓶頸在於我們連自己能想像要做什麼都還夢得不夠。」Jeremy 證實 Anthropic 見過這個模型「一次連續運作數週」。
Jerusalem Bench:差距肉眼可見的 3D 擬真度測試
Katie 發明瞭一個一句話的基準測試:「建出一個沉浸式、符合史實的 3D 耶路撒冷模型,時間設定在耶穌最後一次造訪並被處死的那一週。」目前已有三個模型嘗試過,策略差異極大。
- Astra 約 20 分鐘就交件,模型極簡、方向正確、地理位置準確——適合在繼續推進前快速確認方向。
- Argonne 交回一頁文字密集的「教科書頁面」包著模型;你很難真正進到 3D 場景,而且沒有碰撞偵測,所以會直接穿牆。
- Fable 5.2 交回高擬真環境:聖殿獻祭升起煙霧、符合時代的服飾、碰撞偵測,以及 42 個取自聖經的導覽站點。Katie 從伯法其(還看得到一頭驢駒)走到聖殿,進入希律王宮,再走上階梯,進到一間說得通的最後晚餐廳。
Katie 說這個建置教她的福音書後勤細節,比讀經本身還多,因為地理變得具體了——隔壁的村莊、橄欖山、密謀抓人的祭司長。她父母叫她把這個拿去賣,她也主動提供給任何有興趣的聖經 App 公司。Mike 沒有宗教信仰,他說自己去過耶路撒冷,卻很難想像苦路十四站;看到這個模型後,他認為它會被廣泛用在教育上。
Kieran 同時進行的建置,是一個溫馨但宅味十足的釀酒遊戲,網址是 firstcrush.town。他在過程中學到:發酵時葡萄固形物會浮起形成酒帽,必須壓帽;酒帽溫度太高會變成醋。他的心得是:因為這個模型同時擅長 3D、遊戲與解說,它讓「原本不會有人想做遊戲」的主題也能做成遊戲。
Vibe coding 現在能產出專業軟體,但也是專業級價格
Kieran 的核心主張是:他沒看程式碼、沒審 pull request、也沒做原型——他就是跟模型對話,並使用 Every 的「複合工程」工作流程。Mike 反駁「vibe coding」這個說法太低估它:「這是專業軟體……如果你真的很投入這件事,而且你是職業音樂人,你會用這套軟體。」
DAW(ambient.town)是代表作。它包含其他地方沒有的效果,例如可設定泛音、讓泛音共鳴的諧波殘響;包含平均律、純律與「憑耳朵」等調音系統;有 Mixolydian 調式設定;有能依要求生成合成器的代理(「讓它聽起來像鳥」);有即時輸入轉 MIDI;還能發布到一個電臺。Kieran 說他以前試過用較早的模型做這件事,每次都卡住,因為範圍太大——20 個合成器加 300 個效果,手工做不完。這次他請模型腦力激盪 50 個氛圍音樂專用效果,然後說「衝了,全部做出來」,而且反覆這樣做。
Every Cut(cut.every.to,Every 訂閱者免費)是他帶女兒去動物園那天花一天做出來的,現在已在內部使用。它有 Descript 風格的文字編輯器、分層時間軸、可呼叫 1,000 多個工具的代理、用於去背的雲端 GPU 算圖、與本地 Mac Studio 同步、代理檔,還有一個會採訪你、再把結果剪好的訪談模式。Mike 的反應是:Kieran 在「過去幾週內顛覆了三、四家市值數十億美元的公司」。
成本是張力所在。Kieran 的 DAW 花了約 20,000 美元的 Token,Every Cut 約 10,000 美元,不過他指出多數使用者是透過訂閱取得,而不是按 API 價格付費。他的論點是:對這樣能力的 App 來說,10,000 美元不算多,而且某些產品的種子前預算可能會下降,因為你需要的人變少了。維護成本也大幅壓縮:一個 Slack 指令(「c sweep」)會把錯誤回報、App 內錄影與錯誤訊息送進修復迴圈,Mike 說他曾在會議中提出一個功能需求,會議結束前就做好了。
Kieran 也特別稱讚程式碼品質:Fable 5.2 寫的程式碼「是你會想再留五年的」——維護良好、有風格——這也是他敢不看程式碼的原因。他建議把它用在既有程式庫中最有價值的部分,因為它在吸收上下文時更徹底。
Anthropic 的 Jeremy:Fable 5.2 是資深模型,Opus 5.5 仍是日常主力
Jeremy 的定位說明是這集最具操作性的指引。Opus 5.5 仍是預設:快速、有效率、日常工作的可靠選擇。當任務定義不清、規格不足、沒有乾淨的驗證迴圈,或單純就是很難時,才動用 Fable 5.2——例如科學發現、生物研究、物理工程(發布部落格展示了它設計出可運作的硬體),以及大規模軟體遷移,例如為了效率把整套技術棧改寫成 Rust。他的理由是:它可能花更少時間、更少迭代、整體更少額度,因為它第一次就做對。
定價方面,Katie 指出 Anthropic 把 Fable 的價格調降 20%,從每百萬輸入/輸出 Token 10 美元降到 8 美元,所以新能力比前一版 Fable 更便宜。Jeremy 補充,就每項任務成本與完成時間而言,Fable 5.2 對包括 Opus 5.5 在內的其他模型是帕雷托最優。另外還有一個新的「快速模式」——貴得多但極快——Every 團隊在測試期間未獲準使用。Jeremy 建議把快速模式用在互動性高、有截止期限的工作,然後再退回來、派出自主執行的執行緒。
他描述了兩種排程模式:
flowchart TD
A["任務進來"] --> B{"規格明確且例行?"}
B -->|是| C["以 Opus 5.5 或 Sonnet 5.5 作為主導"]
B -->|否,模糊或困難| D{"是多路展開執行,還是單一難題?"}
D -->|多個平行子任務| E["Fable 5.2 當排程者,分派給 Opus/Sonnet 代理"]
D -->|單一棘手障礙| F["Opus/Sonnet 主導,把 Fable 5.2 當顧問呼叫"]
E --> G["Fable 保留判斷,較便宜的模型負責執行"]
F --> H["Fable 讀取上下文、解開卡點、交回控制權"]
排程者模式適合會展開成大量平行執行的困難工作;顧問模式適合較小模型大致能處理、但會撞上複雜 bug 而需要「打電話問朋友」的工作。Jeremy 也提到投入等級:降到中等可換來更快的迭代迴圈,超高則是野心大、凡事都驗證。他說模型在自主研究迴圈與設計評測上已好很多,不過「模型在設計真正高品質的評測上還沒到很棒」。
設計、寫作與極限:預設風格、過度使力與過度指定
設計師 Tyler 給這個模型金牌,說它「在 vibe coding 上比其他所有模型加起來都好」,但不確定自己實際設計工作會多常用它。他的理由是:Opus 成本效益高,Sonnet Medium 就能處理他多數任務,而設計是迭代的,不是一次到位。Fable 5.2 在設計工程——互動、動畫、速度——特別出色,他看到其他模型沒展現過的細膩細節,例如一個相機介面會把太陽位置保留在拍下的照片裡,以及一個由模型自己提出的物理驅動拖拉甩動互動。他還展示了一張「calm box」接線圖,是模型根據他岳父那臺停產 20 年的 Schneider 硬體照片畫出來的。
Ryan 來自 Every 的顧問團隊,有金融與交易背景,他跑了約 150 次盲測,涵蓋不同投入等級與上下文視窗。他的發現是:
- 在高投入搭配 1M 上下文視窗時結果最好;高於高,設計產出反而變差——可能是模型想做得太多。
- 模型的預設美學會從大家熟悉的米白「紙張」背景,轉向他形容為「相當醜的綠色」的綠色調。
- 當他停用它的預設(奶油色背景、襯線標題、小字大寫的眉標),它就改成到處都用螢光黃。
- 請它「給我驚喜」時,它產出大量編織/織紋母題。
- 在知識工作上,第一級的文字測試與腦筋急轉彎幾乎每個模型都接近 100% 滿分;真正的差異在於多步推理——你現在做什麼決策、這讓你處於什麼狀態、以及這個狀態隨時間如何劣化。Fable 5.2 在這方面比先前模型「好得多」。更完整的 LLM 交易基準測試即將發布。
Katie 的寫作評估:這個模型很好讀,閱讀難度約在 7.5 年級(上一版 Fable 約 8 年級),不過她懷疑這種精簡語言長期下來是否會傷害理解。這是她第一個在低投入下起草、卻沒有明顯 AI 味兒的模型,她也用它寫了這篇 vibe check 的初稿。但它仍有「笨拙的傾向」——很愛在重點前鋪一段長軼事,而且不擅長處理資訊層級,這點 Dan 會挑出來。她的結論是:既然有 Opus 5.5,她不知道為什麼要用 Fable 起草。Mike 同意 Opus 仍是他的日常寫作主力,並建議用 Fable 處理高度技術性的主題或做實驗,再用 Opus 寫成文章。
Katie 的反例是 Marginalia,她的聖經研讀 App。給定詳細規格後,Astra 產出邏輯清楚、可用的版面;Fable 5.2 產出的東西較不可用,真正的聖經經文被埋了起來。她的假設是:這個模型擅長模糊判斷,但遇到死板的規格、又被賦予最大火力去做一個基本儀錶板任務時,就會出錯。
每個人首先想建什麼,以及哪些會開源
Mike 想把他在 Every 的 Checks 產品上做的「哲學彙編」推廣成一套涵蓋生活各層面的系統:監看他的 Slack、信箱與 Granola 會議紀錄,判斷什麼有意義,再把它呈現出來。Checks 版本讀了 143 份通話逐字稿加上 Slack 訊息,產出一個資料庫,用 12 句話定義 Checks 是什麼,並根據這些句子生成影片,還整理出已定案的工作規則、爭議區域,以及區分 check 與 case 的定義。Mike 說自己混亂又沒條理,模型挑出的重點比他本人挑得更好。他的結論是:「以後每一週都會是思考週。」
Kieran 想推進模糊、半成形的方向——例如把他的基準測試平臺搬到另一個框架,並加上無限畫布——這種事 Opus「只會把它弄壞」,但 Fable 能順著意圖走。他也很好奇它究竟在哪裡會壞掉,因為他還沒見過它徹底失敗。
Ryan 想研究過去三到六個月模型在哪裡跌倒,並突破每一代模型帶來的限制性信念。
Katie 要回去做 WordGood,一個包著她複合寫作外掛的文書處理器——這是她在 Fable 5 與 Astra 推出時開始、後來放棄的專案,因為她得自己除錯模型卡住的地方。她現在相信自己只要把能力規格講清楚,就能讓它被建出來,還開玩笑說要顛覆 Google Docs。
Kieran 說 Every 會把這些工作開源,包括 Every Cut、Every Type,以及 Every Checks 的部分內容,並會在週五的訂閱者營隊中說明實務用法。這篇 vibe check 文字版預計同日在 every.to 發布。
未解的張力:能力跑在版本號與成本模型之前
這集貫穿全場的問題是:一個這麼貴、這麼慢的模型,適合日常工作嗎?團隊的答案是有條件的:對於你非常在意、你能提供標準答案與驗證迴圈、而且你願意同時跑幾個專案並等上幾天的那些工作,它才划算。至於日常寫作、簡單儀錶板與迭代式的設計調整,Opus 5.5 與 Sonnet 仍是理性的預設——這點 Tyler、Katie、Mike 各自獨立提出。
兩件事值得觀察。第一,命名落差:Anthropic 把自家測試者認為是 5.5 的模型以 5.2 推出,而 Jeremy 不願解釋原因,這讓 5.5 究竟會包含什麼留下懸念。第二,經濟帳:每次宏大建置 3,000 到 20,000 美元的 Token 成本,只有在對照它所取代的工程師、設計師與外包廠商成本時才說得通;而 Kieran 自己也提到,一個可能取代而非輔助工程師的模型,令人不安。團隊自身的經驗——一週做完八週的工作、週五到週日清掉 75 個 PR 的待辦——是「輔助」最有力的證據,但這仍仰賴一位工程師 Nitesh 審查產出。