AI 解決了共識問題,接下來還剩什麼
AI 解決了共識問題,接下來還剩什麼
Every 的 Dan Shipper 主張,AI 的價值不在於總體基準測試的分數,而在於一種「配置經濟」:個人憑藉自身獨特的視角與責任感,指揮已被商品化的 AI,產出非共識的洞見。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
Podcast 專家音訊節目
收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情
Every 共同創辦人暨執行長 Dan Shipper 主張,AI 能力基準測試衡量錯了東西:一旦模型的預設產出人人可得,價值就轉移到「特定的人為模型帶來的視角與責任」。他的證據是某一週的親身經歷——他分析了 Every 的季度客戶調查、為全員大會做了一款即時視訊遊戲,還用 vibe coding 打造了一套 CRM 來寄信給客戶。他說,這些工作在 2020 年大約要五個人來做,而他只靠一份 Claude 訂閱就完成。這場演講是 Every 首屆大會 Thesis 的閉幕主題演講,26 分鐘裡大半篇幅都花在這個案例,以及他從中歸納出的框架:「總體式」(aggregate)預測對比「貼身式」(intimate)預測,還有為什麼同一份調查交給四位同事,會得出四種彼此不重疊的洞見。本集開頭由主持人 Natalia Cantero 簡短開場。
Shipper 的立場其來有自:他經營一家 30 人的公司,而公司的核心論點正是 AI 能讓個人以遠大於自身的組織規模運作——這個主張他最早在 2022 年使用 GPT-3 之後發表。讀者讀完應該能掌握:他為何認為團隊與人類判斷在更強的模型面前依然更具優勢、他引用來佐證基準測試進展與 Claude 無法為自身預測排序的具體數字,以及他預先設想並逐一回應的反方論點。
基準測試的進展是真的,但這塊計分板本身選錯了
Shipper 開場先區分兩種預測未來的方式。「總體式」是蒐集大量資料、外推出一條趨勢線;「貼身式」則是聚焦單一真實案例,再從那裡往外推。他說,我們的文化偏好總體式,因為它感覺客觀、可量化,他也把這個領域本身的誕生歸功於它——縮放定律(scaling law)之所以成立,是因為系統一端投入更多資料與算力,另一端就能產出更強的能力,而這場大會正是靠它才有今天。但他主張,總體式會漏掉只有貼近觀察才看得見的東西。
他舉的總體式思考例子是 GDPval,這是 OpenAI 的基準測試:請領域專家把真實工作任務改寫成提示詞,分別交給模型和一位沒有 AI 輔助的人類執行,再由盲測專家評判哪一份產出更好。Shipper 引用的數字如下:
| 年份 | 引用模型 | AI 勝過人類專家的比例 |
|---|---|---|
| 2024 | GPT-4o | 12.4% |
| 2025 | (未指明) | 47.6% |
| 2026 | GPT-5.4 | 約 83% |
他說這項基準測試實際上已經飽和,並認為目前真實數字應該更高。接著他點出這帶來的心理效應:「能動性斷裂」(agency rupture)——因為人會認同自己所做的工作,眼看模型做出同樣的事,等於直擊自我認同。他也提到,2022 年、ChatGPT 問世之前,觀察者分成兩派:一派把 GPT-3 貶為「隨機鸚鵡」,另一派則預言兩年內所有工作都會消失——而這兩派讀的是同一張總體式圖表。
一週的工作,以前要五個人
Shipper 的貼身案例,就是演講前一週他自己的行事曆。在大會籌備的空檔之間,他完成了 Every 第四季客戶調查分析——他說這以前得靠一位資料科學家或成長部門的人;為全員大會做了一款即時視訊遊戲,讓員工比誰最懂客戶;發現了把 Every 賣給團隊客戶的商機;還用 vibe coding 打造了一套客製 CRM,然後用它親自寄信給客戶(「如果是這樣,我在此致歉」)。換算成 2020 年的編制,他估這需要一位資料科學家、一位遊戲開發者、一位產品行銷、一位工程師和一位 BDR(業務開發代表),大約 20 萬美元——而他只靠一份 Claude 訂閱就免費取得。
他自己先點出顯而易見的質疑:如果那五個職位的工作現在一個人加幾個代理就能做完,為什麼 Every 還有 30 個人?他說,答案就在同一份資料交給不同同事後所產生的結果裡。
同一份調查,四個人,四種答案
Every 的每個人都有同一份調查資料和同一個 Claude。每個人的職務決定了他往哪裡看,而他的視角決定了他把什麼排為重點。
| 人物 | 職務 | 從調查中得到的東西 |
|---|---|---|
| Dan Shipper | 執行長 | 把 Every 賣給團隊客戶的商機;打造 CRM 並寄信給客戶 |
| Yash | 市場進入工程師 | 首月訂閱戶在一個月後流失,因為 Every 寄太多信;寫了一個 PR 來修 |
| Douglas | 行銷主管 | 描繪出一群孤獨讀者的心理輪廓:他們熱愛 AI,卻覺得同事和家人認為自己瘋了 |
| Jack | 資深編輯 | 一檔黏土動畫風格的《家庭問答》遊戲節目來解說調查結果(《Survey Showdown》,主持人:Dan Shipper) |
Shipper 強調,Yash 和 Douglas 是在籌辦大會本身的同時做完這些分析,而 Yash 還協助打造了數千人整天觀看的客製直播播放器。同一份調查丟給 Claude 用預設提示詞跑,得到的結論是:寫作就是本業、套裝方案帶動留存、風險在於失焦與量太大。Shipper 承認這些全都沒錯——也正因如此它很廉價,因為人人都拿得到。團隊成員裡,沒有任何人交出來的東西接近這個預設答案。
Claude 能預測 Dan 會說什麼,卻無法從一堆答案裡挑出來
Shipper 回應最犀利的一個反方論點是:那能不能直接叫 Claude 產出 Yash、Douglas 或 Jack 找到的東西?他說可以,但有個前提,來自 Every 評測主管 Mike Taylor 的內部實驗——他試著預測 Shipper 會在 Slack 上說什麼。Taylor 成功了 93%,但前提是 Claude 每題能生成 400 個候選答案。其中總有一個是對的;問題是 Claude 排不出來。一旦要求它排序,正確答案只有約 60% 的機率落在前 10%,Shipper 說這跟丟銅板差不多。
生成真的很便宜,但排序很難。
他的結論是:團隊裡的某個人,對世界上某個特定領域負有責任,這會限縮他下提示詞的範圍;而他還有一個視角,決定他挑出什麼、認為重要到值得動手。調查裡潛藏著數百萬個洞見;責任限縮了搜尋範圍,視角則點亮了其中幾個。團隊把這套過濾機制乘上許多人,勝過任何單一的預設提示詞。
「2027 年的 Yash 對上 2027 年的 Claude」是場被做球的比較
Shipper 預先設想有人會反駁:排序能力一年內就會進步,他也同意大概會。接著他一步步拆解這個比較的框架:
- 拿 2026 年的 Yash 去比 2027 年的 Claude,本身就不公平;到了 2027 年,Yash 又多了一年經驗,而且他自己也會用 2027 年的 Claude。
- 等式右邊那個 2027 年的 Claude,總得有人把它架起來——無論是常駐代理還是執行框架(harness),都還是要人來啟動。2027 年不存在「Claude 的無玷受孕」。
- 所以真正的比較是:2027 年的 Yash 使用模型,對上 2027 年 Claude 的預設提示詞。模型在兩邊都出現,就抵銷掉了。
剩下的,就是「一個有責任、有視角的人」與「人人都已擁有的平均答案」之間的選擇。Shipper 的結論是:「我每天都選 Yash,每一次都選。」
地板對所有人都在升高;超額報酬來自你額外加上的東西
Shipper 把這個「抵銷」論證推廣成一套價值落點的模型。因為模型被廣泛散佈,它抬高了所有人的地板。預設產出現在看起來很厲害,但正因為人人都有,它很快就變成基本盤。地板持續往上移,也持續發放給每一個人。真正昂貴而稀有的,是你如何用自身視角去推動模型——而且因為你會持續使用最新模型、而不是停在 2026 年版,新能力就成了你自身判斷的廉價投入,而非替代品。
他把這連結到 2024 年發表的「配置經濟」(allocation economy)概念:「別人評斷你的標準,不再是你懂多少,而是你多會配置與管理資源來完成工作——也就是智慧的資源。」他也從中得出一個文化上的翻轉:目前 AI 評測衡量的是數學、程式設計這類有共識的任務,因為它們可以被驗證,但這些恰恰是最容易商品化的能力。更好的衡量方式,是模型在你眼中、針對你的工作表現得多好——而這需要一套關於「什麼叫好」的非共識觀點。
flowchart TD
A["模型能力上升並散佈給所有人"] --> B["預設產出成為地板,廉價且無差異"]
A --> C["個人施加責任與視角"]
C --> D["限縮該往哪裡看"]
C --> E["排序什麼才重要"]
D --> F["只有這個人會挖出的那一個洞見"]
E --> F
F --> G["超額報酬:高於地板的價值"]
B --> H["基本盤"]
總體式視角必須把你凍結在 2020 年;貼身式視角讓你得以改變
Shipper 最後談為什麼選擇哪一種鏡頭,意義遠超出預測準確度。要用模型進展去對比人類,總體式視角必須把人類固定在 2020 年的自己來比較。貼身式視角則讓你看到自己可能打造什麼、可能成為什麼樣的人。他拿這場大會本身當作貼身式方法價值的證明:如果一張能力圖表就能告訴你所有該知道的事,就不會有人花一整天在布魯克林,聽來自 Anthropic、OpenAI、Notion、Lovable 等公司的講者分享。他給全場的期許,是把這份理解帶出去。
尚未化解的張力,是 Shipper 自己點出卻擱置的那個:排序是當今的瓶頸,而他也承認模型很可能會愈來愈擅長。他的「抵銷」論證要在這個進步之下依然成立,前提是你得接受:人類仍必須負責設定代理,並提供那套非共識的「好」的標準——而這個前提,演講裡是直接斷言多於實際論證。「400 個候選中 93%」與「前 10% 中 60%」這兩個數字,來自 Every 內部的 Slack 預測實驗,未經外部驗證;它們是整個論證裡最吃重的數字,也是隨著模型進步最值得持續追蹤的數字。另外,GDPval 的數字是 Shipper 在臺上的憑記憶所述,他自己也認為 2026 年那個數字已經過時了。