更好的 AI 模型救不了你的工程團隊——專訪 Jellyfish 的 Nicholas Arcolano

Jellyfish 的人工智慧與研究主管 Nicholas Arcolano 主張，模型選擇只能解釋工程產出變異中不到 1% 的部分，而工程師個人差異則解釋了約四分之三。這場演講大部分時間放在 Jellyfish 的遙測資料上——涵蓋約 1,300 家公司、數十萬名開發者——逐項拆解統計結果，說明究竟是什麼在推動每位工程師的合併 PR 數：工具與模型、skill 使用、Token 消耗、公司與團隊，以及個人差異。開場的高爾夫比喻（球桿更好，還是基本功更好）只是前兩分鐘的引子，並非重點。

Arcolano 的論點建立在一場自然實驗上：當 Cursor 的介面調整把工程師推向 Grok——時間點大約在 SpaceX 宣佈收購 Cursor 前後——模型市佔的變動速度創下 Jellyfish 歷來最快紀錄，但產出毫無變化。他接著依解釋力高低排列各項槓桿，主張領導者能掌控的是影響最大的那幾項——文化、團隊，以及人們如何使用工具——而模型前沿這個佔據所有目光的焦點，大致上不在他們的掌控範圍內。以下簡報依此排序展開，最後談到他的一項發現：AI 並沒有重新洗牌哪些工程師生產力最高。

模型與工具的選擇，只能解釋不到 1% 的產出變異

Arcolano 的頭條數字是：在對每位工程師每週合併 PR 數所做的統計分解中，"工具加模型"這個因素只佔可解釋變異的不到 1%。他謹慎地承認模型確實有進步——他秀出一張 Artificial Analysis 的模型前沿圖表，說這點無庸置疑——但表示在 Jellyfish 的資料裡，這種進步並沒有轉化為可測量的個人產能提升。

證據來自一場自然實驗。在 SpaceX 宣佈收購 Cursor 前後，Jellyfish 觀察到 Grok 使用量出現大幅且突然的跳升——這是它記錄過最大的模型轉移，遠快於正常的偏好漂移。追查後發現，原因是 Cursor 在介面中大力推廣 Grok，並改變了自動模式的運作方式。Arcolano 接著把每位工程師 Grok 使用佔比的變化（0–100%）與其相對於同公司同事的 PR 產能變化做對照。結果是一團以零為中心的散點雲，毫無統計相關性。

他對各種自然發生的轉換重複同一項檢驗——Opus 換 Sonnet、改用 ChatGPT、Cursor 換 Claude Code、自動補全模式換代理模式——每次都得到同樣的「毫無波瀾」。他為整場演講下的註腳是：如果你沒得到想要的成果，問題大概不在模型。

skill 使用對產出的影響遠大於模型選擇，但多數工程師幾乎不用

skill 使用——skills、Cursor rules、harness 客製化，以及 AI 工程累積出來的各種訣竅——是第二項槓桿，也是第一項展現出真實效果的因素。Arcolano 指出，這個因素只佔 3%，看似不高，但因為採用率太低，其實低估了每次使用的影響力。截至 2026 年 9 月，Jellyfish 追蹤的工程師週數中，將近一半幾乎完全沒有使用 skill，只有 12% 達到他會稱為現代 AI 工程實務的水準。

在 skill 使用密集的地方，效果相當顯著：每週每位工程師執行 30 次以上 skill 時，在其他因素不變下，產能提升約 30%——幅度大於資料中任何一次模型家族轉換。對領導者而言，實務上的解讀是：中位數工程師與熟練使用 harness 者之間的落差，是訓練與習慣的問題，不是採購的問題。

| 槓桿 | 可解釋變異佔比 | 涵蓋範圍 |
|---|---|---|
| 工具＋模型（harness） | <1% | Cursor、Claude Code、Opus 對 Sonnet、ChatGPT、自動補全對代理模式 |
| 用得多好 | 約 3% | skills、Cursor rules、harness 客製化 |
| 用得多不多 | 約 9% | Token 花費、活躍使用天數 |
| 你在哪裡工作 | 約 12% | 公司（約三分之二）與團隊（約三分之一） |
| 你這個人 | 約 75% | 工程師身上其他所有因素 |

Token 消耗量約可讓產出翻倍，代價是 10 倍成本

消耗量是曲線最乾淨的一項槓桿。Arcolano 引用約 50 萬個開發者週的行為資料（他在 AI Engineer World's Fair 發表過的內容），把平均 Token 花費對上每位開發者每週的合併 PR 數，每個點代表同一消耗水準下、以兩個百分位為一組的工程師。兩者呈單調關係但報酬遞減——一條會飽和的曲線，他把它比喻為火箭方程式：燃料換取距離，但價格越來越陡。

具體的交換關係是：從中位數工程師移動到前 10%，產出約翻倍，Token 成本約 10 倍。這個數字是財務長應該拿來對照下面公司層級差距的依據——因為在固定花費下，公司之間也存在同樣的 2 倍產出差距。

在相同的 AI 花費下，公司與文化造成 2 倍的產出差距

在消耗量固定的條件下，前 10% 的公司產出比後 10% 高出約 2 倍——與多花 10 倍 Token 買到的倍數相同。在這個因素內部，Arcolano 說約三分之二來公司、三分之一來自團隊：程式碼庫、審查流程、文化。這是整張地圖上領導者真正能掌控的部分，他也把它定位成給管理層的結論——他甚至開玩笑說，就算財務長說不能再加 Token 也一樣。

「身為領導者，我們能控制的事情在方程式的另一邊。是人。是組織。」

工程師個人佔了四分之三，而 AI 並沒有重新洗牌排名

個人差異在模型中佔主導地位，約為可解釋變異的 75%。工程師後 10% 與前 10% 之間的差距約 3.5 倍，比公司之間的 2 倍差距更寬。Arcolano 並未試圖拆解是什麼讓一位工程師優於另一位——他表示那是另一場演講的主題——但他用資料回答了一個問題。

他利用 Jellyfish 約 10 年的縱向歷史，對 10,000 名工程師排名，追蹤頂尖表現者跌出前四分之一的頻率。AI 之前，每半年約有 44% 會掉出；AI 之後略微收窄到 41%。他的結論是：AI 之前最好的工程師，大致上仍是 AI 之後最好的工程師，手藝依然重要——這也是個人因素佔比如此之高的部分原因。

「你在 AI 之前最優秀的工程師，大致上還是你最優秀的工程師。」

最令人興奮的槓桿，是你拉不動的那一根

Arcolano 最後談到注意力的不對稱。工具與模型的前沿佔據研討會舞臺與社群媒體，他說他很喜歡那塊工作——但他不在基礎模型實驗室工作，無法改進模型，而且預算緊縮也可能壓縮購買最佳工具的自由度。實測效果最大的槓桿，落在人與組織身上。他的高爾夫比喻在結尾轉了個彎：有別於高爾夫球場，領導者可以改變球場——把水池填平，而不是買新球桿。

「如果你沒得到想要的成果，我會建議你想一想，也許問題不在模型。也許問題在你。」

Jellyfish 以「Jellyfish AI Engineering Trends」為名，每月根據這些資料發布基準報告，更多研究發表於其 Substack。

這套分解仍未解答的問題

有兩個張力值得持續關注。第一，整場演講的成果指標都是每位工程師每週的合併 PR 數——一種產能指標。Arcolano 在問答中承認，這份分析沒有任何品質指標，並表示品質是 Jellyfish 非常關注的課題，但這份槓桿排名排的是數量，不是價值。第二，skill 使用的發現與工具選擇的發現相互牴觸，而這對預算編列影響重大：如果每週 30 次 skill 執行能換來 30% 產能，而換模型換不到任何可測量的東西，那麼邊際的一塊錢花在賦能上，會比花在席次或 Token 上更值得。尚未解答的問題是：那 75% 的個人因素，主要是固定的天賦，還是主要是尚未被測量的實務做法——Arcolano 的排名穩定性資料（前四分之一流失率從 44% 到 41%）偏向支援前者，但他並未直接檢驗這一點。