跳脫理想路徑的工程代理——Matthew Jewkes,Standard Cybernetics
跳脫理想路徑的工程代理——Matthew Jewkes,Standard Cybernetics
Standard Cybernetics 的 Matthew Jewkes 主張,若把關鍵錯誤、未決案例與例外狀況從理想路徑(happy path)中分流出去,這類全自動化流程可達到三個九半(99.95%)的可靠度,並在大規模運作下勝過博士級人力。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
Podcast 專家音訊節目
收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情
Standard Cybernetics 創辦人 Matthew Jewkes 曾任一家生技製藥交易促成公司的創辦人,該公司於 2023 年出售給 Clarvate。他主張,成長期公司應該打造「全自動化」(full automation)——也就是把人類完全移出正常流程(happy path)的 AI 管線——而不是把人類留在迴圈裡的代理式系統。整場演講大部分時間都在談怎麼把這件事工程化:預先過濾輸入、把模糊與業務關鍵的案例從主管線分流出去、把關鍵路徑的準確率從 95% 磨到 99.95%,再用分流後產生的例外「廢料」來組織領域專家的注意力。標題裡的「agency」框架是貫穿全場的比喻,而非另一個獨立主題;實質內容是一套實戰手冊,談的是該在哪裡建、怎麼評估、以及要付出什麼代價。
Jewkes 的經驗來自一個具體的部署案例:為 Clarvate 的藥物開發產業註記史料打造索引與關係圖譜自動化,每月處理數萬件新任務。他回報,在業務最重視的任務上準確率達 99.95%,並聲稱這套系統在大規模運作下勝過博士級人力——但附帶一個但書:單一案例、單一專家親自處理,專家仍然勝出。讀者讀完應該能帶走:他挑選自動化標的的標準、他把失敗分成三類的分類法、他打造的任務分流架構,以及他的預測——排程軟體不會是持久的競爭優勢,真正持久的是管理眾人的集體判斷。
全自動化勝過代理,因為它可讀懂、又能封裝複雜度
Jewkes 的核心區分是代理(agent)與全自動化。就他的經驗,代理在技能與執行框架(harness)變動時難以維護,會以「企業難以招架的古怪方式」出錯,還會加重決策負擔——只要他看到專家或主管在手機、筆電上回覆代理的通知,他就會起疑。全自動化則是吃進輸入、產出輸出、把複雜度藏起來,而且組織對它並不陌生:人類組織打造軟體自動化已數十年(行銷、DevOps),打造工業自動化更已數百年。他稱全自動化是「人類組織得以做越來越大之事的核心工具之一」,也是整個系統的「逃生艙口」。
AI 時代的特殊之處,在於用 agency 來*降低*變異,而不是讓它在主流程裡自主行動。AI 層可以預先過濾輸入:檢查任務是否真的落在這套自動化的正常流程上、擋掉對抗性情境、把任何看起來屬於業務關鍵的案例往上呈報,而不是當一般案件處理。正是這層平滑化,讓可自動化的範圍得以擴大。他把整件事定調為「把 agency 從正常流程裡工程掉」。
他列出的好處有三:改善毛利率、透過封裝整塊工作來降低組織複雜度,以及把專家的判斷力釋放出來、重新導向更重要的問題。
執行成本崩跌,組織判斷力成了稀缺投入
Jewkes 開場先談成本。白領的原始產出正在「下滑……崩跌」,而他在研討會上聊過的每一個人都同意:不論前沿模型怎麼發展,既有產能都會變得非常便宜。執行變便宜,判斷的負擔就變重——判斷該做什麼——而組織判斷力本來就供不應求。他說這項資源目前的定價偏低。
他描述領域專家實際上怎麼度過一週:注意力「被多工撕得粉碎」、塞滿複雜狀況、做出一堆「事後看根本是例行或顯而易見」的決策,只剩一小部分精力能推動業務前進。而業務上門找的正是這些人——新功能能成交一筆生意時要找他們,緊急的客戶工單也會把他們拉進去。
Clarvate 案例:關鍵路徑上 99.95%,大規模下勝過博士
Clarvate 握有藥物開發產業的註記史料——數千萬份檔案、每年數十萬次編輯,本體論(ontology)涵蓋數萬個索引維度。Jewkes 打造的自動化負責為檔案及檔案之間的關係建立索引,每月處理數萬件由編輯、插入或其他變更觸發的新任務。
| 面向 | 細節 |
|---|---|
| 任務量 | 每月數萬件新任務 |
| 達到的準確率 | 業務最重視的任務上達 99.95%(「三個半九」) |
| 成本結構 | 資本支出高(AI 工程師很貴);建好之後營運成本低 |
| 穩定性 | 大致都待在其封裝範圍內 |
| 上線門檻 | 隨機抽樣顯示表現優於歷史人力成果後才上線 |
| 與人比較 | 聲稱大規模下優於博士級人力,但單一案例、細節完整、無疲勞與時間壓力時,仍不及一位博士 |
建置始於 2024 年,當時團隊對 o1、o3 世代的模型滿懷熱情。他的團隊做出一個類似現代研究與分派代理的東西,幾個衝刺後就達到 80–83%——對一個習慣花好幾個月微調 BERT 模型、只為做好某一條管線裡某一個環節的團隊來說,這已經很振奮。他們累積了一千條評測(eval),然後坐下來和領域專家一起看。
帶著做完的評測去找專家,而不是一張空白試算表
Jewkes 特別點名一項有效的做法:帶著一大疊已完成的範例上門,而不是叫忙碌的專家在空白試算表裡填一百條評測,因為那樣「帶不出動能」。把失敗案例端上桌,能讓專家認同這件事做得到,並且把注意力集中在系統哪裡壞掉。他提到,寫評測是一門藝術,而多數自動化都會需要領域專家在這些案例上提供意見。
評測檢視把失敗分成三類,這三類後來成了設計基礎:
| 分類 | 內容 | 例子 | 處理方式 |
|---|---|---|---|
| 關鍵錯誤 | 所有人都同意,一旦出錯就會危及重要客戶 | 多步驟工作流程有 2–3% 的機率失敗,有時還重現不出來 | 導向經過大量測試、有數千條評測的管線;仍有疑慮就升級給人工 |
| 未定案/模糊 | 兩位專家可能各執一詞且都很有把握,或組織根本還沒決定 | 秋水仙素是否「作用於」介白素-1β——GPT-5.5 與 Opus 4.8 對這個答案反覆翻盤 | 管線移出主流程;彙整後呈現給專家 |
| 例外/升級 | 約 3–5% 需要更多關注的任務 | Verve 102,一款心臟疾病藥物,其作用機制對科學界仍是全新,需要人類決定怎麼索引 | 中止,由 AI 描述並歸類該案例,跳過管線 |
他估計,團隊花在建立案例分流上的時間,至少和後來把關鍵任務集的準確率往上推的時間一樣多。
flowchart TD
A["新任務進來"] --> B{"AI 困惑或案例不尋常?"}
B -- 是 --> C["中止,由 AI 描述並歸類,跳過管線"]
B -- 否 --> D{"可能是業務關鍵?"}
D -- 是 --> E["經過扎實測試的管線,數千條評測"]
E --> F{"仍有疑慮?"}
F -- 是 --> G["交由人工例外處理"]
F -- 否 --> H["輸出答案"]
D -- 否 --> I{"未定案或模糊?"}
I -- 是 --> J["管線移出,彙整給專家"]
I -- 否 --> K["照常輸出"]
從 95% 爬到 99.95% 是爬山,而且很貴
把模糊與不尋常的案例剔除之後,標準做法在關鍵任務集上大約能到 95%。最後衝到 99.95% 靠的是「一整套雜技」——爬山法、大量閱讀評測,以及各種把 LLM 效能榨出來的標準技巧。他相信,只要輸入結構良好、案例集能從業務端講清楚,多數自動化都做得到 99.95%。
他特別點出技巧清單裡的兩件事:讀評測、寫評測,而且要建一千條評測,同時預期自己會花上實實在在的時間去讀。他說讀評測很折磨人——得從模型那些逢迎諂媚的文字裡抽絲剝繭,弄清楚 AI 到底為什麼沒照預期做。他歡迎手上輸入乾淨、流程明確、卻達不到三個半九的人跟他聯絡。
成本警告講得很直白:AI 工程師很貴,讓一個 AI 工程師花好幾小時讀評測試算表很貴,從 95% 爬到 99.95% 也很貴。工程之外,把一個非工程流程重新改造,還會帶來組織變革、信任建立與權責移轉。他主張,這麼大一筆投資應該搭配業務與行銷工作,把它轉換成營收、客戶滿意度,或打進鄰近市場。
挑規模化、有規格、重細節的工作——不要新創,也不要主觀判斷
Jewkes 的挑選標準很具體。要在領域已規模化、且已有實質投資報酬的地方打造全自動化——一整批任務要綁著七位數的營收,最好還有多張客戶工單顯示痛點已知,這樣「財務長才聽得懂」。不要在新創、探索期或新事業裡做,那些地方人類的彈性值得保留。
理想的流程是已經在跑的、有書面規格的、而且重細節的。他不太擔心規格寫得好不好——規格本來就難寫,而願意投入動能去寫一份規格,就代表團隊相信這件工作可以被規格化,而不是純粹的判斷。重細節的工作最理想,因為它把昂貴、吃記憶體的工作從人類身上拿走,而人類在大規模下做這類工作本來就容易出錯。主觀判斷型的工作則是界線:「要用 AI 自動化那種特定的差異化流程,我認為……還不是重點所在。」
例外廢料才是真正的收穫:它組織了專家的注意力
Jewkes 強調的第三個好處,是分流能把自動化產生的「廢料」整理好,讓專家能有結構地關注。例行工作清空之後,專家會收到一堆未定案與模糊案例、一堆例外,以及少數幾件自動化沒把握的關鍵案例——最後這堆快速看過就放行。
模糊那一堆有兩種用途。第一,它可以對組織形成壓力,逼大家把規格講清楚,因為許多模糊案例的價值其實很有限。第二,專家面對一大疊時,可以主張把這類工作永久凍結——在商業理由出現之前先降優先——這本身就是在降低組織複雜度。
例外那一堆是他認為價值最高的地方。像 Verve 102 這款心臟疾病藥物這種開創性工作,只佔藥物開發新工作的約 3%;這個領域大部分時候都在做模式比對。專家如果每週、或每隔一週才在待辦佇列裡零散地看到某個不尋常案例一次,根本建立不起對它重要性、成本、或誰願意付錢的直覺。但若彙整成堆、花兩三個小時集中看,模式就會浮現,專家也能提出具體投資建議——而當真的有客戶帶著這個問題上門時,專家心裡早已有定見。他說這在一個八位數的客戶帳上自然發生過。他把它推廣成通則:多數規模化的業務流程都會產生看起來像例外的市場需求領先指標,而偶爾隨機撞見的訊號,不足以據以行動。
「一旦你請得起人來做你的工作。坐下來,翹起腳,想想怎麼幫公司多賺點錢。」——洛克斐勒,Jewkes 轉述
他用這句話主張:可規格化的工作就該交出去,人才能把判斷力用在新的機會上;他也希望 AI 能把注意力導向最有價值的地方,讓思考先發生。
排程軟體不會是護城河,注意力管理才是
Jewkes 的結尾預測:市場自然會把排程層與合適的執行框架整理出來,2026 年挑對 AI 排程軟體不會帶來多大的差異化優勢。用 AI 最成功的公司,會是最善於管理集體注意力與判斷的公司,因為這項能力的溢價只會往上走——只要人類判斷還享有溢價。
整場演講未解的張力,是成本與回收之間的拉扯。Clarvate 的建置是一項大型資本支出專案,靠的是七位數營收曝險才說得過去,而 Jewkes 也承認,最後那幾個小數位的準確率所費不貲。注意力分流的好處——比準確率更難衡量——在一般成長期公司值不值得這樣的投入,他留給聽眾自己判斷;他押注的判斷力溢價究竟還能維持多久,也一樣留給聽眾。