跳到正文
Every (AI & I)(youtube.com)· Willie Williams·· 6 天前品質評分58

Anthropic 與 Ode 工程師談成熟企業如何靠 AI 勝出

Anthropic 與 Ode 工程師談成熟企業如何靠 AI 勝出

重點導讀

Hugh Wimberly、Jeremy Hadfield 等與會者主張,成熟企業要靠重新想像流程、挖掘隱性知識才能在 AI 上勝出;比起由上而下的指令,具體示範與早期採用者的帶動更能推動匯入。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

正文

Jeremy Hatfield 是 Anthropic 的研究產品經理,他主張:AI 最大的效益,來自企業停止最佳化既有工作流程,改讓模型接手整個流程——包括傳統工程智慧斷言必然失敗的生產系統全面重寫。在這場 31 分鐘的座談中,Hatfield 與顧問公司 Ode 的工程師 Hugh Wimberly 把大部分時間花在企業 AI 轉型的實務操作:如何界定專案範圍、如何衡量投資報酬率(ROI)、如何挖掘員工腦中的隱性知識,以及匯入為何會卡關。標題以「成熟企業」為框架雖說得通,卻略嫌籠統——整場對話多半是實務工作者的戰術分享,另外還有來自 Pfizer 與 Royal Caribbean 的兩個觀眾提問,談變革管理。

兩位講者帶來互補的視角。Hatfield 在 Anthropic 約兩年,先是在應用 AI 團隊服務快速成長的程式開發客戶,之後轉任研究產品經理,與研究團隊合作訓練及推出 Claude 模型。Wimberly 則直接服務 Ode 的客戶,打造並部署以損益表層級影響為目標的系統,他表示自己經手過六個客戶專案。主持人為 Every 的 Willie Williams。讀者讀完應能具體掌握:AI 專案「做完」長什麼樣子、為何智慧成本下降得夠快,足以讓早期的大膽押注翻身,以及哪些環節的衡量方式仍相當不成熟。

過去「必然失敗」的重寫,現在一週就能完成

Hatfield 最具代表性的例子,是「生產系統不得全面重寫」這條長年鐵律已不再成立。他舉 Bun 為例——這是 Claude Code 背後使用的 JavaScript 執行環境,它把整個 100 萬行的程式碼庫用 Rust 全自主重寫,只花約一週,之後再花幾週驗證;他說這個專案若交給團隊,得花一年以上,而且以前可能根本做不到。Anthropic 本身也把整個第一方 API 用 Rust 重寫,以換取速度、效率與更低的延遲,動用的工程師甚至不會寫 Rust。他還提到,團隊迅速找出並修補了 Linux 核心中大量漏洞。

Wimberly 對企業為何畫地自限的診斷是:企業總以為 AI 必須接進現行做法、再稍微最佳化,而不是讓它接手一整個流程或系統。他指出,像 Bun 這種重寫屬於特別有利的案例,因為它有龐大的測試套件與已知的目標行為,可以一對一替換——人類流程很少這麼清楚。

「軟體工程的傳統智慧是:永遠不要全面重寫生產系統……但現在已經不是這樣了。」——Jeremy Hatfield

難的是隱性知識,不是模型

Wimberly 說,他看到的失敗大多是變革管理問題,而非技術問題。核心障礙在於:領域專家無法完整描述自己的工作。問他們流程怎麼跑,他們大概只會列出腦中實際內容的一半,而且沒意識到其餘部分是隱性的。Ode 的交付方式就是圍繞著把剩下的部分挖出來——坐在使用者旁邊、讓他們自己操作,問他們為什麼忽略某份檔案,再用 AI 進一步萃取。

他描述的是一套分階段匯入的模式,而非一次到位的大改版:

flowchart TD
    A["影子模式——系統追蹤實際發生的事"] --> B["先做前置作業,由人核准"]
    B --> C["該任務完全交由系統處理,人退出迴圈"]
    C --> D["代理監看所有軌跡,找出未知訊號"]

每一次互動都會留下紀錄,修正則被視為訊號。Wimberly 對可觀測性的看法是:傳統平臺必須事先知道要找哪些訊號,代理則能讀遍所有軌跡,把你原本不知道自己在找的東西挖出來。

「做完」的定義:評估機制、萃取出的脈絡、護欄

Hatfield 判斷一個用例是否成熟,有三個條件:團隊已建立評估機制,能衡量每個新模型進步多少(最好還沒飽和);已把知識從人腦搬進模型容易讀取的脈絡,並反覆驗證;安全與資安護欄已做過壓力測試,確保代理維持在公司政策與預期範圍內。他舉例,有家軟體公司持續壓低每次 PR 審查的成本,同時提升審查品質、減少 bug 與漏洞。

Wimberly 把轉型分成兩類。有些永遠沒有做完的一天——與能力持續提升的代理長期協作。有些則有明確的完成標準:人力投入降到零、指標達成或超標。這類專案裡,推論成本幾乎無關緊要,因為人力成本大約高出 100 倍。

他描述一個已界定範圍、但還沒開始建的專案:省下多少人力並不重要,唯一重要的是錯誤率。該客戶所處產業的法遵與法律風險極高;他們的內部分析估計,單一失誤的中位數成本為 70 萬美元,尾端風險則是每次失誤 1 億美元。把錯誤率從 0.03% 降到 0.01%,都還有繼續往下壓的空間。

專案型別成功標準Wimberly 對「完成」的看法
持續與代理協作能力持續提升、不斷迭代永遠沒有做完的一天
人力降到零的自動化指標達成或超標已完成;推論成本微不足道
高風險法遵流程降低錯誤率有完成標準,但永遠是越低越好

AI 投資報酬率的衡量仍不成熟——而回報一再超乎預期

Hatfield 直言,衡量 AI 投資報酬率的技術與方法「目前還相當不成熟」,業界需要更有系統的做法,包括針對難以量化的流程。當產出正確性無法驗證時,他建議長期由人工稽核品質,再搭配模型評分器自動做質性比較。

兩位講者都提到,價值落地的地方往往不是當初銷售時設定的地方。Wimberly 引用傑文斯悖論(Jevons paradox):原本以節省時間為賣點的工作,反而擴大了可觸及的市場,讓公司能服務原本最高價值客層以外的客戶,因為過去貴到做不了的流程變得可負擔。他說 Ode 當初並不是用這個理由成交,而損益表的實際影響高於預期。

Hatfield 補充兩個意外。第一,客戶找到的用例比 Anthropic 自己預期的更雄心勃勃——他提到有客戶投入藥物發現、開發新療法、加速臨床試驗,而這些都是 Anthropic 後來才發現模型在這方面很強。第二,早期就大膽押注、採無限量使用並大量探索的客戶,如今毛利率反而成長,因為每單位智慧的美元成本一年內下降了約 100 倍。他點名 Opus 5.5 遠優於前一年的模型,成本還更低。

採用靠示範與新進員工擴散,而非強制命令

Wimberly 說,多數企業的變革管理都是由上而下——這是你現在必須照做的清單——而更好的做法是讓產品本身帶動採用。最容易自動化的,通常就是大家最討厭的那部分工作;原本 20 分鐘的任務變成大部分已預先填好,人只要挑錯,最好還能在應用程式內拿到獎勵。高品質的產品加上實際使用,比命令更能帶動採用。

Hatfield 的版本是:先找一小群早期採用者,讓他們盡情燒 Token 探索,再把成果具體展示給全公司看。他說,AI 的示範「與魔法無異」,而且是由下而上擴散,不需要強制推動。

Wimberly 最犀利的一段軼事則反過來印證。有家公司打造了一套用來輔助既有工作流程的系統,卻一直推不動那些資深領域專家——直到新進員工把它當成新人培訓工具。原本三個月的學徒期瞬間瓦解,因為新人可以直接跟已經裝滿領域知識的 AI 對話。老員工是看到新進員工超車之後,才開始採用。

「結果發現,這些人進來直接跟我們已經教會所有領域知識的 AI 對話,速度快得多。」——Hugh Wimberly

兩個企業提問:終點未知時如何做變革管理

Pfizer 的 Mona Powell 問:這家 175 年的公司連目的地都還說不清楚,變革管理該怎麼做?Wimberly 的答案是遊戲化、把大家討厭的工作拿掉;Hatfield 的答案則是早期採用者加上具體示範。Royal Caribbean 的 Anna Maria Sankovich 追問下一階段:當低效已消除、焦慮已降低,要怎麼讓人們重新想像什麼才叫可能?Hatfield 的答案依然是「看到才會相信」——人們要親眼看到一個雄心勃勃的用例在自己熟悉的領域成功,才會從「它能幫我處理 email」進展到重新想像整個成果;他也指出,受監管產業的專家(包括製藥業)特別鐵齒,除非看到一個範圍窄但真實的案例,例如把原本痛苦不堪的 12 步流程整個壓縮掉。

Google 的與會者 Daniel Walker Murray 問:如何打造能在非結構化 go-to-market 資料(逐字稿、檔案、簡報)中找出模式的代理?他的代理不是無法把發現講清楚,就是什麼有意義的東西都找不到。Wimberly 的建議是:不要指望模型比你聰明,要指望它比你有耐心、有時間。自己先讀逐字稿、抽查,把自己發現的東西變成評估專案,一路往上爬,直到系統表現達到你的水準——然後把它指向數千小時的資料,而不是你只能審的 10 小時或 100 小時。他描述了分層評估、由 AI 評審負責評分、而這些評審本身也要被評估,也坦言這當中的遞迴問題。

值得關注的重點

尚未化解的張力在於衡量。Hatfield 承認投資報酬率的評估仍不成熟,但本集最有力的例子——每次失誤成本 70 萬美元的法遵流程、Wimberly 沒預料到的市場擴張、製藥業的流程——恰恰都是最難評估的模糊案例。Hatfield 提到的智慧成本下降(每美元算力一年約降 100 倍)在這場對話裡默默發揮作用:它讓昂貴的早期探索日後轉化為毛利,也降低了在用例尚未驗證前就下注的代價。這個降幅能否維持同樣的速度,是最可能改變本文所有建議的變數。另一件值得追蹤的是「新人培訓代理」模式:一個為專家打造的工具,真正的價值卻在訓練新人——這條採用路徑兩位講者都沒預料到,而他們現在都預期會再看到。

來源: Every (AI & I) (youtube.com)
開啟原文

讀者討論

理性交流 · 即時討論