推論市場的未來與模型路由：走向商品化，還是價值持續攀升？｜LangChain 執行長

LangChain 創辦人暨執行長 Harrison Chase 認為，打造可靠的代理（agent）之所以依然困難，是因為大型語言模型（LLM）本質上是非確定性的黑箱，其錯誤會在多步驟系統中層層放大；而真正能長久留存的價值，在於外殼層（harness）、上下文（context）與評估機制（evals），而非任何單一模型。這場對談涵蓋多個面向：隨著模型進步，LangChain 為何必須刪掉自家產品的一部分；為何模型路由（model routing）該放在外殼層而非閘道層（gateway）；代理記憶（agent memory）為何至今仍未解；以及程式代理（coding agent）的支出如何逐步受到控管。標題聚焦的推論市場與模型路由，其實只佔本集一小部分；大部分時間談的是代理架構、垂直代理、後訓練（post-training）與公司經營。

Chase 的視角來自一家夾在模型實驗室與應用開發者之間的開發者工具公司，這讓他得以觀察企業實際上如何組裝代理。讀者讀完後，應該能建立一套代理堆疊（模型、外殼、上下文）的實用心智模型、一套具體的成本管理 playbook，以及 Chase 對於「模型進步後價值會落在哪裡」的看法。

代理之所以難做，是因為錯誤會在非確定性系統中層層放大

Chase 的核心論點是：代理會失敗，不是因為模型笨，而是因為模型以一種會不斷複合放大的方式難以預測。輸入空間實際上無限大——「你把聊天機器人擺在某人面前，他什麼都能打」——輸出空間同樣龐大，因為兩個相似的輸入可能產生截然不同的答案。一個代理不是單一次模型呼叫，而是一連串與工具互動的呼叫，於是小小的黑箱嵌在大系統裡，產生「層層疊加的錯誤」。

依 Chase 的說法，過去三、四年真正進步的有兩件事：模型變強了，以及開發者更懂得如何駕馭模型。LangChain 聚焦在後者。他認為這件事的難度被低估了：「要把它們做好，還是難到不行，真的非常非常難。」

這件事的商業後果是：LangChain 必須定期抹掉自己的產品。他引用 Cursor 的經營原則——「抹掉產品」或「刪掉產品」——六個月前非做不可的事，現在已經不必做了。駕馭模型的正確方式，每隔幾個月就得改一次。

一個具體例子：早期的 LangChain 做法是讓模型生成一段 JSON DSL 再加以解析來實現工具呼叫——「在當時算是小作弊」，但那是唯一能引導模型的手段。當 OpenAI 推出原生工具呼叫（native tool calling），LangChain 認定那是未來，於是全面切換。Chase 用來判斷「什麼會留下」的框架是：模型永遠不會知道你家的專有資料，也永遠不會自己去抓 API 的回傳值，所以模型周遭的系統會持續存在；但圍繞思維鏈（chain-of-thought）、規劃、工具呼叫的各種權宜手法，則會被吸收進模型或其 API 之中。

「那你要怎麼辦？不要做嗎？……不然還有什麼選擇，就是什麼都別做啊。」

路由該放在外殼層；閘道層只在通用任務上勝出

Chase 稱模型路由是當前最熱門、也最具爭議的題目之一，並區分兩種層級：外殼層路由（寫在程式碼裡）與閘道層路由（一次 API 呼叫）。閘道層路由很容易移植——你可以直接丟進 Claude Code 或任何外殼，不必改程式碼。外殼層路由掌握的狀態更多：它知道任務是什麼、提示快取（prompt cache）長什麼樣、提示該怎麼改，因為不同模型偏好的提示策略不同。

他的結論是：路由必須具備外殼感知（harness-aware），而且必須針對特定領域。「我不認為會有一種路由，同時適用法律、金融、寫程式，還全都用同一套。」閘道層路由的看多論述建立在兩個隱含假設上——你要嘛在做通用聊天（一句「嗨，你好嗎」不需要 Opus），要嘛在做寫程式這個最熱門的領域。一旦你進入特定領域，路由就非得活在外殼層不可。

| 面向 | 外殼層路由 | 閘道層路由 | |---|---|---| | 可移植性 | 需要改程式碼 | 可直接套用到任何外殼 | | 狀態感知 | 完整掌握任務與狀態 | 僅限 chat-completions 形式的 API | | 提示快取控制 | 可讓快取保持熱度 | 有限 | | 提示調適 | 可依模型輕鬆替換 | 困難 | | 最適情境 | 垂直／領域代理 | 通用聊天、寫程式 |

他對「路由已商品化」的說法存疑：路由很難做，而且價值會波動，因為一旦新的 Opus 或 OpenAI 模型樣樣都更強，路由帶來的效益就會縮水。他也把路由器與閘道分開看——他猜 OpenRouter 的用量，很大一部分來自它「一把 API key 打通」的閘道功能，而不是聰明路由；而聰明路由「被實際採用的程度，遠比大家想像的少得多」。他讚許 Factory 在具外殼感知的路由方面公開發表的研究。

評估機制必要，但不能全信——要去看追蹤紀錄

Chase 說，模型發表時引用的學術評測大多已被刷到天花板，不再有參考價值。內部、針對特定領域的評測仍然有用，這也是評測對垂直代理之所以關鍵的主因。但即便如此：「最重要的事情之一，就是直接去看資料。」單一數字可能漏掉「模型其實在某個你的評測沒捕捉到的面向變強了」，這就是為什麼追蹤紀錄（traces）很重要。

他描述了一個封閉迴路：追蹤紀錄會回饋到三個層次的其中一層。

flowchart TD
    A["代理執行，產生追蹤紀錄"] --> B["評估機制衡量結果"]
    B --> C{"學習成果該套用到哪裡？"}
    C -->|"上下文／記憶"| D["讓代理跑過追蹤紀錄，輸出記憶層面的學習"]
    C -->|"外殼程式碼"| E["讓代理跑過追蹤紀錄，更新外殼程式碼"]
    C -->|"模型權重"| F["對模型做後訓練"]
    D --> G["再用評估機制重新衡量"]
    E --> G
    F --> G
    G --> A

LangSmith 推出一款名為 Engine 的產品——一個會跑過追蹤紀錄、嘗試更新程式碼的代理。Chase 把持續學習（continual learning）描述成：在同一個內層迴路（LLM 在環境中呼叫工具）外面，再加一個外層迴路——取出追蹤紀錄、萃取學習、修正某個東西、衡量、重複。更新一份記憶文字檔與更新模型權重，在這個同樣的外層迴路裡，是兩件截然不同的事。

記憶是尚未解開的一層，通用型記憶產品已經失敗

Chase 說記憶「嚴重未解」，而且「超級超級早期」。LangChain 曾推出記憶功能的 alpha 版，後來砍掉整套商業方案，因為找不到產品市場契合度（product-market fit）——診斷結果是他們做得太通用了。他主張，記憶是依領域、依代理而異的：Instinct 或 Muse 這類消費性 App 的記憶長相，跟一家公司的外殼層不同，跟法律或金融領域又再不同。

難的不是資料庫。LangChain 跟企業聊過，很多公司就把記憶存在單一檔案裡。難的是把觀察——來自使用者與軟體或與代理的互動——蒸餾成「值得存下來」的資訊。這需要後設反思（meta-reflection），而 Chase 說 LLM 在這方面仍很吃力：反思提示並加以改進、反思代理架構並加以改進。他指出 LangChain 透過 Engine 有內部的基準測試來做這件事。

他預測幾年內每個產品都會有某種記憶元件，但強調答案並不顯然：「我不認為有人知道記憶的答案是什麼。」他的處方是針對特定領域的學習型代理——類似 LangChain「deep agents」的外殼，配備特定指令、工具與子代理，用來在記憶結構中導航或蒸餾事實。

垂直代理靠領域專屬的驗證機制掌握價值

Chase 對垂直代理「極度看多」。如果價值來自驗證——知道代理做得好不好，進而解鎖自動化——那麼贏家就是能把「什麼叫做得好」量化出來的領域專家。建立評估機制很難，誰能寫出這些驗證器，誰就掌握價值。

他給垂直代理創辦人的實務推進順序建議是：先從外殼層開始，做上下文工程、調整外殼；等有了使用者，再進到模型的後訓練。早期投資在上下文與外殼工作的報酬率更高。

他把「掌握自家智慧」排成一個階梯，從最便宜到最貴：

| 層級 | 你掌控什麼 | 成本／難度 |
|---|---|---|
| 1 | 只有上下文；外殼與模型都用現成的 | 最便宜 |
| 2 | 調整外殼 | 中等 |
| 3 | 針對你的領域後訓練一個開放權重模型（例如某個中國開源模型） | 昂貴 |
| 4 | 從零訓練一個模型 | 罕見；多為新型實驗室 |

關於「他們真的在打造自家模型嗎」這個問題——主持人引用 Michael Cannon-Brookes 稱其多半「客氣地說，是 BS（胡扯）」——Chase 同意大多數是在後訓練開放權重模型，並說這沒什麼不對。Harvey 與 Ramp 有人才、有資料、有用量，已經把上下文與外殼能榨的都榨乾了，於是走到後訓練。他認為，對大型外殼內較簡單的任務——分類、抽取、摘要、護欄（guardrails）、路由、子代理——後訓練在今日最務實；至於核心迴路的模型是否會被後訓練，仍是未定之數。據 Chase 所說，Harvey 大約在過去一個月內發表了這方面的東西。

談到消費端：他預期水平與垂直代理會並存，由水平代理去呼叫垂直代理。垂直消費代理之所以合理，是因為 Spotify 或 Strava 這類 App 握有關於你的知識，也有大量 API；把這些 API 包成一個有自然語言介面的垂直代理，會比把原始 API 直接暴露給水平代理更好。

程式代理支出可透過可視性、預算與外殼工程來控管

LangChain 大約把工程師薪資的 30% 花在程式工具上——這是粗估——而過去兩個月這個比重下降了，即使 Token 用量上升。Chase 把這個下降歸因於三步流程：

1. 可視性——把所有程式代理用量導進 LangSmith，看清誰花了多少、花在什麼上。
2. 成本控管——設定預算；撞到上限就得去找工程副總談，他幾乎總是會調高，但這道關卡能攔住失控的迴圈。
3. 外殼控管——LangChain 自建了一套內部雲端程式代理「open suite」，Chase 從 Slack 使用它，現在這是他寫程式的唯一方式。它實作了提示快取與路由。

他指出，花最多錢的人有時是最有效率的人（他信任的資深工程師），有時則不然。有一次事故：一個外掛在做前端工作時，每一輪都把網頁的 DOM 截圖回傳，結果跑出一個龐大的迴圈，一週燒掉大約 4 萬美元——不是惡意，只是個錯誤。

至於兩年後這個數字會走到哪，他不確定，因為組織設計還在變動中。一種願景是：組織大幅縮小，程式代理支出等於甚至超過人事薪資，由少數幾個人驅動大量代理。但他觀察到一個揮之不去的人為成分——審查、溝通、多元專業——並提出：如果一個人能驅動 100 個代理，那個人的薪水會高得多，所以總支出可能持平。

主持人把這個數字定調為 Anthropic 企業價值的核心（若是 5%，2 兆美元的 IPO 就顯得高估；若是 300%，就顯得低估）。Chase 同意這很可能支撐著 Anthropic 的價值，但指出代理至今真正發揮效果的領域主要在軟體工程；其他企業領域則尚未被觸及，他認為這對 Anthropic、OpenAI 及其他模型供應商都是利多。

開放模型在窄任務上勝出；推論需求遠超預期

Chase 說，開放模型的使用量比他一年前左右的預期還多，但主要用在窄任務——路由、護欄、抽取、摘要——而不是驅動核心的代理迴路。他的立場落在 Twitter 兩派極端的中間：前沿模型會持續變強、變便宜，但如果你有高用量、簡單的元件，後訓練開放模型是不錯的報酬率。

談到中國開源模型與企業的恐懼：有些企業害怕，有些毫不在意。Chase 不認為這種恐懼站得住腳——如果你是透過 Fireworks 託管或自架，所謂資料會流回中國實驗室的說法「荒謬至極」。殘存的顧慮是訓練資料會以不符企業價值觀的方式形塑回應，這可以靠評估機制處理；他稱這種顧慮大致沒有根據，但承認某些領域確有細微差異。他預期 12 個月內會出現可相比的美國開源模型，並舉 Nvidia 的生態系佈局與 Reflection 近期的發表為例（他說後者在某些基準上仍略遜於部分中國模型）。

談到推論，他點名兩件從 LangChain 早期就嚴重低估的事：推論需求，以及程式代理需求。他引用 Benchmark 的 Eric Vishria 的話——「什麼都能跑，這市場太大了」——並套用到推論上：「任何推論方案都能成。」Fireworks、AWS、Crusoe、Nebius 光靠需求就都能成功。

如果他是該基金的合夥人，他的投資視角會是：推論、底層基礎設施（Modal、Temporal、Supabase、Convex），以及垂直代理。他會避開客服（18 個月內有 20 多家供應商拿到 1 億美元以上融資，外加 Salesforce、Atlassian、Intercom、Talkdesk），並對機器人與人形機器人存疑，因為資金已超過能力所及。他引用 Amjad Masad 轉述 Patrick Collison 的話：要在不性感、AI 滲透率低、領域專業度高的地方創業。他看重的三項特質是：頂尖技術人才（他舉 Fireworks 團隊寫過 PyTorch 為例）、執行速度，以及品牌——那種 LangChain、Cursor、Claude Code 曾抓住的「瓶中閃電」。搶第一比以往任何時候都重要，但執行必須跟上：AutoGPT 曾是史上成長最快的 GitHub 專案，此後他卻沒再聽到什麼訊息。

募資是 Chase 不喜歡的一場遊戲，而 Benchmark 與 Sequoia 扮演不同角色

Chase 自稱是首次創業者，當初不知道募資是「一場遊戲」——想募資卻不想募資、拿一張 term sheet 去槓桿其他家、在 Twitter 上貼營收曲線圖吸引主動上門。他討厭那些裝腔作勢：「就好好做嘛。別再他 X 的裝模作樣了。」他偏好長期建立的關係，舉 IVP 的 Tom 為例——在 Sequoia 那一輪前後，他已經跟 Tom 聊了大約兩年半，之後才由 IVP 領投 B 輪。

他說 Benchmark——Miles 與整個合夥團隊——在 LangChain 只有兩個人（他和 Ankush）時就投資，功能上像「第三位共同創辦人」；在 LangChain 一路走到約 400 人的過程中，他們是最始終如一的夥伴。Sequoia 在 Benchmark 那一輪之後兩、三個月加入；Sequoia 的 Sonia 是「這個圈子裡人脈最廣的人之一」。談到風格：Benchmark 聚焦公司的核心骨幹與定位；Sequoia 則把一切營運化——招募個人貢獻者與高階主管、行銷、產品發布——LangChain 也從 Sequoia 的人才網路拿到很強的候選人。他說，為了 Sequoia 或 Benchmark 而接受估值折扣，絕對值得。

快問快答：最喜歡的創投會議是與 Benchmark 的第一次簡報（「滿屋子傳奇人物」）；最想一起混的是 Bill Gurley；他當時太菜，根本不懂得怕。他改變想法最多的是推論市場——LangChain 一年半前討論過自建閘道，當時覺得相對 OpenRouter 沒價值，他現在說那是「百分之百的錯誤決定」。最難的技術工程是 SmithDB，LangChain 自建、用來儲存代理追蹤紀錄的資料庫。在 OpenAI 1.5 兆美元與 Anthropic 2 兆美元之間被迫二選一，他選 OpenAI，因為通往巨大出場的路徑更多元。他希望 2022 年就知道的事：今天的外殼長什麼樣子，這樣 LangChain 就能更早把它做出來。五年後最讓他興奮的：AI 的創意應用，像 Suno 那樣，而不只是企業效率。

值得關注的重點

本集未解的張力，在於 Chase 一方面確信外殼與上下文這一層能長久留存，另一方面又承認模型進步會逼 LangChain 定期刪產品。如果實驗室持續把外殼功能吸收進去——就像原生工具呼叫那樣——「中立外殼」的論點就得靠可移植性與狀態掌控權仍有價值來支撐，而這又取決於企業是否真的想換模型。他自己在閘道上的決策就是一個警惕性的資料點：他放掉了一個他如今說極其龐大的市場。兩件值得追蹤的事：對核心代理迴路的後訓練，是否會在 Harvey、Ramp 這類公司成為標準做法；以及企業的程式代理支出比重，會朝薪資持平上升，還是隨組織設計調整而趨平。Chase 的 30% 是他自稱的粗估，來自單一公司，並非市場基準。