為什麼沒人對 AI Token 成本有共識——Cisco 的 Pratyusha Duvvuri
為什麼沒人對 AI Token 成本有共識——Cisco 的 Pratyusha Duvvuri
Cisco 的 Pratyusha Duvvuri 說明如何打造一套 Token 經濟學儀錶板,把工程師、主管與財務三種視角的 AI Token 成本對帳起來;她的結論是:單一供應商的儀錶板行不通,因為 Workday 與財務的組織層級對不上。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
Podcast 專家音訊節目
收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情
Pratyusha Duvvuri 曾任職於 Galileo,主導代理可觀測性(agent observability)與 Token 經濟學相關工作,直到 Galileo 先後被 Splunk 與 Cisco 收購。她指出,「Token 經濟學」在業界並沒有共通的定義——她訪談了大約 100 家公司,得到的答案從單純的可觀測性,一路到完整的各團隊 ROI 核算都有。她自己的工作定義是:「對 Token 用量與成本的可觀測性與可解釋性。」這場演講大部分時間聚焦在三件事:AI 支出出現的三個轉向(從「Token 極大化」轉向追求效率、模型選擇開始取決於使用情境、供應商改採為個別客戶量身訂做的定價)、依三種人物角色(persona)區分誰需要 Token 資料的框架,以及她與團隊打造的內部 Tokenomics 儀錶板 demo。
這場分享真正的價值,在於一個產品從零到正式上市(GA)只花 10 週背後的營運細節:產品要求客戶提供三項資料輸入(Workday/ADP 的組織層級、各供應商的 API key 與組織 ID、財務層級)、人資匯報線與財務成本歸屬之間的落差,以及供應商月結金額可能在事後變動所衍生的對帳問題。Duvvuri 直言這個領域還沒有定論——她把 Token 支出比喻成搭上一臺看不到跳錶的計程車——以下簡報整理了她引用的數字、具名案例,以及她點出仍未解決的挑戰。
Token 支出正從身分地位的象徵,轉變為效率問題
Duvvuri 用兩個資料點勾勒這個轉變。2026 年 5 月,黃仁勳說,如果一家 50 萬人的公司 Token 支出沒有至少達到約 25 萬美元,他會「嚇壞」。到了她演講當天早上,她看到 Ramp 的執行長發文說公司一週就花了 150 萬美元,財務長「嚇壞了」(這篇貼文還是執行長不顧財務長意願發的)。在她看來,風向正從「Token 極大化」轉向「我要怎麼讓工具呼叫、模型使用發揮最大效率」。
她用 Galileo(現屬 Cisco)內部的一個案例說明其中的細膩之處。較便宜的「Luna」模型在評測上拿到 96 分;用同一套評測跑「GPT-6 Astra」,分數提升到 99 分。團隊最後沒有換模型,因為對一個內部工具來說,3 分的差距不值得那個成本。她說,如果是任何面向客戶的產品,她願意接受便宜模型少那 3 分,前提是不會傷到客戶滿意度——決策會隨著物件不同而翻轉。
「在公司的內部場景,我不管那麼多,我就是想省錢,對吧?但如果是要對外面對客戶……我願意接受那 3% 的折損,換取客戶滿意度再往上提升。」
供應商定價已變成個別議約,這正是 Token 經濟學非做不可的原因
第三個趨勢是她認為大家最少想到的。以前 OpenAI、Anthropic、Cursor 等公司都會公佈每個 credit 的價格、模型清單,以及沒有任何客製化的授權方案。如今,她接觸到的每一個大客戶——電信商、金融科技公司等等——合約都不一樣。
| 客戶型別(示例) | Duvvuri 引用的定價安排 |
|---|---|
| 部分客戶 | 每個 credit 4 美分 |
| 另一批客戶 | 每個 credit 3 美分 |
| 其他客戶 | 30 美元以內不收費,之後每個 credit 10 美分 |
正因為沒有兩份合約長得一樣,單一供應商的儀錶板根本無法告訴一家公司它實際付了多少錢。這種破碎化,就是她說 Token 經濟學「開始變得重要」的原因。
三種角色,對同一份 Token 資料各有各的需求
Duvvuri 說,把客戶分門別類成幾種角色並不容易——「要把你所有的理想客戶輪廓(ICP)塞進三個類別,難到不行」——但產品總得要有某個版本的分類。她最後定出的三種角色,以及各自真正在問的問題:
| 角色 | 核心問題 | 具體煩惱 |
|---|---|---|
| 工程師 | 「我有沒有超出預算?」 | 該用哪些模型、每月 1 萬美元的預算、該用 Sonnet 還是 Opus、哪些技能(skills)在吃 Token |
| 工程主管 | 「我各團隊的趨勢如何?」 | 某個團隊(可觀測性)交出成果但超支;另一個團隊(產品)花得少卻沒達到承諾的 KPI;整體用量與採用情況 |
| 財務 | 「ROI 是多少?這筆成本歸誰?」 | 預算、告警、向執行長或董事會說明支出、把支出對應到財務歸屬 |
她指出,財務這個角色「跟多數技術人的思考方式完全正交」,而且財務對「歸屬」的認定跟 Workday 的管理層級樹不一樣。一家公司只有一個執行長,但財務是依營業費用(OPEX)、銷貨成本(COGS)與匯報結構來畫層級——所以同一個人在兩棵樹上的位置並不相同。
「Token 用量有點像你開著一臺有跳錶的計程車,卻完全不知道最後跳錶會顯示多少錢。」
現有的供應商儀錶板在彙總、對帳與歸屬三件事上都行不通
Duvvuri 承認,OpenAI 的入口網站會顯示用量、技能、成本與預測——但那隻涵蓋 OpenAI。再加上 Anthropic、GitHub Copilot 以及其他幾家供應商,就沒有單一檢視畫面了。她也提到,自己雖然是這些儀錶板的重度使用者,還是得在它們之間來回切換;而且工程師、財務人員、工程主管是三種不同的讀者,這些儀錶板無法同時服務這三種角色。
有兩個缺口不是靠彙總就能解決。第一是對帳:供應商可能先開出 10 萬美元的月帳,之後自家對帳流程抓到差異,又回頭改成 12 萬美元,所以系統必須能捕捉並反映這些變動。第二是財務需要把支出對應到自己的歸屬結構,而不是人資的結構。
產品需要三項輸入,其中財務層級最難搞
在 demo 之前,Duvvuri 先列出客戶必須提供的東西:
1. Workday(或 ADP)層級——公司的組織結構/層級樹。
2. 各供應商的 API key 與組織 ID(OpenAI、Anthropic 等),產品每天查詢一次,以一天內的資料新鮮度提供資料。
3. 財務層級——這部分「每家公司都不一樣」,她稱之為「真正棘手的那一個」。
在人資這一側,客戶對員工資料相當保護。據她所述,客戶願意分享的是姓名、ID 與職務功能——不含年資或在職期間。因此資料匯入最後簡化為一份只有六個必填欄位的 CSV;其他欄位都是選填,只用來豐富切分維度。
儀錶板分成主管檢視與財務檢視
demo 展示的登入畫面附有日期篩選——本月至今、依週別,以及供財務使用的會計年度行事曆。右上角的「主管檢視」是為工程師與工程主管設計的(財務可以存取,但不是為他們設計的)。裡頭有一個成本儀錶板,以及另一個獨立的採用儀錶板,追蹤各團隊對 Codex 等工具的使用是增加還是減少,並以紅綠趨勢指標呈現所選期間的變化。
她說客戶最常提到的功能是預測:主管和財務都不知道自己會在一週內還是一個月內把預算燒光。預測結果以陰影「鬼影」曲線呈現,她也坦言變異數很大——新模型不斷出現、成本持續變動,「今天的 AI 世界就是這樣」。
再往下,每日成本趨勢會沿著管理層級樹往上彙總。在她的例子裡,用量從她本人往上滾到「G2 Patel」(她所屬的產品長),再往上到執行長 Chuck Robbins,每一層都可以展開到個人與團隊用量。還有一個「依職務族群看用量」的檢視,讓高階主管比較各職能的 Token 支出,例如業務與工程——她舉了一個客戶案例,業務的支出竟然高過工程,這「有點令人擔憂」。
財務檢視則以財務層級呈現同樣的結構:一棵以部門為終點的成本節點樹,從她這個層級到執行長,每個人都會歸入某個節點。存取許可權由嚴格的 RBAC 控管——A 團隊的主管看不到 B 團隊的用量,除非具備管理員身分。
flowchart TD
A["客戶輸入"] --> B["Workday 或 ADP 層級"]
A --> C["供應商 API key 與組織 ID"]
A --> D["財務層級(CSV,6 個欄位)"]
C --> E["每日向供應商拉取資料"]
E --> F["對帳層"]
B --> G["主管檢視:成本、採用、預測"]
D --> H["財務檢視:成本節點、部門、RBAC"]
F --> G
F --> H
三項挑戰仍未解:規模、簡化,以及會變動的資料
Duvvuri 形容,在一個還沒有定論的題目上做產品,就像駕駛一艘「連目的地都不知道的船」。團隊從與客戶對談到推出正式上市產品只花了 10 週——「私下說,燒掉了好多個週末。」
- 資料模型還在變,卻得撐起規模。 要服務大約 9 萬人,一個新的客戶需求就可能逼得資料模型改動,而同時平臺上已有 1 萬名使用者在用、還有新產品使用者正在匯入。
- 三種受眾,一個介面。 她說,AI 時代真正的挑戰不是把東西做出來,而是把產品做到「簡單、笨、好用,讓每個人都能直接拿到自己想要的」——當這些 ICP 差異這麼大時,這非常難。
- 對帳與人員流動。 供應商資料事後還會變,人也會換工作或換主管,歸屬計算必須同時吸收這兩種變動,又不能讓視覺化壞掉。
她也點出尚未公開的產品路線圖:預測功能「大概再過幾週就會推出」;而 ROI 推論——把成交客戶數、完成的遷移、新產品開始起量等業務成果,跟 Token 用量連在一起——客戶有明確需求。她請在場聽眾不要對外轉述預測功能的細節。
尚未化解的張力在於定義本身。Duvvuri 開場就賭「一百萬美元」,說在場沒有兩個人對 Token 經濟學的定義會一樣;她也承認自己沒有標準答案,最後請聽眾持續重新思考這個定義。對財務與科技主管來說,實務上的結論是:Token 成本管理目前既是可觀測性問題,也同樣是資料整合與歸屬對應的問題——而且底下的供應商定價如今都是逐客戶議約,所以沒有任何現成儀錶板能顯示真正的數字。