Grammarly 每週執行 1,000 億次 LLM 呼叫 | Superhuman
Grammarly 每週執行 1,000 億次 LLM 呼叫 | Superhuman
Grammarly 執行長 Shishir Mehrotra 說明 Superhuman Go 這個代理平臺,如何憑藉 Grammarly 在各應用程式內的既有版位與低於 100 毫秒的推論速度,補上 AI 的「最後一哩路」;他主張代理必須在使用者的遊標所在之處觸及使用者,而不是多繞一圈。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
Podcast 專家音訊節目
收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情
Superhuman 執行長 Shishir Mehrotra 認為,企業 AI 最大的缺口不在模型能力,而在「最後一哩」——如何把 AI 送到人們原本工作的所在,而不是要求使用者改變習慣、另外開啟一個工具。他在一場產品發布訪談中提出這套論點,訪談內容涵蓋 Superhuman Go(建構於 Grammarly 之上的代理平臺)、一項全新的個人助理功能,以及 Superhuman Mail、Superhuman Docs 與新近收購的筆記工具 Fathom 的更新。整場對話大部分時間都花在「最後一哩」這個主張、Grammarly 的規模與自訂推論的經濟效益,以及如何衡量 AI 生產力;每週 1,000 億次 LLM 呼叫這個亮眼數字,只是這場討論裡的一個資料點,而非主題本身。
Mehrotra 談這個題目很有說服力:Grammarly 是 Superhuman 產品組合的基礎產品,他本人也兼任 Walmart 與 Spotify 的董事,他表示 AI 生產力如今在兩家公司的董事會都是常設議題。讀者讀完應該能掌握 Grammarly 推論架構背後的具體數字、這套產品組合逐一展開的邏輯,以及本集留下的未解問題——包括來賓自己在內,沒有人有一套定論,能衡量 AI 究竟有沒有讓工作變得更好。
AI 的價值漏在最後一哩,而非模型本身
Mehrotra 的核心主張是:強大的 AI 工具之所以觸及不到使用者,是因為它們要求使用者改變行為——你得記得去開啟它、想出對的問法,再把它塞進自己的一天裡。他稱之為「AI 的最後一哩」。Grammarly 的反向模式,是把 AI 帶到使用者當下所在應用程式裡的遊標位置。Superhuman Go 背後的策略賭注,就是把兩者配對起來——強大的獨立工具,加上 Grammarly 深入工作流程的觸及能力。
他以法律領域為例說明。夥伴產品 Lora 被形容為一款注入全球與公司專屬法律知識的類 ChatGPT 工具。但它是「針對律師記得去用它的情況最佳化」,而 Mehrotra 說自家內部的法務人員最多「一週用個一兩次」。把同樣的能力搬到遊標旁——在審閱合約、起草客戶信件或做會議紀錄的時候——它就能即時標出公司不會接受的條款,或改寫某個措辭。他的說法是:把現成的 AI 帶到遊標旁,可以「讓你的 AI 工具使用量成長 100 倍」。
「我們認為挑戰在於 AI 的最後一哩。這些工具全都要求你做出大幅的行為改變。你得記得去開啟它們。」
Grammarly 的規模,靠的是百毫秒以下延遲的自訂模型
Mehrotra 引用的數字是本集最具體的內容,也把 Grammarly 定位為一家推論公司,而不只是寫作助理。據他所述,Grammarly 每週處理超過 1,000 億次 LLM 呼叫——平均每位使用者每天超過 2,000 次——其中 98% 由自家自訂模型服務,延遲低於 100 毫秒。他表示,這讓 Grammarly 成為大多數使用者最常用的 AI 產品。
| 指標 | 數字(依 Mehrotra 所述) |
|---|---|
| 每週 LLM 呼叫次數 | 超過 1,000 億次 |
| 每位使用者每日呼叫次數 | 超過 2,000 次 |
| 由自訂模型服務的比例 | 98% |
| 自訂模型延遲 | 低於 100 毫秒 |
| Grammarly 每日運作的應用程式數 | 100 萬個 |
100 萬個應用程式這個數字,就是它的通路資產。Grammarly 會觀察使用者在桌面、網頁與行動應用程式中的操作,以不打擾的方式加上標註,並代替使用者完成修改。Mehrotra 稱這種能力是「一項缺失的要素」——不只對 Grammarly 如此,對任何想把 AI 送到使用者工作現場的產品都一樣。他指出,AI 轉型其實早於 ChatGPT:Grammarly 在生成式 AI 時代初期就把核心引擎從規則式改為 AI,這也是為什麼 2022 年底 ChatGPT 問世時,公司並沒有被取代。
Superhuman Go 把平臺開放給第三方代理
Mehrotra 描述的發布重點是 Superhuman Go,這是建構於 Grammarly 之上的旗艦代理平臺。它全面開放,提供 SDK,並有一批合作夥伴在其中打造代理。具名夥伴包括 Databricks(在使用者工作的地方,把資料倉儲中的事實呈現出來)與 Lora(把法律知識放到遊標旁)。第二項更新則加入真正的個人助理:它有自己的電腦、可以直接傳訊息給它,還有「心跳」機制,能在未被要求的情況下主動推送更新。
這套產品組合的邏輯在各產品間一致——每個產品走不同路線,但目標相同,都是把代理嵌入既有的工作之中:
- Superhuman Go——代理平臺與個人助理,現已透過 SDK 開放。
- Superhuman Mail——把 Go 的能力帶進電子郵件,具備自動草稿與自動標籤,並可連線熱門應用程式。
- Superhuman Docs——讓代理成為檔案中的協作者。
- Fathom——最新收購的筆記公司,展示了新版本,讓你在會議中做筆記的同時,代理也能同步工作。
Mehrotra 把野心定調為成為「那個不可或缺的 AI 生產力套件」,把 AI 直接織進產品之中,而這套組合是由公司過去一年自行打造與收購的產品混合而成。
AI 一邊省事,一邊也在製造工作
Dew 提出企業常見的抱怨:AI 原本該省時間,但現在團隊收到一封信,卻有十個代理同時回覆,工作反而倍增。Mehrotra 把這種現象拆成兩件事。第一是「AI 繞路」——匯入 AI 會逼著大家換工具、換心態,結果拖慢腳步,甚至讓人乾脆不用;遊標策略就是他的解方。第二是懂得用 AI 的人會把 AI 變成「神隊友」,等於讓工程、客服、業務團隊從 10 人變成 100 人。這確實會產生更多工作,就像團隊變大一樣——所以他主張,回應端也必須有代理(自動分類、自動標籤、自動草稿),讓代理幫你做事,而不是扯你後腿。
AI 生產力怎麼衡量,至今沒有定論
被問到如何定義「有生產力」,Mehrotra 坦承這是業界公認的難題之一,並把它拿來跟衡量人的生產力相比。他說這如今已是 Walmart 與 Spotify 董事會的常見議題(他身兼兩家董事),而他在訪談前幾週(約 2026 年 11 月初)才寫過一篇文章談這個題目。他表示,多陣列織最後都走向依部門、依任務設計各自的衡量方式。
他唯一提出的具體例子是工程部門:「真實產出」,也就是每位工程師每週的程式碼變更次數,並依變更規模標準化。他認為這個指標「還不錯」,但並非產品價值的直接衡量——主要用來偵測明顯的速度變化。他給正在設計這類指標的公司的建議是:同一套衡量方式通常對人和對代理都適用,那就照這個原則設計。
Mehrotra 預測一年內推論量成長 10 到 100 倍
他最大膽的預測是:推論量在未來一年將成長 10 到 100 倍,而推動成長的正是 Superhuman 所走的「把 AI 嵌入生活」路線。他認為 AI 的潛力仍遠高於今日所實現的水準,企業應該為這波需求做好準備。至於產品時程,他只說未來幾個月會有「愈來愈多優秀的 AI 產品」,並未給出具體日期。
「我認為我們會看到推論量比現在成長 10 到 100 倍。」
套件策略押注:通路勝過模型同質化
這一系列發布的共同主軸,是一個賭注:當前沿模型的能力逐漸趨同,持久的優勢屬於掌握工作現場的那一方。Grammarly 涵蓋 100 萬個應用程式的版圖,以及其自訂推論的經濟效益,是 Mehrotra 反覆回到的護城河;SDK 與合作夥伴代理(Databricks、Lora)則讓別人的 AI 搭上同一條軌道,進一步延伸這道護城河。尚未化解的張力在於衡量:Mehrotra 斷言把 AI 送到遊標旁能帶來 100 倍的使用量成長,卻沒有提出任何能證實這點的指標,而他自己談生產力時也承認這個領域欠缺衡量方法。未來一年最值得觀察的,就是那個 10 到 100 倍的推論成長預測——若成真,他所描述的基礎設施與延遲優勢,將成為所有競爭對手無法迴避的瓶頸,而不只是 Superhuman 的難題。