使用 User Insights 識別 AI 模型過度使用
Identify AI model overuse with User Insights
雲flare 在 AI Gateway 平臺推出 User Insights 更新,新增任務、模型、成本等維度的分析,幫助團隊識別模型過度使用並支援自動路由。
該功能通過分類引擎將對話歸類為編碼、研究、寫作、摘要等任務,並提供模型適配、成本、延遲、對話輪數等指標,供團隊評估是否需要更換模型或調整工作流。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
當我們在上個月 推出 User Insights 時,我們想幫助團隊回答一個基本問題:人們實際上在用 AI 做什麼?User Insights 為團隊提供了更清晰的 AI 使用檢視,顯示哪些使用者、應用、任務和模型在驅動流量。它還突出顯示使用者和代理異常,幫助團隊在支出和使用失控之前識別意外或失控的情況。
我們的最新更新添加了使用者一直在要求的功能:上下文。
自推出以來,我們聽到使用者說模型名稱和請求計數只能說明一部分情況。它們顯示流量去向,但幾乎不透露背後的工作:那次請求是程式碼審查、研究任務,還是代理為完成工作而進行多次呼叫?相同的 token 計數可能代表非常不同的工作型別,若不瞭解任務,就無法通過模型選擇來評估。
User Insights 現在顯示何時模型可能比任務所需更強大,哪些使用者和代理在推動該使用,以及任務、模型、成本和對話模式之間的關係。團隊可以利用這些洞察來調查並在組織內做出有針對性的更改。這些功能對 AI Gateway 使用者免費開放。
為什麼 AI 使用難以理解
考慮一個將內部 AI 流量通過 AI Gateway 路由的團隊。幾週後,支出增加,一些請求的響應速度比預期慢,這是組織在大規模採用 AI 時常見的挑戰。
可能有多種解釋。開發者可能在使用 AI 進行日益複雜的編碼工作。代理可能在完成任務時進行過多的後續呼叫。或者少數使用者或代理可能佔據組織使用量的不成比例份額。
僅憑 token 和請求計數無法顯示哪種模式導致增長。團隊需要先了解流量代表什麼,然後再決定是否更改模型、工作流或路由規則。
幫助團隊發現 AI 模型過度使用的情況
模型過度使用檢視幫助團隊識別所選模型似乎比任務所需更強大的對話。例如,團隊可能發現使用者或代理將簡單的格式化或摘要請求傳送到高能力的推理模型。
這為組織提供了起點。他們可以檢視與該模式相關的使用者、代理或應用,然後調查背後的任務。團隊可能會發現模型被使用是因為它是預設的,或者使用者不確定選擇哪個模型,或者代理已被配置為在每一步使用相同的模型。
過度使用檢視不是排行榜,也不會自動推薦替代模型。它幫助團隊提出更好的問題:
- 這個模型是否適合該任務?
- 額外的能力是否提升了結果?
- 更快或更便宜的模型是否能產生相同的結果?
- 問題是否僅限於一個工作流、使用者或代理?
從那裡,團隊可以比較成本、延遲、token 使用量和對話輪數,然後決定要更改什麼。
這些洞察支援新的 Potential Savings 檢視和 Auto Router,後者將在本次釋出時與公共測試版一起上線。Potential Savings 檢視幫助團隊識別可以由更快或更便宜的模型處理的請求,而不影響輸出質量。Auto Router 自動應用這些任務和模型匹配訊號,幫助降低成本,無需為每個工作負載設定單獨的路由規則。
Overkill 檢視是評估模型匹配度的起點。團隊可以比較相同型別任務的延遲、輸入輸出 token、對話輪數和總成本。複雜的編碼或研究任務可能需要強大的推理模型,而簡短的摘要或簡單分類任務則不需要。目標不是將每個請求都轉到最便宜的模型,而是瞭解所選模型是否適合該工作。
瞭解人們使用 AI 的目的
任務分析按所代表的工作型別對對話進行分組。初始類別包括編碼、研究、寫作、摘要和資料分析。
這提供了模型名稱列表無法提供的上下文。一個工程團隊可能主要使用 AI 進行編碼和除錯,而另一個團隊可能用於研究和摘要。團隊還可能發現,儘管這些任務被髮送到高能力模型,但來自簡單任務的流量卻出乎意料地多。
答案因團隊而異。類別資料提供了一種利用已通過 AI Gateway 的流量來調查這些差異的方法。團隊可以判斷模型是否被用於其最適合處理的工作,或者預設模型是否被過度使用。
瞭解任務的全部成本
有些任務在一次交流中完成。其他任務則需要幾輪提問、糾正和跟進。輪數分析顯示不同任務所需的來回次數。長對話不一定是壞事,尤其是複雜工作。但如果一個簡單任務仍需多輪,可能值得檢查提示、模型或工作流程。
第一次請求只是成本的一部分。團隊還應檢視任務完成前所花費的時間、token 和金錢。比較這些數字可以顯示工作流程在哪些地方耗時更長或成本更高。
將洞察轉化為自動路由
一旦團隊識別出過度使用模式並在任務、成本、延遲和輪數資料上得到確認,就可以將該洞察轉化為自動路由決策。
例如,任務檢視可能顯示團隊的大部分 AI 使用是摘要和格式化。模型檢視可能顯示這些請求被髮送到大型推理模型,而輪數檢視顯示大多數對話在一次輪中完成。綜合這些訊號,團隊可以獲得一個具體的工作負載進行評估。
除了對 User Insights 的更新外,Auto Router 現已在封閉測試版中提供。Auto Router 使用對話軌跡、任務類別、任務複雜度和模型匹配訊號,自動將請求路由到合適的模型,同時考慮成本。
與其為每個工作負載建立單獨的路由規則,beta 版的客戶可以讓 Auto Router 在其應用可用的模型中進行選擇。路由器並不會簡單地把每個請求都發送到最便宜的模型,而是為當前任務選擇合適的模型。複雜的編碼或研究工作可能仍需更強大的模型,而更簡單的任務則可由更快或更便宜的選項處理。
瞭解更多關於 Auto Router 並報名參加封閉 beta,在此閱讀部落格文章。
Auto Router 使用與 User Insights 相同的任務和對話訊號。下面的章節解釋了這些訊號是如何生成的。
User Insights 如何分類流量
每個對話都會收到一個可在 User Insights 中分組的分析訊號。該訊號用於報告和路由分析,並不旨在替代或公開原始請求。
分類引擎是一個專用的 Cloudflare Worker,用於處理符合條件的 AI Gateway 日誌。它檢查對話軌跡,包括使用者請求、助手回覆、工具呼叫和工具結果,並識別正在執行的工作型別,例如編碼、除錯、研究或摘要。它還返回置信度得分,並評估任務複雜度、意圖模糊度、風險和上下文依賴等維度。
Worker 返回一個類別,可與儀表盤使用的日誌後設資料關聯。這些訊號也可用於通過比較候選模型在任務適配度與成本之間的表現來評估模型匹配度。目前的實現聚焦於一小組易於理解的類別,而不是嘗試推斷使用者工作中的每個細節。
該管道遵循現有的 AI Gateway 日誌架構。後設資料與日誌主體分開儲存,當前實現使用 Durable Objects 儲存後設資料,使用 R2 儲存日誌主體。User Insights 暴露派生類別和聚合檢視。它不會將儀表盤變成原始提示瀏覽器。對底層日誌主體的保留仍遵循配置的 AI Gateway 日誌行為,因此團隊在決定通過分類器傳送哪些內容時應審查這些設定。
分類是非同步的,這意味著它在 AI Gateway 處理完請求後才發生,而不是在使用者等待響應時進行。AI Gateway 先將日誌寫入現有儲存路徑,然後分類 Worker 之後處理它。這將分類從請求路徑中移除,並不會為使用者響應增加延遲。
權衡是 User Insights 不是即時檢視。新接收的對話可能不會立即出現在儀表盤上,分析可能會滯後約一天,因為日誌需要處理和聚合。團隊應使用 User Insights 來識別隨時間變化的使用模式,而不是監控即時請求活動。
流程如下:
將使用情況與使用者、團隊和工具關聯
當任務類別可以按使用者、團隊或應用檢視時,它們會更有用。AI Gateway 具備身份感知功能,提供該上下文,而無需團隊構建單獨的報告管道。
這不僅適用於團隊自行構建的應用程式,也適用於諸如 Claude Code、Codex 和 OpenCode 等開發者工具和代理工具包。通過將 AI Gateway 放置在 Cloudflare Access 後端,團隊可以將已認證的使用者和會話與其 AI 流量關聯,使 User Insights 能夠將活動與正確的人和對話關聯起來。
對於自定義應用程式,請在請求中同時包含穩定的 user_id 和 session_id,以供 User Insights 分析。確切的身份配置和欄位名稱取決於應用程式或工具的設定。重要的是提供穩定、非敏感的使用者和會話識別符號,以便在不將身份資料放入提示本身的情況下對使用情況進行分組。
對於自定義應用程式,請求後設資料可能如下所示:
請求體包含對話的模型和訊息。
在 AI Gateway 前配置 Access 後,諸如 Claude Code、Codex 和 OpenCode 等工具可以自動繼承此身份上下文。Cloudflare Access 對最多 50 名使用者的團隊免費提供,使其成為一個輕鬆入門的方式。
開始使用 AI Gateway User Insights
AI 使用正迅速變化。模型在變,團隊在開發新工作流程,適合一個團隊的最佳選擇可能不適合另一個團隊。
User Insights 讓團隊通過識別某些模型可能過度使用來開始做出更明智的選擇。他們隨後可以檢視哪些使用者和代理在驅動該使用,瞭解背後的任務,並比較完成工作的成本。
瞭解更多關於 AI Gateway User Insights 的資訊,請檢視 documentation。在 Cloudflare dashboard 中開啟 AI Gateway,並利用所學做出更有針對性的模型和路由決策。