跳到正文
AI Engineer(youtube.com)· Nikolay Petrov·· 11 天前品質評分58

你的 SKILL.md 有 70% 是模型早就知道的內容——Intel 的 Nikolay Petrov

你的 SKILL.md 有 70% 是模型早就知道的內容——Intel 的 Nikolay Petrov

重點導讀

Intel 的 Nikolay Petrov 以確定性評估(deterministic eval)衡量代理技能(agent skill),發現模型對一般技能內容已掌握約 70%,但對嚴格細節僅掌握 22%,因此刪去已知資訊可節省 Token。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

正文

Intel 工程師 Nikolay Petrov 主張,多數 agent skill 都塞滿了模型早就知道的知識;團隊在最佳化 skill 之前,應該先對照「不載入 skill」的基準,量測每個 skill 的「新穎度」。這場演講簡要說明一套量測方法:把 skill 拆成原子專案,逐項分別在載入與不載入 skill 的情況下測試,再交由另一個模型評分,最後把結果歸入四象限矩陣。演講標題所稱「skill 有 70% 是模型早就知道的內容」,其實直到演講後段才以一筆帶過;大部分時間都花在評估機制的運作方式、執行成本,以及結果對 Token 效率的意涵。

Petrov 把這項工作定位成比團隊最初把提示打包成 skill 時所用的「用起來感覺會動」非正式測試更進一步。他區分兩類 skill:知識型 skill 會加入新資訊,流程型或引導型 skill 則只是強制執行一套可重複的流程;他表示本場次只談第一類。讀者讀完應該能掌握具體的處理流程、四種結果分類、他報告的寬鬆與嚴格判定之間的落差,以及清楚知道這套方法到哪裡為止、之後必須改由 eval 驗證接手。

skill 的價值要對照「不載入 skill」的基準來衡量,不能憑感覺

Petrov 的出發點是:團隊採用 skill 往往憑直覺。他們把 skill 打包起來、拿來用,然後判斷它「有沒有用」。他提出一套更確定的檢查方式:把任務寫成 eval,跑兩次,一次不載入 skill,一次把 skill 放進上下文,再互相比較。基本指標是解決率。在他示範的例子裡,不載入 skill 的那組五題 eval 解出三題,載入 skill 的那組五題全解,等於多解了兩題。他指出,比較時除了通過率,也應該追蹤 Token 用量與完成時間。

這項練習的重點,在於確認 skill「不只是個好點子,而是真的能運作的一套指令與上下文,供 agent 使用」。skill 通過這道門檻後,下一個問題就是效率:較新的模型可能讓 skill 的部分內容變得冗餘,目標於是變成在解掉同樣 eval 的前提下,做出消耗更少 Token 的 skill。

把 skill 拆成專案,再逐項測試載入與不載入的差別

Petrov 不採逐行修改、暴力窮舉組合的做法,而是借用 FactScore 的原子專案概念。他把 skill 拆解成一個個獨立專案,每個專案搭配一道問題與一個預期答案。專案可以是通則性的命題,也可以是嚴格到把具體動作釘死的契約。一個典型的 skill 大約會拆出 25 到 30 個專案。

接著每個專案都跑同一套雙組設定:目標模型在沒有 skill 的情況下回答一次,在有 skill 的情況下再回答一次,然後由一位評審或一組評審團評分。Petrov 建議評審選用與受測模型不同家族的模型,並強調問題必須先檢查過,不能洩漏答案。視量測目的而定,模型可以在不給工具的情況下執行,以測試內部知識;也可以提供網路存取等工具,以測試實務表現。

flowchart TD
    A["Skill 檔案"] --> B["拆成 25-30 個原子專案"]
    B --> C["每個專案搭配問題與預期答案"]
    C --> D["不載入 skill 執行該專案"]
    C --> E["載入 skill 執行該專案"]
    D --> F["評審團評分"]
    E --> F
    F --> G["歸入四象限結果矩陣"]
    G --> H["修正有害專案、刪減已知專案、保留新穎專案"]

四種結果涵蓋所有專案,而只有一種是目標

這個矩陣依「模型在有無 skill 的情況下是否答對」來分類每個專案。Petrov 逐一說明四個象限,以及各自對 skill 作者代表什麼意義。

不載入 skill載入 skill解讀行動
答對答對skill 沒有影響;模型本來就會可考慮移除,以節省 Token
答對答錯skill 拖累表現或讓模型混淆最優先修正
答錯答對理想情況:skill 教會模型新東西保留;這正是 skill 存在的理由
答錯答錯skill 寫得不好或不清楚;概念仍然缺失改寫該專案

他把「表現變差」那一格稱為最容易修正、也最能直接保護模型能力的一類。他表示,熱門 skill 出現這種情況很罕見:在 Anthropic 的 skill 中,大約 400 個專案裡只有一個出現表現變差。較小、較冷門的 skill 則比較可能出現。視覺化可以做到行級別,他指出,同一行或同一句話若混雜已知與新穎內容,可能同時帶有兩種顏色。

知識落差很大:一般理解約 70%,精確細節只有約 22%

Petrov 把寬鬆判定與嚴格判定分開:前者測一般概念,後者測精確的鍵、引數、數值與步驟。在他測試過的模型上,兩者落差很大。前沿模型對 skill 一般概念的理解約 70%,但對具體細節只有約 22%。他認為這在預期之內:新模型對概念的泛化能力很好,但拿到精確的資料與引數仍然有幫助。

他也指出,較小的模型整體而言對 skill 的理解較差,而 Sonnet 等較大的模型分數較高,他將此視為使用更大模型的尋常理由。在他比較的三個熱門 repo 中,理解程度隨 skill 不同而有相當大的差異。他不把這種變異視為缺陷,因為有些 skill 本來就刻意偏向方向性指引;但他說,這是有用的訊號,可以看出哪些 skill 對哪些模型家族才真的增加了知識。

「我們看到全部從對 skill 的 70% 一般理解,掉到只有 22% 的具體細節。」

整套量測很便宜:29 個 skill 大約 14 美元

Petrov 為這套流程標出具體價格。以 29 個 skill 跑完整套問題集大約花 14 美元,呼叫用 Haiku,評審用 Sonnet。這個數字涵蓋雙組執行與評分,因此每當模型或 skill 有變動,這套方法都能實際重複執行。

成本之所以重要,是因為產出只是起點向量,不是最終判決。Petrov 明確表示,新穎度分數只是眾多訊號之一,每一項提出的修改仍必須用 eval 驗證。便宜的量測能縮小該往哪裡看的範圍,但不能取代最後的測試。

新穎度分數告訴你該刪什麼,但刪了安不安全由 eval 決定

這個矩陣的實際用途是指導修改,而不是憑猜測。Petrov 最簡單的情境是:挑出模型在沒有 skill 時就答對的專案,把這些已知內容部分或全部從 skill 中移除,再重跑 eval。如果分數維持住,skill 就能縮小,省下 Token 與上下文視窗。同樣的指引也能指出,當專案在兩組都答錯時,該補充或改寫什麼。

他把這套做法對比於暴力反覆試錯:作者逐行嘗試各種組合,或依賴使用者回饋找出弱點。專案層級的矩陣取而代之,給出一份排序過的候選清單:先修有害專案,再刪冗餘專案,最後補缺失概念。

這套方法只是更廣泛 agent 評估框架的其中一項功能

Petrov 表示,這些實驗全部是在一套框架內執行,用來比較與 agent 及上下文相關的一切,涵蓋規模、AGENTS.md、MCP 工具等。新穎度只是其中一項功能。同一套框架也處理 eval、上下文影響評估、路由,以及 skill 描述與命名的比較。

他最後的訴求很直接:用確定性的量測,對 skill 該包含什麼做出有意識的決定,而不是憑直覺就把 skill 推出上線。尚未解決的張力在於,這套方法量的是模型「今天」知道什麼。隨著模型進步,今天新穎的專案會變成明天冗餘的專案,因此每換一個模型世代,新穎度檢查都得重跑;而 70/22 的落差也意味著,skill 真正持久的價值在於精確細節,而非概念框架。

來源: AI Engineer (youtube.com)
開啟原文

讀者討論

理性交流 · 即時討論