跳到正文

#AI 代理治理

RSS
今日 0 則
10月14日週三
  1. The Cognitive Revolution🎙️ Podcast85

    AI 代理的治理:GovAI 的 Alan Chan 談監控、代理身分識別、失控代理與為遞迴自我改進預作準備

    Alan Chan 是 GovAI 的研究員,投入 AI 代理(agent)治理研究約兩年。這場分為上下兩集的對談——分別錄於一篇關於遞迴自我改進(recursive self-improvement)的重量級多人合著論文發表前後——盤點了他提出的哪些方案已經落實、哪些仍懸而未決。最重要的單一發現是:代理的治理基礎設施遠遠落後於代理能力。防竄改日誌(tamper-evident logging)在技術上已經解決,卻未廣泛部署;即時同步監控在英國 AISI 出事前仍只是待辦事項,始終沒做;代理身分識別在開放網際網路上基本上無解,代理多半是冒充自己的人類操作者。Chan 共同執筆的 RSI 論文,

10月11日週日
  1. AI Engineer🎙️ Podcast85

    AI 代理不讀你的政策檔案,它們直接打你的 API——Gravitee

    Gravitee 技術長 Sam 在 AI Engineer 活動的開場,捨棄簡報投影片,改採即時、未寫指令碼的現場示範:兩組平行運作的 AI 代理,一組只靠提示指令治理,另一組則由閘道層級的身分與政策控管治理,實際對上真正的 Gravitee Gateway(SaaS)、Databricks 後端,以及 Anthropic 的 Claude Sonnet 與 Groq 推論的混合環境。核心發現是:提示層級的防護欄、markdown 政策檔案,以及代理內部的工具層級許可權,在實際執行時全都撐不住——當使用者要求代理「刪除所有訂房」,同時又要求刪除單一筆訂房時,未受治理的代理完美執行了這個破壞性工具

    推薦理由:提示層級治理無法阻止 AI 代理執行破壞性操作,凸顯政策檔案與身份驗證層級的侷限,提醒企業需加強多層治理。