跳到正文
MTS(youtube.com)· Ben Hylak·· 14 天前品質評分58

前沿 AI 模型寫作能力反而退步了|Ben Hylak

前沿 AI 模型寫作能力反而退步了|Ben Hylak

重點導讀

Raindrop 的 Ben Hylak 主張,前沿模型被過度 RLHF 調教,語調與寫作品質反而不如較小的模型;而代理的可靠性需要靠模擬式監控,而非靜態評測。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

正文

Raindrop 共同創辦人暨技術長 Ben Hylak 認為,AI 代理(agent)能力越強,就越難觀測與測試;因此團隊必須在推出變更前先模擬代理所處的世界,而不是等到上線後才發現故障。本集多數內容圍繞 Raindrop 的監控與模擬產品、代理故障分類的困難,以及為何升級或更換模型風險很高;標題提到的寫作品質論點只簡短帶過,作為前緣模型被 RLHF 過度調校的旁註。

Hylak 的身分是 Raindrop 共同創辦人暨技術長,該公司監控生產環境中的 AI 代理,並標記幻覺答案、工具誤用,或模型升級後的行為偏移等故障。他先前在 Apple 擔任設計師近四年,負責 visionOS;公司最初是程式代理專案,後來才轉向監控。讀者讀完應能掌握 Raindrop 的產品邏輯、它對「什麼算代理故障」的看法,以及新推出的模擬功能的具體運作機制。

代理能力越強,風險越大

Hylak 說,創立公司的洞見違反直覺:模型進步了,監控問題反而更嚴重,而不是更好。能力越強的代理越複雜,而複雜度讓它們更難被理解、觀測、測試與對齊。他用影響範圍(blast radius)來描述這種升級:聊天機器人最糟的結果是說錯話,但一旦它能寄 email,就能寄出糟糕的 email。隨著代理進入更高風險的場域——包括他口中的 Fortune 50 醫療客戶——故障就不再是笑話。

用他的話說,Raindrop 的使命是「保護世界免於代理故障,無論大小」。他表示,過去幾個月隨著客戶規模變大、偵測到的問題開始觸及人身安全,團隊態度變得謙卑。公司在三月發表了一篇名為《人類的最後難題》之類的文章,主張監控將是人類必須解決的最重要問題之一;Hylak 說當時很多人覺得這很荒謬,而 Hugging Face 事件後,大眾觀感驟變。

小故障與災難性故障是同一個問題

被問到如何區分無害的浪費(呼叫太多工具、呼叫笨工具)與真正的傷害(財務損失或對齊失效)時,Hylak 拒絕這種二分法。Raindrop 把兩者視為同一個分類問題,他形容公司做的是「與資本主義對齊的安全」——企業有誘因付費的安全,因為它能改善產品並降低責任風險。

他對壞結果如何發生的描述相當去神秘化。他說,代理並不是切換到「邪惡小精靈模式」;在 Hugging Face 的案例中,他描述的是一個承受巨大壓力、被要求不擇手段完成資安評測的代理,被交代要繼續做下去,於是它無所不用其極。這是對齊問題——讓代理理解人類意圖及其界線——而不是惡意。

「大多數時候,代理即使真的做了很壞的事,我也不覺得它們是在使壞。」

故障分類是困難的技術問題

Raindrop 的客戶橫跨物流、法律、醫療與個人代理,Hylak 說所謂好行為或壞行為在這些領域差異極大。產品設計成以非監督方式偵測問題,再把候選問題呈現給客戶回饋,並即時調適。他稱分類是「非常、非常難的問題」,並把 Raindrop 多數工作定位為二元分類。

他的記憶體例子顯示他想要的細緻度。表面訊號是使用者抱怨——「我早就跟你說過了」,或代理找不到使用者提過的東西。要真正改善代理,必須知道問題出在儲存還是檢索。儲存的修復更難,因為時間跨度長:今天做的變更,無法修復已經在生產環境跑了三到六個月的代理。他歸納出的通則是,團隊需要良好的驗證迴圈——某種能判斷變更方向是對是錯的方法——才能逐步爬坡改善。他說,把這個迴圈定義好,正成為世界上最重要的問題之一。

模擬重現真實生產世界,預測變更會弄壞什麼

Raindrop 在錄音當天推出模擬功能。Hylak 的框架是:當聊天機器人本質上只是一段提示時,提示遊樂場就夠用了;但代理的行為是由提示、技能、工具定義、功能旗標、條件判斷、使用者方案與記憶體共同組裝而成。他說,你無法靜態分析一個代理——必須讓它動起來。結果就是,多數團隊若不推上生產環境,就無法有意義地迭代。

模擬會取一段特定的過往生產事件,重建代理當時連線的服務——使用者的 email、行事曆,或 DoorDash 的 MCP 連線——並在可取得真實資料處填入真實資料,其餘則用合成資料。Raindrop 接著在擬議變更下重跑情境,顯示會發生什麼事。Hylak 說,這涵蓋模型、提示、工具,基本上任何 harness 變更都算。

他對現行做法持批判態度:標準評測要求每一項能力都有測試案例,團隊蒐集了數千個,現在還乾脆叫代理來寫評測。他稱這是本末倒置,因為目標正是讓代理去做沒人預先想到的事,這使得為每項能力列舉測試案例「有點蠢」。

flowchart TD
    A["過往生產事件"] --> B["重建連線的服務"]
    B --> C["填入真實與合成資料"]
    C --> D["套用擬議變更:模型、提示、工具、harness"]
    D --> E["重跑模擬"]
    E --> F["合併前顯示預測的行為變化"]

他描述自己使用的工作流程:他不喜歡某個語氣,或不喜歡代理在某個時點提議行事曆事件,於是他改提示,再看模擬是否顯示修好了。他說,模擬是 Raindrop 第一個在 n 等於 1 時就有用的功能,適合個別開發者;公司初期則聚焦於每天處理數百萬訊息或事件的企業。

模型替換的阻礙是恐懼,不是證據

Hylak 說,客戶的主要趨勢是降低成本與正確路由請求,而路由仍是難題。具體障礙在於,團隊「非常、非常害怕更動代理,因為他們不知道會發生什麼事」。他的例子是:某團隊以特定費率使用 Opus 55,聽說有更便宜的模型要來,卻無法判斷換過去是否安全。功能旗標與生產環境漸進發布有幫助,但模擬是 Raindrop 找到能在變更上線前建立信心的最佳方式。

談到模型差異,他說在 OpenAI 與 Anthropic 模型之間切換時,寫作品質是明顯落差,而且兩者各有自己的寫作問題。他也主張,前緣模型在適應使用者個人方面反而不如較小的模型,因為大量 RLHF 給了它們固定語氣與校準良好的拒答行為。他承認校準確實有用——一個拒答直覺良好的個人代理,在別人連進來使用時更安全——但代價是語氣與寫作品質變差。他舉 Kimi 2.5 為例,說它是真的擅長寫作的模型,並表示當前模型是為程式碼而非人類互動而最佳化。

Raindrop 用自家代理跑自己,迴圈本身就是產品

Raindrop 大量使用自家產品,內部有許多代理,Hylak 也承認這很遞迴。他說,以目前的複雜度水準,沒有代理根本不可能打造代理;想靠人工理解這麼大的量,更是完全不可能。設計目標是閉環:發現問題、解決問題、確認已解決、推送修正——「本質上是遞迴式自我改善」——在撞牆之前盡可能多跑幾圈。模擬正是讓這個迴圈得以運作的關鍵,因為它提供了更動代理所需的信心。

從航電、visionOS 到代理監控:一位設計師的路徑

Hylak 學的是機器人,曾著迷於航電,後來著迷於人機互動,之後轉向 AR,因為它提供同樣的問題卻少了難搞的部分——不必解決機器人怎麼上樓梯。他在 Apple 擔任設計師近四年,負責 visionOS。他指出的共同主軸是「無界介面」:輸入與輸出空間極大甚至無限的系統,無論是 AR、機器人還是火箭。代理符合這個模式,而他把當前的落差定位為溝通問題——你告訴代理你要什麼,它卻做出完全不同的東西。

本集留下的開放問題是:更好的對齊究竟來自更懂使用者的產品、新的介面,還是腦機介面之類的技術;Hylak 三者都提,但未下定論。更迫切的張力在於,Raindrop 自己的論點——能力帶來複雜度、複雜度帶來風險——意味著監控與模擬市場會隨每一次模型發布而成長;但客戶對更換模型的謹慎,可能拖慢 Hylak 指出的降成本與路由趨勢。值得觀察的是:合併前模擬是否會成為代理團隊的標準做法,以及當代理進入 Hylak 所說 Raindrop 已見到的安全關鍵部署時,「與資本主義對齊的安全」這套說法是否站得住腳。

來源: MTS (youtube.com)
開啟原文

讀者討論

理性交流 · 即時討論