跳到正文
Lenny's Podcast(youtube.com)· Lenny Rachitsky·· 14 天前品質評分58

打造前沿模型到底需要什麼|Tulsee Doshi(Gemini 產品負責人)

打造前沿模型到底需要什麼|Tulsee Doshi(Gemini 產品負責人)

重點導讀

Google Gemini 產品負責人 Tulsee Doshi 說明,模型行為必須當成使用者體驗(UX)來處理——透過評分標準、像 Monk 膚色量表這類評估,以及 60/20/20 開發法則來形塑——因為決定產品能否上線的是產品經理的判斷,而非單靠模型能力。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

正文

Tulsee Doshi 是 Google 前沿模型(frontier models)的產品負責人。她主張,Google 打算在 AI 前沿正面競爭,而不是把這個位置讓給 OpenAI 和 Anthropic;她也認為,模型開發團隊裡 PM 的工作是管理不可預測性,而不是消滅它。整段訪談大部分在談這份工作的手藝:怎麼寫評估(eval)、怎麼讀出一款模型的「氣質」、產品該領先當前能力多遠,以及 Google 如何改變 PM 的招聘與培訓方式。標題所指的主題——Google 在 AI 競賽中的位置——只佔開頭幾分鐘;至於 Google 為何始終沒推出一款能橫跨 Gmail 與 Calendar 資料的強力消費級助理,這個問題短暫被提起,得到的回答是「敬請期待」。

Doshi 是從製程內部發言:她帶領 Gemini 及 Google 其他前沿模型的產品,包括生成式媒體模型(Nano Banana、音樂模型 Lyria)、開源的 Gemma 系列與音訊模型;在這之前,她在 Google 負責任 AI 團隊帶領產品六年。讀者讀完應該能建立一套可用的心智模型,理解前沿模型實際上如何被打造與評估;拿到一套具體框架,判斷在模型還撐不起來之前該先推出什麼;也能清楚看出 Google 自稱正在投資的方向——安全監控、網路防禦、全棧式的成本對品質策略——以及它坦承還需要加把勁的地方。

Google 說它要前沿,但策略是橫跨成本—品質曲線的廣度

Doshi 不接受「Google 已從前沿退守」這個前提。她以 Gemini 4(代號「Argon」)為證,說錄音當時它已箭在弦上,並直白表示 Google 想贏下前沿這場對話。但她把前沿定位為更大策略上的一個點:Google 做的是全棧,從硬體、模型一路到終端產品,而它宣稱的目標是沿著成本—品質曲線佈局一系列模型,服務不同使用者——想找資訊的搜尋使用者、正在打造新東西的工程師、保護基礎設施的網路防禦人員。

她拿來佐證的數字是 Google 有 14 項產品使用者數超過十億,她自己也說這個數字該再確認一次。策略上的主張是:Google 不必只靠最聰明的聊天機器人取勝,它也可以靠把既有產品做得更好(AI Mode、AI Overviews),以及靠吃下曲線中講求效率的那一端來贏。

至於 Google 為何沒推出一款能橫跨 Gmail、Calendar、Docs 的強力助理——而第三方產品接上這些資料、而且做到了——這段對話很短。Doshi 說 Google 希望自家資料能驅動令人驚豔的體驗,團隊正在做「一些很棒的東西」,並表示「這一塊我們還有很多工作要做」。Lenny 提到,Josh Woodward 在先前一次訪談裡也給了類似的「密切關注」式回答。

模型開發一半是科學,一半是讀懂模型的個性

本集最獨特的論點是:模型不是輸出可預期的傳統產品。Doshi 的類比是石內卜的魔藥課:你把所有材料都放進去,也仔細想過自己期待什麼,但「還是會有一點魔法」,而那點魔法會令人意外、獨一無二。因此 PM 的工作有兩層——形塑放進去的東西,然後看跑出來的結果,找出模型出乎意料發光的地方,再把它變成產品。

她也很謹慎地說明,流程中很大一部分是可預測的:研究員監控訓練過程、追蹤指標,必要時介入。剩下的是模型的「氣質」——某項能力在下游如何顯現、和模型溝通起來是什麼感覺、它的行為與人格。這些有一部分是訓練進去的,有一部分是靠評估與測試發現的。

這也連到 Google 如何定義模型行為。一個專責的模型行為團隊與 PM 合作,先定義對 Gemini 而言「好」長什麼樣子,把它轉成書面規格,再轉成評估用的評分規準(rubric),然後轉成訓練資料與獎勵建模。Doshi 稱這是 PM 與研究之間很強的一種協作,並把模型的人格視為一種使用者體驗:模型有多透明、溝通得多好、會反問什麼問題。

「模型不是可預測的。它有點像石內卜的魔藥課。你可以把所有材料都放進去,但你也得預期會有一點魔法。」

評估與氣質是互補的兩項技能,而且都從小處開始

Doshi 把結構化評估與直覺式測試視為同一項能力的兩半,而不是對立的兩個陣營。談到評估,她坦承 Google 自己也還在摸索怎麼提升 PM 這方面的能力。她對第一份評估的建議刻意保守:先從五個提示(prompt)開始,慢慢擴到二十個左右,用來壓力測試一組能力,並能在兩個模型之間看出差異訊號。這樣就夠用了,也不必一次把所有方法論問題都解決。她說,先自己判斷輸出結果,因為光是講清楚一段長的多輪軌跡「好」在哪裡就真的很難,而這個練習會先帶來清晰度,之後才帶來規模。

談到氣質,她的建議是拿你真正在意的工作去測模型,因為魔法就出現在那裡。她提到,社群媒體上的人各有偏好的測試題——3D 動畫與視覺美學、創意寫作與綜合整理、硬派的財務分析——而對的任務,是當前模型已露出「生命跡象」、但用你自己的標準看還不算完美的那種,這樣才有空間看出不同模型處理起來有何差異。

她也提醒,評估必須整體性地思考。評審模型(judge model)的品質,和被評的模型一樣重要。你是否在含全部防護與過濾的正式環境堆疊上評估、模型如何被服務,都會改變數測到的表現。音訊讓這件事格外明顯:模型說了什麼只是品質的一部分;自然度、語調與抑揚也受服務方式影響,所以端到端的評估設定很重要。

評估設計有個具體例子來自她做負責任 AI 的那幾年。早期的膚色評估採用 Fitzpatrick 量表——那是為醫療用途設計的六種色階,嚴重偏向極淺膚色,不足以代表全球人口。Google 與哈佛教授 Monk 合作,他的研究從人類學與社會學出發,做出了一套十色階量表;Google 於是在評估中換掉六色階,改用十色階版本,藉此改善 Pixel 相機與影像生成等工作的代表性。

60/20/20 法則:先推出現在行得通的,為模型下一步的能力預先佈局

對於產品該領先模型能力多遠,Doshi 的框架是把產品拆成三塊。大約 60% 應該現在就能運作,讓原型可用。大約 20% 還不完美,但已夠好用,而且她看得出模型很快就能補上。剩下的 20%,她只看到微光,但相信一旦攻克,就會帶來令人驚豔的體驗。她說具體數字可以調整,但這個論點站得住。

對照的是新創圈的標準建議:做一個能用的 MVP。她的版本是讓產品今天就有用,同時把它擺在隨模型進步而變好的位置上。她也承認難處:即便是做模型的人,她也說不準三個月後模型會到哪裡,所以她偏好具體的參照點——我的產品現在在哪、我在哪裡看到微光——而不是去預測模型能力。

她把這點延伸到產品架構。客戶有時會圍著模型「當時」的能力打造僵固的系統,等模型變強就卡住。解法是持續重測,並且願意拆掉鷹架,因為為舊模型打造的框架(harness)可能拖累新模型。Lenny 引用 Boris Cherny 的建議:定期把累積的技能剝掉,看看模型在沒有輔助時會怎麼做。

Doshi 對框架的定義很簡單:包在模型外面的那一層——系統指令、工具、技能與上下文——給模型一個可運作的環境。

開發佔比目前狀態目的
約 60%現在就能運作可用的原型、能用的產品
約 20%不完美但堪用近期模型進步就能補上落差
約 20%只看見微光押注它會隨模型進步而變得驚豔

安全上的信心來自監控,也來自用 AI 強化系統

Doshi 對 AI 安全的立場是:樂觀唯有靠警戒才站得住腳。她沒有宣稱問題已解決;她說通往樂觀的路,得靠謹慎、深思與刻意為之,而最關鍵的要求,是有一群人真的擔心、真的去追問模型是怎麼被造出來的。

她特別點出的具體防護措施,是監控模型的思維鏈(chain of thought),偵測它是否與被指派的動作不一致,然後介入。她說這既能提高部署時的信心,也能更瞭解不一致會出現在哪裡,回饋到模型改進上。

她也認為,安全辯論低估了 AI 的防禦角色。在 Gemini 4 上,Google 與網路防禦方合作,包括 Wiz——她說 Wiz 現在已是 Google 旗下公司——一起找出並修補漏洞。她舉 Wiz 的「scan for good」計畫與一家醫院系統合作,找出並修補了一個漏洞。Lenny 提到,最近 All-In 有一場討論預測,隨著攻擊性 AI 變強,AI 驅動的網路防禦會有大筆投資。Lenny 也觀察到,他沒讀過 Google 的模型去駭進誰,Doshi 對此回應說,Google 更偏好講修補漏洞的故事。

Google 招 PM 看的是品味、對模型的直覺,以及對持續變動的耐受度

Doshi 認同「PM 復興」這個說法,並給出具體機制:當任何人都能輕鬆做出任何東西,做出好東西就成了差異化所在,而品味成了稀缺的投入。PM 的工作是從雜訊中分出訊號,找到能解鎖良好體驗的那個洞見。在一家同時做很多產品的公司,她再加上第二項要求——能推動共識、把混亂變成秩序的人,因為少了這一點,速度只會製造混亂。

她的招聘標準很具體。她要的 PM 懂 Google 或其他家模型的氣質、有自己的看法、每天玩模型、有自己判斷品質的用法、會自己去壓力測試能力,而且願意動手碰資料——跳下去、做一份評估、把零碎的東西拼起來。她也要適應力,因為這個領域每兩週就變一次,兩個月前寫的路線圖一定得重寫。

至於培養現有團隊,她說 PM 們反而在教她。有些人已經投入,並用內部工具練出真本事;團隊正在建一個共享的「技能」庫(技術性的,不是人的技能),讓某個 PM 的工作流程能嘉惠其他人,也開工作坊,讓更多 PM 有信心讀資料與長軌跡。她最大的槓桿是時間與空間:一直衝刺就沒空學工具,但這筆投資大約有十倍的回收。她提到十一月計畫辦一場兩天的工作坊,把所有 PM 從日常工作中拉出來動手做、動手玩。她不知道 Google 是否還在推行 20% 時間制度,並說她的 PM 們已經在「150%」運轉。

AI 改變 PM 這份工作,是讓需求更有份量,而不是取代 PM

Doshi 對 AI 如何改變產品管理的看法:做原型是最明顯的轉變,資料科學是第二個——PM 現在手邊就有資料,可以做資料驅動的決策。她不認同社群媒體上「原型就是新的 PRD」或「評估就是新的 PRD」這種說法。她認為,這些口號真正顯示的是:PM 已經從「寫需求、然後假設別人——資料科學家、工程師、研究員或設計師——會補上實質內容」,變成要負責再往前一步,用任何合適的形式,替需求撐出份量。

談到 AI 生成的檔案,她建議把資料與洞見分開:資料該由模型提供(拉儀錶板、指標,做 Twitter 與 Reddit 分析,產出上線兩週後的使用更新),洞見則該由 PM 提供。Google 正在投資建立能產出正確資料的技能,讓這些產出結構良好,反過來也騰出時間做創意思考。

談到過勞,她說團隊裡每個人都是全力投入,而她正積極思考怎麼讓環境永續。她的診斷是,過勞與其說來自工時,不如說來自另外兩個來源:不斷變動與混亂,以及你不享受的工作——雜活,或讓人覺得白費力氣的工作。她希望 AI 工具能拿走雜活,把時間釋放給思考與創意工作;她也指出,激勵每個 PM 的東西不一樣,所以組織領導者得把任務和對的人配在一起。

主線:為移動中的目標打造產品,為判斷力配置人力

本集各段之間的扣合,比標題給人的印象更緊密。如果模型不可預測、進步的時程又沒人說得準,那麼 60/20/20 法則、堅持評估加氣質、以及招聘每天玩模型的 PM 這道門檻,全都是對同一個限制條件的回應。Google 宣稱的答案是:橫跨成本—品質曲線佈局,讓任何一次模型發布都決定不了結局;同時投資監控,讓部署信心能隨能力一起提升。

還有兩股張力未解。Doshi 坦承,Google 在自家資料之上打造消費體驗這件事還有更多工作要做,卻不願透露接下來會有什麼——這和同事在先前訪談給的答案如出一轍。她也承認,對一個她說正在「150%」運轉的團隊,她還沒有永續工作負荷的答案,目前的手段是一場兩天的異地會議。這兩點都值得追蹤:第一點,因為 Google 的通路優勢會讓一次強力發布產生重大後果;第二點,因為那正是她說 Google 打算贏下的前沿競賽,其營運成本。

來源: Lenny's Podcast (youtube.com)
開啟原文

讀者討論

理性交流 · 即時討論