分享靠1個Agent控制所有Agent和應用新技巧！兩個新的開源專案

兩週前我吐槽Grok Bot控制終端codex繞開沙箱用上gpt獨一檔的computer use能力失敗率奇怪的難題終於被我解決了，不只是瀏覽器自動化，是能操控本機裡其他Agent，能操作剪映做AI剪輯，在第二次操作的過程中還可以完全不消耗額度，非常Amazing。

先說一下結論，目前最佳搭配是，
Grok Bot➕vercel開源的agent-desktop

因為openai沒有開口子所以現在想要用codex同款computer use有兩條技術路線。

1️⃣ amontlabs的LCU（Local Computer Use）跟codex用的同一條路，通過macOS的accessibility API讀取介面，用accessibility動作去點選輸入拖放。

好處是能「看懂」介面，知道哪個是按鈕、哪個是輸入框。壞處是，如果app的UI不暴露給 accessibility tree，就抓瞎了。它們都需要一個模型在後面做視覺理解和決策，所以截圖，識別，規劃動作都燒tokens。LCU作為MCP工具我在grok bot呼叫的時候也是走Codex的token。

2️⃣agent-desktop走的是另一條路CGEvent 注入。它不通過 accessibility API，是直接在作業系統層面模擬滑鼠和鍵盤事件。按下，移動，釋放，跟我手指在觸控板上劃一樣。app 收到的就是真實的輸入事件。它本身只是一個 CLI工具，不做任何推理，所以單獨跑agent-desktop的命令是零額度消耗。

但agent-desktop不會自己思考。要告訴它點哪裡，拖到哪裡，等多久。這個「告訴它」的工作可以交給1個agent來做，寫成指令碼後回放時，消耗的額度是零。

重複的操作步驟遇到可變項，比方說ai剪輯就是素材不同匯出解析度不同，才需要模型介入，這樣換來就是操作速度會快很多。同樣是剪輯影片，第一次用了13分鐘但是第二次用37秒就搞定了，LCU平均是4到5分鐘。

但也不是完全沒有缺點。agent-desktop模仿是真實輸入所以需要佔視窗，不像LCU可以在後臺慢慢跑，最佳搭配還是mac mini。

還有一個技術點區分來這兩套方案，

1️⃣ 我仔細對比了ai剪輯每步的操作時間，LCU在素材拖拽裡浪費大部分時間，後面發現剪映是Electron套殼的自繪 UI，時間線區域的drop target對accessibility API幾乎不可見，用人話說就是發的拖拽指令剪映根本收不到

2️⃣agent-desktop就沒這麻煩，duration給了800ms的慢速拖動。對剪映來說這就是一個真實滑鼠操作，跟人手拖一樣。

果然這種在不斷嘗試慢慢找到正解，
在啥都可以問agent的現在還是很爽的，
現在我們都可以用1個Agent控制各種應用了！這把效率又原地起飛。