LLM 代理在 Pokémon Showdown 中的協作實驗
LLM agents play Pokemon showdown
**本文以 Pokémon Showdown 的 2v2 競技模式為基礎，測試 Qwen 系列 LLM 代理在協作、溝通與策略決策上的表現。
- 環境**：官方 Pokémon Showdown 模擬器，封裝為 Gym 風格環境，四位玩家控制三隻 Pokémon，兩隊兩隻。
本文以 Pokémon Showdown 為基準，量化 LLM 代理在協作與溝通上的表現，提供可用於 RL 之後續研究的環境與資料，並示範多訊息交流能提升勝率，亦揭示對話成本與效益平衡。
2026年10月10日
https://github.com/OliverGrabner/multi-agent-poke-showdown
未來在於 LLM 合作，瞭解代理人能否良好協作、溝通及協商行動非常重要。多數多代理研究聚焦於工作流程，代理人將任務傳遞至管線（Hong et al., 2024；Qian et al., 2024）。為測試此點，我在 Pokémon Showdown 的 2v2 格式上建立了一個多代理環境，以評估這些能力。
Qwen3.8-27B - 玩家 1
"雙方對手皆為水屬性 … 所以我的火屬性招式在兩者上都會被抵抗。… 我計畫使用 Will‑O‑Wisp Dondozo … 你能否以假裝逃跑開場，使其中一個在此回合被震顫？"
Qwen3.8-27B - 玩家 2
"對於使用 Will‑O‑Wisp Dondozo 的判斷很正確。稍作修正——格鬥屬性實際上不被水或地面抵抗，所以我的近戰搏擊在兩者上是中立 (1x)。… 鎖定 Fake Out → Whiscash。"
Qwen3.8-27B - 玩家 1 選擇 Will‑O‑Wisp → 對方 Dondozo (p4)
Qwen3.8-27B - 玩家 2 選擇 Fake Out → 對方 Whiscash (p2)
為什麼選擇 Pokémon？
Pokémon 雙人制是一個缺乏完整資訊的博弈理論環境。對手的招式組合隱藏且傷害隨機，因此取勝需要真實策略：閱讀對方隊伍、分配目標並根據隊友規劃。近期工作如 PokéAgent Challenge（Karten et al., 2026）對 Pokémon 對戰進行基準測試，但每邊僅由單一代理人操作，專門的 RL 代理人仍優於一般 LLM。此測試未能評估必須協調的隊友。
目標是建立一個受控環境，讓我能測量 LLM 代理人如何協調，並可進一步以 RL 訓練它們以鼓勵這些協作行為。
方法論
環境
官方 Pokémon Showdown 模擬器，包裝成 Gym 風格環境。四名玩家各自 控制一隻 Pokémon，來自三隻的隊伍，每邊兩隻。
代理人
每回合，代理人閱讀一段簡易英文的對戰摘要及其合法招式的編號列表。它可以 say 傳送私人訊息給隊友，或 choose 選擇一個招式，並
一旦選擇，隊友會被告知其選擇。
對話模式
自由對話（持續對話直至雙方皆選擇）、各一則訊息、無對話，以及單一模型 控制雙方 Pokémon。
評估
Qwen3.8-27B 讓兩名隊友對戰一個指令碼化的最大傷害機器人。對戰已種子化，且每一次 隊伍抽籤都從雙方進行，因而每種對話模式都面臨完全相同的對戰。
結果
對話條件下的勝率相較於最大傷害機器人基準
| 條件 | 30%50%70% | 每場對戰的代幣數 | |
|---|---|---|---|
| 自由對話 | 64% | 978k | |
| 單一模型控制雙方 | 54% | 450k | |
| 各一則訊息 | 52% | 654k | |
| 無對話 | 42% | 259k |
談話有幫助。能夠自由對話的隊友在對戰最大傷害機器人時贏得 64% 的比賽，而完全無法對話的隊友則贏得 42%。即使每人僅傳送一則訊息（52%）也能擊敗不對話的情況。由一個模型同時控制兩隻寶可夢（54%）的表現比不對話好，但不如兩個代理自由對話，因此我認為收益來自於對話本身，而非單一思維同時規劃兩次行動。
談話也有成本。自由對話每場比賽使用 978k 個提示字元，為不對話的 259k 的 3.8 倍，因為每則訊息都意味著一次額外的模型呼叫，需要重新閱讀比賽和至今的對話。
Qwen3.8-27B 團隊自由對話，對抗
| 對手 | 勝率 | |
|---|---|---|
| Qwen3.5-2B 團隊 | 96% | |
| Qwen3.5-9B 團隊 | 74% | |
| 最大傷害機器人 | 64% |
我還檢查了環境是否能區分不同模型。Qwen3.8-27B 團隊對 2B 模型組隊贏得 96% 的比賽，對 9B 模型組隊贏得 74%，對比最大傷害機器人 64%。對手越強，遊戲越接近，這也使得環境可作為比較模型的基準。
下一步
我正在將談話效應與觀察隊友行動的效應分離。我也在考慮將環境改造成跨模型的排行榜基準，並用於強化學習訓練，以鼓勵協作行為。
謝謝
透過這個專案，我想了解更多關於代理協作與強化學習環境，並想分享結果！我在德州農工大 Grace 叢集上執行了這些實驗。感謝 Maria Teleki 以及我的導師，Prof. James Caverlee，在此過程中的指導與回饋。