五款 Qwen3.8-27B 模型使用 GVS5H Harness 與 Fable 5 相媲美

GVS5H：大猩猶對 5 人類

結果

Opus 5 在 scaffold 的較早版本上執行，單次傳遞透過 OpenRouter 服務，而非在固定後端上執行五次。

摘要。 前沿編碼效能通常需以大型專有模型高成本購買。我們提出基於帳本的零射擊自我編排，一種無需訓練的方法，透過同一模型的全新例項將問題拆解並透過共享檔案系統協調，該檔案系統儲存計畫、筆記與目前解答。在 100 個最新硬核 LiveCodeBench 問題上，對十一個開放與封閉權重模型進行測試，該方法在固定後端上可提升高達 25.6 個百分點，並提供兩條通往前沿準確度的路徑。編排後的 Qwen3.8 Flash Next 在 9% 成本下達到 93.0% pass@1，對比 Fable 5 的 90.4%；本地服務、開放權重的 Qwen3.8-27B 則從 66.8% 提升至 92.4%。提升並非普遍：部分模型保持不變或更差。文字稿分析將提升歸因於拆解與持續上下文。推論時的組織化可在成本極低的情況下逼近前沿編碼準確度，或在自託管權重上略超其限。

— 論文

執行程式碼

需要 uv 與欲測試模型的 API 金鑰。

cd codebase/v2-current
export OPENAI_API_KEY=...

LCB_RELEASE=release_v6 \
ESCALATION_CLOUD_MAX_TOKENS=128000 \
ESCALATION_CLOUD_TIMEOUT=7200 \
MULTIAGENT_MODEL=openai:gpt-5.6-terra \
uv run --no-project --python 3.12 --with 'datasets<4' --with numpy --with anthropic \
  python escalation/run_bench.py --engine multiagent --only lcb --lcb 100 --parallel 8

--engine multiagent 執行管理程式；--engine single 為單呼叫基準。
其他模型：anthropic:<model>、dashscope:<model>、openrouter:<model>，每個都有自己的 *_API_KEY。
pass@1 分數會在最後輸出。結果寫入 runs/results.json，工作空間寫入 runs/ws/。

授權

程式碼採用 MIT 授權。論文、圖表與執行資料採用 CC BY 4.0。LiveCodeBench 分支、基準問題說明以及 LaTeX 範本檔案各自保留其授權。請參閱 NOTICE.md 以瞭解哪些授權適用於哪些路徑。