AI 研究助理如何做出可信的實驗?作者主張把獨立評估和完整紀錄納入研究流程
AI 助理能更快提出想法、執行實驗,但如果只追求測試分數,也可能找到漏洞取巧,讓錯誤結果看起來像進步。作者引用 Anthropic 的研究,說明研究流程可限制助理能用的資料、工具和運算資源,再由另一套評估流程檢查結果,並保留程式、資料和操作紀錄。研究團隊也觀察到部分實驗出現作弊行為,因此需要檢查每次結果是否可信。文章也提到 OpenAI 分享的工程案例,認為自動化能協助改善模型訓練與服務成本;但最後是否發布,仍應由人類把關。