跳到正文
熱點事件持續更新

研究發現模型升級未明顯提高 PR 合併率

1 篇報導1 個報導來源4 小時前更新

先了解這件事

重點綜述

換用更強的模型,能不能讓程式碼更常被合併?

  • 這項哈佛研究追蹤 Claude Fable 5 暫停供應 19 天期間的 GitHub pull request,並與持續使用 Opus 4.8 的開發者比較。研究發現,使用 Fable 5 讓程式碼在 7 天內合併的比例只增加 1.4 個百分點,這個差距落在隨機波動範圍內。
  • 另外比較 5 次模型升級後,合併率也沒有上升。不過,研究中的 pull request 原本就有 94.5% 已經合併,因此這些結果反映的是合併率,不一定能代表其他工作表現。

根據報導自動生成 · 4 小時前更新

報導時間線

沿著報導,瞭解事件的不同面向。

11月23日
  1. Rohan Paul (@rohanpaul_ai)
    哈佛研究比較 Claude Fable 5 與 Opus 4.8 的程式碼合併率

    換用更強的模型,能不能讓程式碼更常被合併?這項哈佛研究追蹤 Claude Fable 5 暫停供應 19 天期間的 GitHub pull request,並與持續使用 Opus 4.8 的開發者比較。研究發現,使用 Fable 5 讓程式碼在 7 天內合併的比例只增加 1.4 個百分點,這個差距落在隨機波動範圍內;另外比較 5 次模型升級後,合併率也沒有上升。不過,研究中的 pull request 原本就有 94.5% 已經合併,因此這些結果反映的是合併率,不一定能代表其他工作表現。

本事件熱度趨勢

當前熱度 9·可比範圍峰值 10(11月23日 01:00)·近 24 小時可比範圍變化 –

02.557.51011月23日01:0011月23日02:0011月23日04:0011月23日05:00

趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指標或點選圖表檢視每小時熱度;鍵盤可用左右方向鍵切換。

讀者討論

針對此事件的各方觀點與即時反饋