27 個模型只有 1.5 種看法?作者檢查整合投票的模型差異
Your 27-model ensemble has 1.5 opinions: measuring diversity with Fleiss' kappa and lineage-weighted voting
重點導讀
把很多模型放在一起投票,原本是希望它們能互相補足;但如果模型都來自相似的提示詞,票數多可能只是重複計算同一種看法。
- 作者分析自家足球賽事預測紀錄,發現平均每場有 10.34 個模型投票,換算後約只有 1.46 種有效看法。
- 多數決準確率是 56.95%,略低於模型平均的 57.00%。依訓練來源合併投票,準確率升到 57.35%,但能做出明確判斷的場次也變少。這份觀察提醒團隊,評估整合模型時應檢視模型是否真的各有不同,不能只看模型數量或共識程度。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
Your 27-model ensemble has 1.5 opinions: measuring diversity with Fleiss' kappa and lineage-weighted voting
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文