退貨分類案例:小模型測試 97% 準確,卻照搬了大型模型的錯誤
小模型看起來測試很準,卻可能只是學會大型模型犯的錯。文中的公司用大型模型替 50,000 筆舊退貨分類,再拿這些分類訓練小模型,測試結果有 97% 準確。上線後,模型卻把運送途中摔壞的商品判成商品故障,讓不同物件的求償數量大幅改變。原因是訓練和測試都沿用大型模型的分類,測到的只是小模型有多像老師。作者建議先請處理求償的人手動標記幾百筆退貨,保留這批資料作為可靠的測試答案,並先用它檢查大型模型,再比較小模型;也要先問清楚每種分類會影響哪些決定。