深度神經網路真的嚴重過擬合嗎？

Lilian Weng 撰文探討深度學習中「引數極多卻能良好泛化」的現象，梳理從奧坎剃刀、柯爾莫哥洛夫複雜度到模型內在維度與彩券假設等經典研究。

• 模型複雜度與泛化：傳統機器學習的 U 型風險曲線在深度神經網路中演變為雙 U 型曲線，顯示引數數量並不能完整衡量模型的歸納偏置與真實複雜度。