《Deep Learning》如何幫忙找出 PyTorch loss 變成 NaN 的原因
My Loss Went NaN, and a 2016 Textbook Explained Why
重點導讀
訓練到一半,loss 變成 NaN,光是調低學習率可能找不到原因。
- 作者分享自己用 PyTorch 寫分類程式時,先算 softmax 再取 log,遇到模型非常有把握卻猜錯的答案,機率會小到變成 0,接著讓計算出現 NaN。用 F.cross_entropy 把相關步驟合在一起,就能避開這個問題。作者也把《Deep Learning》各章節連到常見狀況,例如準確率卡住時,先試著讓模型記住 16 筆資料。
- 如果連這都做不到,就先檢查程式和資料處理,再花時間調整模型。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
My Loss Went NaN, and a 2016 Textbook Explained Why
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文