Python 匯入工作被記憶體問題終止,為什麼最後一筆日誌晚了三萬列
Our import worker was killed for memory and the last log line we had was thirty thousand rows old
重點導讀
Python 工作在容器裡因記憶體不足被終止時,最後一筆日誌可能不是程式停止前印出的內容。
- 作者發現,工作每處理一千列就印一次進度,但容器會先把輸出存起來,累積到一段大小才寫入。
- 程式遭強制終止後,還沒寫出的內容就消失了。因此紀錄停在第 41,000 列,實際上記憶體是在第 63,000 列後才開始增加,原因是供應商把整頁 HTML 填進商品描述。作者改用不緩衝輸出、逐筆寫入日誌,也限制描述欄位大小,方便找到問題並避免超大欄位再次造成故障。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
Our import worker was killed for memory and the last log line we had was thirty thousand rows old
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文