Celery 工作為什麼在 Redis 上重複執行?作者分享排查與修正方法
Celery visibility_timeout: 214 LLM Jobs Ran Twice on Redis
重點導讀
用 Celery 和 Redis 排程長時間工作時,工作可能還在執行,卻被佇列當成失聯而再交給另一個工作程式。
- 作者發現,Celery 預設等待 3600 秒就會重送未確認的工作。
- 開啟延後確認後,長工作會遇到這個問題,預先取走、還沒開始的工作也可能中招。作者的工作流程有 1,380 個工作,其中 214 個至少執行兩次,重複工作約用了總輸入 token 的 11%。他把等待時間調成 12 小時、將預先取件數設為 1,並加入防止同一工作同時執行的檢查。
- 接下來 1,302 個工作沒有出現重疊執行。代價是工作程式真的故障時,重試可能得等更久。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
Celery visibility_timeout: 214 LLM Jobs Ran Twice on Redis
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文