跳到正文
Dev.to Top Tech(dev.to)· jidonglab·· 3 天前品質評分65

Celery 工作為什麼在 Redis 上重複執行?作者分享排查與修正方法

Celery visibility_timeout: 214 LLM Jobs Ran Twice on Redis

重點導讀

用 Celery 和 Redis 排程長時間工作時,工作可能還在執行,卻被佇列當成失聯而再交給另一個工作程式。

  • 作者發現,Celery 預設等待 3600 秒就會重送未確認的工作。
  • 開啟延後確認後,長工作會遇到這個問題,預先取走、還沒開始的工作也可能中招。作者的工作流程有 1,380 個工作,其中 214 個至少執行兩次,重複工作約用了總輸入 token 的 11%。他把等待時間調成 12 小時、將預先取件數設為 1,並加入防止同一工作同時執行的檢查。
  • 接下來 1,302 個工作沒有出現重疊執行。代價是工作程式真的故障時,重試可能得等更久。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處dev.to

Celery visibility_timeout: 214 LLM Jobs Ran Twice on Redis

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論