Node.js 如何把 AI 呼叫移出 API 請求,改由佇列背景處理
Get the AI call out of your request handler
重點導讀
同時有很多人上傳 PDF 時,讓 API 一直等 AI 模型回覆,可能造成使用者逾時、重複付費,也難以控制同時送出的呼叫數。
- 作者用 Node.js、Redis 和 BullMQ 示範把工作放進佇列,再由背景工作逐一處理。
- API 先回覆「已收到」,使用者可用工作編號查進度。模擬測試中,10 個同時送出的請求改用佇列後都收到回覆,API 回應中位時間從約 9 秒降到 56 毫秒,但最後一個結果仍約 15 秒才完成。文章也提醒,小流量或需要即時串流時,佇列未必適合。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
Get the AI call out of your request handler
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文