跳到正文
Dev.to Top Tech(dev.to)· Wendel Assis Silva·· 8 天前品質評分75

Node.js 如何把 AI 呼叫移出 API 請求,改由佇列背景處理

Get the AI call out of your request handler

重點導讀

同時有很多人上傳 PDF 時,讓 API 一直等 AI 模型回覆,可能造成使用者逾時、重複付費,也難以控制同時送出的呼叫數。

  • 作者用 Node.js、Redis 和 BullMQ 示範把工作放進佇列,再由背景工作逐一處理。
  • API 先回覆「已收到」,使用者可用工作編號查進度。模擬測試中,10 個同時送出的請求改用佇列後都收到回覆,API 回應中位時間從約 9 秒降到 56 毫秒,但最後一個結果仍約 15 秒才完成。文章也提醒,小流量或需要即時串流時,佇列未必適合。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處dev.to

Get the AI call out of your request handler

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論