跳到正文
AWS Machine Learning Blog(aws.amazon.com)· Shubham Gupta·· 5 天前精選品質評分63

ArisGlobal 如何用 Amazon Bedrock 提示詞快取降低推論成本

How ArisGlobal scaled generative AI inference on Amazon Bedrock

重點導讀

每新增一家企業客戶,ArisGlobal 的共用提示詞就會變長;如果每次請求都重新處理,推論成本也會跟著上升。

  • ArisGlobal 原先先快取每個案件的 PDF,後來改成先放共用提示詞,再設快取檢查點,讓不同案件和客戶的請求都能重用這段內容。
  • 每月處理超過 19 billion tokens 時,這種做法讓整體推論支出約減少 40%,也讓企業客戶數增加約 15%,而 EU 跨區推論設定維持不變。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

ArisGlobal 的實例呈現提示詞快取該如何取捨:把能跨案件重用的共用字首放在快取檢查點前,降低成本並支援更多企業客戶。

信源出處aws.amazon.com

How ArisGlobal scaled generative AI inference on Amazon Bedrock

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: AWS Machine Learning Blog (aws.amazon.com)
開啟原文

讀者討論

理性交流 · 即時討論