ArisGlobal 如何用 Amazon Bedrock 提示詞快取降低推論成本
How ArisGlobal scaled generative AI inference on Amazon Bedrock
重點導讀
每新增一家企業客戶,ArisGlobal 的共用提示詞就會變長;如果每次請求都重新處理,推論成本也會跟著上升。
- ArisGlobal 原先先快取每個案件的 PDF,後來改成先放共用提示詞,再設快取檢查點,讓不同案件和客戶的請求都能重用這段內容。
- 每月處理超過 19 billion tokens 時,這種做法讓整體推論支出約減少 40%,也讓企業客戶數增加約 15%,而 EU 跨區推論設定維持不變。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
ArisGlobal 的實例呈現提示詞快取該如何取捨:把能跨案件重用的共用字首放在快取檢查點前,降低成本並支援更多企業客戶。
信源出處aws.amazon.com
How ArisGlobal scaled generative AI inference on Amazon Bedrock
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: AWS Machine Learning Blog (aws.amazon.com)
開啟原文