跳到正文
AWS Machine Learning Blog(aws.amazon.com)· Alan Yao·· 4 天前精選品質評分73

Airbnb 如何用每項任務成本管理 Amazon Bedrock 上的程式開發 AI 助理

How Airbnb uses cost per task to operate coding agents on Amazon Bedrock

重點導讀

模型在測試中表現好,不一定代表工程師實際使用時花費也低。

  • Airbnb 用自家程式開發任務比較不同模型的完成分數和每項任務成本,再搭配上線後的請求數、token 用量與延遲,決定預設模型和推理力道上限。
  • 文中一個模型在測試時成本差不多,但上線後每位使用者的平均週花費高出好幾倍,原因是每次請求較貴,使用者也送出更多請求。
  • Airbnb 後來把重度使用者移到另一個模型,請求數大致相同,該群組在主要模型上的花費降到約七分之一。
  • 這套做法能幫團隊同時看見模型測試成績與實際使用成本。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

Airbnb把自家任務測試與上線後用量放在一起比較,呈現模型分數相近時,使用者行為仍可能讓每人花費差很多。

信源出處aws.amazon.com

How Airbnb uses cost per task to operate coding agents on Amazon Bedrock

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: AWS Machine Learning Blog (aws.amazon.com)
開啟原文

讀者討論

理性交流 · 即時討論