跳到正文
AWS Machine Learning Blog(aws.amazon.com)· Aswath Ram A Srinivasan·· 9 天前精選品質評分74

AWS 教你用 NVIDIA NeMo Switchyard 替寫程式的 AI 助理選模型

Route coding agent requests to the right model on Amazon Bedrock with NVIDIA NeMo Switchyard

重點導讀

寫程式的 AI 助理完成一件工作時,可能要呼叫模型很多次,也可能重試後仍沒通過測試,所以只看每個 token 的價格,算不出這件工作的實際成本。

  • AWS 示範如何在 Amazon Bedrock 上部署 LiteLLM 和 NVIDIA NeMo Switchyard,讓它依對話中的工具使用結果,在較省錢和能力較強的模型間選擇,也能用隨機分流比較模型。範例程式會讓 AI 助理修小型程式,再跑測試,並比較路由組和各單一模型成功解題的成本。作者提醒,少量測試不能代表日常工作。
  • 要用自己的程式任務多跑幾次,並把失敗的花費也算進去。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

文章用可重跑的任務測試比較模型路由與單一模型,並說明為何要看每個成功解題任務的成本,適合評估自己的程式工作流程。

信源出處aws.amazon.com

Route coding agent requests to the right model on Amazon Bedrock with NVIDIA NeMo Switchyard

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: AWS Machine Learning Blog (aws.amazon.com)
開啟原文

讀者討論

理性交流 · 即時討論