AWS 說明 AssemblyAI 如何用 Spot 執行個體降低語音轉文字成本
Cost-optimizing AssemblyAI speech-to-text inference on AWS with Amazon EC2 Spot
重點導讀
大量處理語音時,GPU 運算費用很高;Spot 執行個體雖然較省錢,卻可能在收到通知後被收回。
- AWS 說明 AssemblyAI 如何把工作放進 SQS 佇列,交給 ECS 上的 GPU 執行個體處理,並混用 Spot 與隨時可用的 On-Demand 執行個體,也分散使用 g4dn、g5 和 g6 等機型。遇到中斷時,還沒完成的工作會回到佇列,讓其他執行個體接手。
- 每個 AWS 區域也各自處理資料,以符合客戶的資料所在地要求。AssemblyAI 表示,這套做法讓推論運算成本比 On-Demand 定價低 70%,而 Spot 中斷只會讓部分轉錄多花一點時間。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處aws.amazon.com
Cost-optimizing AssemblyAI speech-to-text inference on AWS with Amazon EC2 Spot
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: AWS Machine Learning Blog (aws.amazon.com)
開啟原文