Aurora:以 RL 為基礎的即時自適應推理加速框架
Aurora
重點導讀
Aurora 是一個基於 RL 的框架,能在實際推理流中持續學習並自動更新 speculator,將靜態的推理加速轉變為動態的自我最佳化迴圈。
推薦理由
Aurora 透過 RL 於實際推理流中自動調整,實現 1.25 倍速度提升與成本降低,提供可落地的即時最佳化方法。
信源出處together.ai
Aurora
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Together AI Official Blog (together.ai)
開啟原文