什麼工作負載該跑在哪裡?生產環境中的地端 AI — Osmantic 的 Ahmad Osman
Osmantic 的 Ahmad Osman 主張,地端 AI 推論如今在 tokens/sec 與成本上都已勝過雲端;他呼籲工程師針對每個模型、每種晶片分別最佳化,並採用小型蒸餾開源模型,而非預設使用前沿 API。
Osmantic 的 Ahmad Osman 主張,地端 AI 推論如今在 tokens/sec 與成本上都已勝過雲端;他呼籲工程師針對每個模型、每種晶片分別最佳化,並採用小型蒸餾開源模型,而非預設使用前沿 API。