cent_runtime 為 CENT 架構補上連線 PyTorch 與記憶體運算的軟體層
cent_runtime: Runtime C++17 e C ABI para Arquitetura Near-Bank PIM (CENT)
重點導讀
LLM 在逐字產生回答時,常得反覆從記憶體讀取大量模型資料,GPU 會花不少時間等資料,算力沒能充分派上用場。
- CENT 想把運算搬到記憶體旁邊,但原本缺少能接上 PyTorch 的軟體。這個專案做了 cent_runtime,讓 PyTorch 傳來的向量和權重經過 C++ 程式處理,再轉成 CENT 能執行的指令。
- 它也會算出結果,並可把指令交給模擬器估算執行時間。以 Llama-2 7B 的線性層為例,這套工具能處理一次向量乘上矩陣的運算。它補上了模型程式與 CENT 架構之間的一段連線,讓研究人員更容易測試這種記憶體運算設計。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
cent_runtime: Runtime C++17 e C ABI para Arquitetura Near-Bank PIM (CENT)
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文