跳到正文
Dev.to Top Tech(dev.to)· José Dercy Vieira da Silva Filho·· 3 天前品質評分50

cent_runtime 為 CENT 架構補上連線 PyTorch 與記憶體運算的軟體層

cent_runtime: Runtime C++17 e C ABI para Arquitetura Near-Bank PIM (CENT)

重點導讀

LLM 在逐字產生回答時,常得反覆從記憶體讀取大量模型資料,GPU 會花不少時間等資料,算力沒能充分派上用場。

  • CENT 想把運算搬到記憶體旁邊,但原本缺少能接上 PyTorch 的軟體。這個專案做了 cent_runtime,讓 PyTorch 傳來的向量和權重經過 C++ 程式處理,再轉成 CENT 能執行的指令。
  • 它也會算出結果,並可把指令交給模擬器估算執行時間。以 Llama-2 7B 的線性層為例,這套工具能處理一次向量乘上矩陣的運算。它補上了模型程式與 CENT 架構之間的一段連線,讓研究人員更容易測試這種記憶體運算設計。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處dev.to

cent_runtime: Runtime C++17 e C ABI para Arquitetura Near-Bank PIM (CENT)

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論