跳到正文
Dev.to Top Tech(dev.to)· Enrique Velasquez·· 7 天前品質評分62

53ON AI Server 為 AMD Ryzen AI Max 提供相容 OpenAI API 的伺服器

Show HN: 53ON AI Server – OpenAI-compatible server for AMD Ryzen AI Max

重點導讀

在家用電腦執行 AI 模型時,模型可能先佔用大量記憶體。

  • 作者為自己的 Ryzen AI Max+ 395 迷你電腦做了 53ON AI Server,這是一個以 llama.cpp 為基礎的 Node.js 伺服器,支援 OpenAI 和 Anthropic API,也能載入模型、替使用者端設定 API key 與 token 額度,或在本機模型不夠用時轉接雲端服務。它會等 token 陸續送來時才配置 KV cache 記憶體。
  • 作者提到,1B 模型搭配 1M-token 視窗,啟動時佔用 0.86 GiB,原本是 8.24 GiB。目前只在 Ubuntu 24.04、Strix Halo 和 Vulkan(RADV)上測試。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處dev.to

Show HN: 53ON AI Server – OpenAI-compatible server for AMD Ryzen AI Max

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論