跳到正文
Dev.to Top Tech(dev.to)· System Design Simple·· 7 天前品質評分41

AI 沒有網路也能回答?認識在裝置上執行的 AI

How can an AI answer with no network? On-device AI explained

重點導讀

AI 沒有網路時還能回答,是因為模型檔案放在自己的電腦或手機上,由裝置裡的晶片負責運算;但它沒辦法自己查到最新訊息,除非你提供資料或讓應用程式連上可查詢的工具。

  • 文章用 llama.cpp 說明這個做法:模型讀取檔案、把提示詞轉成模型看得懂的格式,再一步步產生回答。像是小型模型的檔案約 0.91 GB,連同其他記憶體需求估計約 1.33 GB。這些數字只是估算,還沒有用真正的模型測量。
  • 在裝置上執行能不靠遠端模型服務,但速度和記憶體需求會受模型大小與硬體影響。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處dev.to

How can an AI answer with no network? On-device AI explained

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論