AI 沒有網路也能回答?認識在裝置上執行的 AI
How can an AI answer with no network? On-device AI explained
重點導讀
AI 沒有網路時還能回答,是因為模型檔案放在自己的電腦或手機上,由裝置裡的晶片負責運算;但它沒辦法自己查到最新訊息,除非你提供資料或讓應用程式連上可查詢的工具。
- 文章用 llama.cpp 說明這個做法:模型讀取檔案、把提示詞轉成模型看得懂的格式,再一步步產生回答。像是小型模型的檔案約 0.91 GB,連同其他記憶體需求估計約 1.33 GB。這些數字只是估算,還沒有用真正的模型測量。
- 在裝置上執行能不靠遠端模型服務,但速度和記憶體需求會受模型大小與硬體影響。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
How can an AI answer with no network? On-device AI explained
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文