跳到正文

邊緣端 / 裝置端 AI

跑在手機、電腦與邊緣裝置上的 AI:小模型、本地推理與端側晶片的進展。

最新精選

第 1–20 條 · 共 23 條
11月22日週日
  1. hackernews10077

    LookAtMyQuant 用較小檔案儲存模型表現,並支援 Apple Silicon 執行

    模型檔案縮小後,回答品質可能跟著下降,也很難知道不同壓縮方法差多少。作者推出 LookAtMyQuant,會估算模型各部分壓縮後對輸出的影響,再分配儲存空間;新版也提供可在 Apple Silicon 上執行的模型與工具。以 Inkling-2-Mini 為例,5.38 GB 版本在 GSM8K 解出 134 題、HumanEval 通過 60 題;8.87 GB 版本在 GSM8K 解出 148 題,與原始模型相同。這些比較呈現了縮小檔案後的測試結果,也顯示表現會因模型大小與測試專案而異。

    推薦理由:作者提供多種模型在相同檔案大小下的量化比較,並列出數學、程式測試與文字差異,方便衡量縮小模型後的取捨。

11月20日週五
  1. Dev.to Top Tech78

    NVIDIA RTX Spark 桌機開賣,從 $4,399.99 起可在本機跑 AI 模型

    想在自己電腦上跑大型 AI 模型,常會遇到顯示卡記憶體不夠,或不想把資料送到雲端的問題。NVIDIA RTX Spark 桌機已在美國開賣,MSI 64GB 機型售價 $4,399.99;較大的 128GB 記憶體配置,則能讓 120B 引數模型載入本機。共享記憶體也讓 CPU 和 GPU 能使用同一大池記憶體,但裝得下不代表跑得快。文中整理 ASUS、MSI、Dell 和 Microsoft 機型的價格與限制,並提醒目前桌機效能數字來自廠商,還沒有獨立測試;此外,這些電腦使用 Arm 架構,購買前要確認常用軟體能否順利執行。

    推薦理由:文章整理各款 RTX Spark 桌機的價格與記憶體配置,也說明本機執行大型模型的隱私好處,以及效能數字尚無獨立測試佐證。

11月19日週四
  1. Unsloth AI Releases64

    Unsloth 更新 AMD NPU 支援,並加入影像與影片 LoRA 訓練

    在本機訓練和執行 AI 模型時,硬體支援、模型格式和等待時間常讓人卡關。Unsloth 這次更新讓轉換後的 Q4NX 模型能在 AMD NPU 上載入,也會標示每個模型能不能執行;此外,使用者可以訓練 LTX-2.5 和 MOSS-Image 的 LoRA,並在影片頁面載入 NVIDIA Cosmos3 的 FP8 模型。更新也加入聊天排程,讓排程任務的回覆直接出現在原本的聊天室。部分影像與訓練工作在特定硬體上每步最多快 42%,實際速度會依顯示卡和設定而異。

    推薦理由:這次更新把 AMD NPU、影像與影片模型訓練,以及聊天排程整合進 Unsloth,呈現本機 AI 工作流程涵蓋的範圍。

11月18日週三
  1. llama.cpp Releases70

    llama.cpp b12503 大幅改善 OpenVINO 後端的推論與記憶體使用

    使用 OpenVINO 跑 llama.cpp 時,模型推論可能花太多時間搬動快取和資料,也會佔用不少記憶體。b12503 更新了 OpenVINO 後端在 CPU、GPU 和 NPU 上的多項做法,例如依實際注意力範圍讀取 KV 快取、減少 NPU 預填階段的資料搬動,並讓部分執行設定可以選擇開啟。更新也調整了模型快取與注意力處理,修正多種模型和執行模式下的問題;實際可用的選項與效能改善會依裝置和設定而異。

    推薦理由:這次更新集中改善 OpenVINO 後端在 CPU、GPU 與 NPU 上的快取、記憶體使用和推論效能,並提供多項可調整的執行選項。

11月13日週五
  1. clem 🤗79

    使用雲端 AI 服務時,資料可能要傳到別處處理。llama.cpp 推出 v1,這是這套本機執行 AI 模型的工具第一個完全穩定的主要版本,可在手機、筆電和工作站上使用。作者表示,這讓使用者能免費使用 AI,不必把資料傳給別人,也能自行掌控;團隊也希望支援各種硬體、平臺和模型,讓 AI 不只集中在少數公司手中。

    推薦理由:llama.cpp v1 主打讓 AI 模型直接在手機、筆電和工作站執行,文中也說明這種做法如何減少資料外傳,並讓使用者掌控自己的資料。

  2. Hacker News (official RSS)81

    Edge0 開源 Edge0-145B 與 Edge0-120B,主打在個人電腦本機執行大型模型

    Edge0 開源 Edge0-145B 與 Edge0-120B,並同步發布推論框架和部署工具,讓大型模型可在相容的個人電腦上本機執行。

    推薦理由:文章以記憶體、速度與多項基準比較 Edge0-145B 和雲端模型,並說明其在相容筆電上的部署條件,呈現本機執行大型模型的具體取捨。

11月11日週三
  1. PyTorch76

    PyTorch 推出 ExecuTorch 的 WebGPU 後端,讓模型可在瀏覽器 GPU 上執行,並在分頁本機處理提示詞、照片與音訊。 - 匯出與支援環境:透過 torch.export 匯出一次,同一份 .pte 檔可在 Chrome、Safari 等支援 WebGPU 的瀏覽器執行。

    推薦理由:ExecuTorch WebGPU 將模型部署到瀏覽器本機執行,並以同一份 .pte 檔支援多種模型,呈現網頁端推論與裝置端微調的實作方式。

  2. Google Developers Blog82

    Google AI Edge Gallery 加入裝置端語音辨識與文字轉語音功能

    Google於 2026 年 11 月 10 日宣佈,Google AI Edge Gallery 與相關開發工具加入裝置端語音辨識(ASR)和文字轉語音(TTS),可在離線情境下提供語音互動。

    推薦理由:文章整理 Android 與跨平臺語音方案的模型、延遲及整合方式,方便開發者依裝置與部署需求比較選擇。

  3. PyTorch Blog83

    ExecuTorch 推出 WebGPU 後端,讓 PyTorch 模型在瀏覽器中以 GPU 推論

    ExecuTorch 推出 WebGPU 後端,讓 PyTorch 模型可匯出為 .pte 檔,並在支援 WebGPU 的瀏覽器中以 GPU 執行,資料留在使用者裝置上。

    推薦理由:文章比較 WebGPU 與 ExecuTorch CPU 路徑在同一臺 Apple M1 Pro 上的推論速度,並說明模型如何以同一個 .pte 檔在瀏覽器本機執行。

11月10日週二
  1. ServeTheHome (STH Enterprise HW)76

    Google 推出 TPU 8tx 與 TPU 8i Max,分別強化機密運算與記憶體頻寬

    Google 擴充第八代 TPU 系列,推出 TPU 8tx 與 TPU 8i Max,分別面向機密運算與大型上下文推論工作負載。 - TPU 8tx:採用與 TPU 8t 相同的晶片,搭配第 5 代 AMD EPYC「Turin」主機處理器,並以機密運算保護使用中的資料。

    推薦理由:TPU 8tx 與 TPU 8i Max 分別針對機密運算和大上下文推論,文中比較兩者的主機配置、互連拓撲與記憶體頻寬差異。

10月29日週四
10月27日週二
  1. AWS Machine Learning Blog75

    SageMaker SDK v3 支援邊緣端多機臺電腦視覺生命週期管理

    SageMaker SDK v3 以自動化方式支援多機臺電腦視覺模型生命週期,涵蓋訓練、品質門檻、編譯與部署。 - 核心流程:雙分支 Pipeline 分別訓練異常偵測器與缺陷分類器,並以質量門檻(AUROC≥0.8、平衡準確率≥0.6、缺陷召回率≥0.5)篩選模型。

    推薦理由:此範例示範如何在 AWS 上以自動化方式管理多機臺的電腦視覺模型,讀者可參考其訓練、品質門檻與編譯流程以提升實務部署效率。

10月24日週六
  1. cloudflare blog73

    Origin Range Requests:不需調整範圍請求即可高效傳輸大檔案

    Cloudflare 於 2026 年 10 月推出 Origin Range Requests,透過自動分段處理,將大檔案的 p99 首位元組延遲降至一半,並減少 6% 的分層快取流量。

    推薦理由:本篇說明 Cloudflare 如何透過 Origin Range Requests 大幅降低大檔案傳輸延遲與網路成本,對 CDN 效能與成本管理有直接參考價值,並可應用於其他 CDN 或分散式快取環境。

10月18日週日
  1. NVIDIA Blog72

    RTX Spark 為新款 Windows PC 引燃全球慶典

    RTX Spark 為新款 Windows PC 引燃全球慶典。 - GPU/CPU:搭載 NVIDIA Blackwell RTX GPU 與 Grace CPU,提供高達 1 petaflop AI 計算。

    推薦理由:RTX Spark 搭載 Blackwell GPU 與 Grace CPU,提供 1 petaflop AI 計算與 128GB 統一記憶體,適合本地 AI 與創作,對於需要高效能移動工作站的使用者具有重要參考價值。

10月16日週五
  1. cloudflare blog82

    Cloudflare Gateway 全程可程式設計安全網路閘道

    Cloudflare 釋出全新可程式設計安全閘道器功能,將 Workers 內嵌於 Gateway 政策評估,允許客製化程式直接執行於邊緣。 - Forward:新政策動作,將符合條件的 HTTP 請求轉發至 Cloudflare Worker,支援請求/回應變更與後端處理。

    推薦理由:Cloudflare 透過 Workers 讓安全閘道可執行客製化程式,提升防護彈性與效率

10月8日週四
  1. Hugging Face Blog78

    多模態開源 d1 決策模型專為邊緣裝置打造

    d1-3B 與 d1-omni-600M 為 Liquid AI 發布的兩款多模態決策模型,專為邊緣裝置設計。 - 決策指數:在 Decision Index 0.2.1 上 d1-3B 以 48.57 分領先 4B、9B 及 35B-A3B。

    推薦理由:此模型在 Decision Index 0.2.1 上以 48.57 分領先 4B、9B 及 35B-A3B,且在 Jetson AGX Thor 上 16ms 回應速度,適合邊緣決策應用。可快速部署於 Jetson 系列,提供 50ms 內回答,適合需要即時決策的場景。