#邊緣端/裝置端
RSS 訂閱#邊緣端/裝置端
RSS
OpenBMB@OpenBMB品質評分5858ollama release品質評分3939 Ollama v0.40.17-rc2 調整 mlxrunner,讓已存的對話紀錄因應記憶體壓力
mlxrunner 以前會固定保留 8 GiB 記憶體給 Metal 字首紀錄,現在改看系統還剩多少空間,以及程式執行時需要多少工作空間,再決定保留多少紀錄。系統開始壓縮記憶體時,它會釋放用不到的緩衝區和較久沒用的紀錄,同時保留可重用的路徑與正在處理的請求,讓記憶體吃緊時仍能繼續處理工作。
AMD@AMD品質評分4040Unsloth AI Releases精選品質評分6464 Unsloth 更新 AMD NPU 支援,並加入影像與影片 LoRA 訓練
在本機訓練和執行 AI 模型時,硬體支援、模型格式和等待時間常讓人卡關。Unsloth 這次更新讓轉換後的 Q4NX 模型能在 AMD NPU 上載入,也會標示每個模型能不能執行;此外,使用者可以訓練 LTX-2.5 和 MOSS-Image 的 LoRA,並在影片頁面載入 NVIDIA Cosmos3 的 FP8 模型。更新也加入聊天排程,讓排程任務的回覆直接出現在原本的聊天室。部分影像與訓練工作在特定硬體上每步最多快 42%,實際速度會依顯示卡和設定而異。
推薦理由:這次更新把 AMD NPU、影像與影片模型訓練,以及聊天排程整合進 Unsloth,呈現本機 AI 工作流程涵蓋的範圍。
OpenBMB@OpenBMB品質評分5151
Google Gemini@GeminiApp品質評分4848
llama.cpp Releases精選品質評分7070 llama.cpp b12503 大幅改善 OpenVINO 後端的推論與記憶體使用
使用 OpenVINO 跑 llama.cpp 時,模型推論可能花太多時間搬動快取和資料,也會佔用不少記憶體。b12503 更新了 OpenVINO 後端在 CPU、GPU 和 NPU 上的多項做法,例如依實際注意力範圍讀取 KV 快取、減少 NPU 預填階段的資料搬動,並讓部分執行設定可以選擇開啟。更新也調整了模型快取與注意力處理,修正多種模型和執行模式下的問題;實際可用的選項與效能改善會依裝置和設定而異。
推薦理由:這次更新集中改善 OpenVINO 後端在 CPU、GPU 與 NPU 上的快取、記憶體使用和推論效能,並提供多項可調整的執行選項。
clem 🤗@ClementDelangue精選品質評分7979推薦理由:llama.cpp v1 主打讓 AI 模型直接在手機、筆電和工作站執行,文中也說明這種做法如何減少資料外傳,並讓使用者掌控自己的資料。
OpenBMB@OpenBMB品質評分3939
OpenBMB@OpenBMB品質評分3737esp32-intake 以 MiniCPM-V 4.7 35B-A3B辨識餐點照片並估算熱量,串接 iOS App 與圓形 ESP32 顯示器,呈現每日攝取進度。
NVIDIA Newsroom Press Releases品質評分4545 AI 如何協助回收業者從混合廢棄物中回收再利用材料
NVIDIA Inception 計畫中的新創公司運用視覺 AI 與機器人,從混合回收物中辨識並分揀可回收材料,協助減少材料進入掩埋場。 - AIRECO:這家臺灣新創在臺南迴收廠的試驗線使用 NVIDIA Jetson Orin NX 執行推論並控制機械手臂,測試線辨識準確率超過 95%。
PyTorch@PyTorch精選品質評分7676推薦理由:ExecuTorch WebGPU 將模型部署到瀏覽器本機執行,並以同一份 .pte 檔支援多種模型,呈現網頁端推論與裝置端微調的實作方式。
PyTorch@PyTorch精選品質評分7676PyTorch 推出 ExecuTorch WebGPU 後,模型可透過 torch.export 匯出為 .pte 檔案,並在支援 WebGPU 的瀏覽器中使用 GPU 執行。
推薦理由:ExecuTorch WebGPU 將模型匯出與瀏覽器執行串成同一流程,並列出已支援的模型與裝置端微調能力,呈現其在地端部署的使用方式。
Google Developers Blog精選品質評分8282 Google AI Edge Gallery 加入裝置端語音辨識與文字轉語音功能
Google於 2026 年 11 月 10 日宣佈,Google AI Edge Gallery 與相關開發工具加入裝置端語音辨識(ASR)和文字轉語音(TTS),可在離線情境下提供語音互動。
推薦理由:文章整理 Android 與跨平臺語音方案的模型、延遲及整合方式,方便開發者依裝置與部署需求比較選擇。
PyTorch Blog精選品質評分8383 ExecuTorch 推出 WebGPU 後端,讓 PyTorch 模型在瀏覽器中以 GPU 推論
ExecuTorch 推出 WebGPU 後端,讓 PyTorch 模型可匯出為 .pte 檔,並在支援 WebGPU 的瀏覽器中以 GPU 執行,資料留在使用者裝置上。
推薦理由:文章比較 WebGPU 與 ExecuTorch CPU 路徑在同一臺 Apple M1 Pro 上的推論速度,並說明模型如何以同一個 .pte 檔在瀏覽器本機執行。
llama.cpp Releases品質評分5757 llama.cpp b12209 版本正式發布,新增 bf16 與 q8_0 vxe 支援
導語:此更新為 llama.cpp 釋出 b12209 版,新增對 bf16 與 q8_0 vxe 的支援,並擴充多平臺與硬體的執行環境。 - 新功能:實作 bf16 與 q8_0 vxe,提升模型效能與記憶體使用率。
llama.cpp Releases品質評分6565 llama.cpp 加速 Zamba2-7B- Instruct:新增 d_state=64 快速路徑
llama.cpp 針對 Zamba2-7B- Instruct 在 GPU 上加入 d_state=64 快速路徑,提升生成速度。\n- 效能提升:每個掃描步驟從 CPU 回退改為 GPU,吞吐量從 11 tok/s 提升至 15.1 tok/s,約 35%。
llama.cpp Releases品質評分5353 llama.cpp b12179 版:Hexagon 端 Conv3D 支援與 Conv2D 最佳化
llama.cpp b12179 版釋出 Hexagon 端 Conv3D 支援與 Conv2D 最佳化,提升多維卷積效能。 - Conv3D:將 Conv2D 實作泛化為 Conv3D,使用 HMX tiled (implicit GEMM) 路徑,KD & KH 合併為 KDKH,輸出行計為 NOD*OH。
OpenBMB@OpenBMB品質評分4545esp32-eye 是一套開源飲水監測系統,使用 MiniCPM-V 4.7、兩塊 ESP32-S3 與 MacBook,辨識個別貓咪並記錄每日飲水事件。
llama.cpp Releases品質評分5353 llama.cpp b12121 版本更新:修正量化 KV 快取狀態複製錯誤
llama.cpp b12121 版本更新修正了量化 KV 快取的狀態複製錯誤,提升多平臺執行穩定性。 - 修正內容:針對 q8_0、q4_0 等量化型別,改用 ggml_type_size() * ggml_blck_size() 計算元素數量,確保整塊複製。
llama.cpp Releases品質評分5959 llama.cpp b12099 版新增 Hexagon NPU 支援與多平臺加速
llama.cpp b12099 版新增 Hexagon NPU 支援與多種硬體平臺加速,讓開發者可在 macOS、Linux、Windows、Android 等環境快速部署推理。
llama.cpp Releases品質評分6161 llama.cpp b12089 版:新增 Metis‑1.6 模型支援與多平臺推理擴充
本次 llama.cpp b12089 版本釋出,新增對 Metis‑1.6 模型的支援,並擴充多平臺推理功能。 - 模型支援:Metis‑1.6。
llama.cpp Releases品質評分5353 llama.cpp b12086 版釋出:減少 Qwen3.8-Flash-Next 的裝置複製量
llama.cpp 在 b12086 版釋出中修正 conv state tail 寫入方式,將 Qwen3.8‑Flash‑Next 每個 token 的裝置複製量從 72 降至 36,並在 speculative decoding 時僅增加一個複製。
Apple Newsroom品質評分5353 Apple 重新設計健康 App,擴大語言支援並加入健康年齡
想了解長期健康變化,光看單次測量不容易掌握整體狀況。Apple 重新設計健康 App,新增「長壽」分頁,整理心臟、睡眠、心理健康、活動、代謝、聽力和營養等資料,並用 Apple Watch 的資料計算「健康年齡」,也能加入 A1c 和 LDL 膽固醇等檢驗結果。更新還加入居家動作評估,使用 iPhone 相機和 Apple Watch 測量柔軟度、力量、平衡等專案,並提供即時提示;影片不會錄下、儲存或分享。部分功能需要指定裝置,且可能因地區或語言而無法使用。
llama.cpp Releases品質評分6464 llama.cpp 加入 NCCL 支援多節點張量並行
llama.cpp 新增 NCCL 支援多節點張量並行,提升多機環境下的分散式訓練效能。 - 新增功能:多節點張量並行,使用 NCCL。 - 平臺支援:CUDA、ROCm、OpenVINO 等多平臺,含 macOS、Linux、Windows、Android。 - 內部更新:重構通訊介面,改進 per‑rank 通訊,並調整 NCCL 設定。
OpenBMB@OpenBMB精選品質評分6464推薦理由:此開源硬體結合 MiniCPM5-2B 與 VoxCPM2,展示了端側 AI 與語音互動的實際應用,並提供完整韌體與程式碼供開發者探索
Google Developers Blog精選品質評分8484 LiteRT 在 Google Play 服務中加速 GPU 推理,縮減 App 體積
LiteRT 在 Google Play 服務中推出 GPU 推理加速,讓 Android 應用體積縮減約 8 MB,推理速度提升 1.4 倍。
推薦理由:LiteRT 讓 Android 應用體積縮減約 8 MB,GPU 推理速度提升 1.4 倍,開發者可即時享受更快下載與更少儲存負擔。
AWS Machine Learning Blog精選品質評分7575 SageMaker SDK v3 支援邊緣端多機臺電腦視覺生命週期管理
SageMaker SDK v3 以自動化方式支援多機臺電腦視覺模型生命週期,涵蓋訓練、品質門檻、編譯與部署。 - 核心流程:雙分支 Pipeline 分別訓練異常偵測器與缺陷分類器,並以質量門檻(AUROC≥0.8、平衡準確率≥0.6、缺陷召回率≥0.5)篩選模型。
推薦理由:此範例示範如何在 AWS 上以自動化方式管理多機臺的電腦視覺模型,讀者可參考其訓練、品質門檻與編譯流程以提升實務部署效率。
cloudflare blog精選品質評分7373 Origin Range Requests:不需調整範圍請求即可高效傳輸大檔案
Cloudflare 於 2026 年 10 月推出 Origin Range Requests,透過自動分段處理,將大檔案的 p99 首位元組延遲降至一半,並減少 6% 的分層快取流量。
推薦理由:本篇說明 Cloudflare 如何透過 Origin Range Requests 大幅降低大檔案傳輸延遲與網路成本,對 CDN 效能與成本管理有直接參考價值,並可應用於其他 CDN 或分散式快取環境。
NVIDIA Blog精選品質評分7272 RTX Spark 為新款 Windows PC 引燃全球慶典
RTX Spark 為新款 Windows PC 引燃全球慶典。 - GPU/CPU:搭載 NVIDIA Blackwell RTX GPU 與 Grace CPU,提供高達 1 petaflop AI 計算。
推薦理由:RTX Spark 搭載 Blackwell GPU 與 Grace CPU,提供 1 petaflop AI 計算與 128GB 統一記憶體,適合本地 AI 與創作,對於需要高效能移動工作站的使用者具有重要參考價值。
cloudflare blog精選品質評分8282 Cloudflare Gateway 全程可程式設計安全網路閘道
Cloudflare 釋出全新可程式設計安全閘道器功能,將 Workers 內嵌於 Gateway 政策評估,允許客製化程式直接執行於邊緣。 - Forward:新政策動作,將符合條件的 HTTP 請求轉發至 Cloudflare Worker,支援請求/回應變更與後端處理。
推薦理由:Cloudflare 透過 Workers 讓安全閘道可執行客製化程式,提升防護彈性與效率
Hacker News (official RSS)品質評分7171 LFM2.5-24B-A2B:打造快速本地代理模型
LFM2.5-24B-A2B 是 Liquid AI 發布的 24B 引數推理模型,僅 2B 活躍引數,專為快速本地代理設計。 - 推理速度:184 tokens/s 在 Apple M5 Max,21K tokens/s 在單一 NVIDIA B300 GPU,速度比同規模 MoE 快 1.7 倍。
Google DeepMind品質評分5151 Google DeepMind 與新加坡政府合作推出本地化 Gemma 詐騙偵測 AI 模型
Gemma 在手機上即時偵測詐騙對話,保護新加坡市民隱私與安全。 - 模型:在 GovTech 管理的 GCP 環境中微調的 Gemma,專門識別社交工程詐騙。
Hacker News (official RSS)品質評分6868 Anthropic 研究:小型 AI 模型可於 IoT 裝置自我複製
Anthropic 研究:小型 AI 模型可於 IoT 裝置自我複製 - 實驗結果:9B 模型能在 8/9 物聯網硬體上完成推理,30B 及以下模型已能完成多數複製步驟;GLM‑5.2 能完成整個自動化複製流程。
Hugging Face Blog精選品質評分7878 多模態開源 d1 決策模型專為邊緣裝置打造
d1-3B 與 d1-omni-600M 為 Liquid AI 發布的兩款多模態決策模型,專為邊緣裝置設計。 - 決策指數:在 Decision Index 0.2.1 上 d1-3B 以 48.57 分領先 4B、9B 及 35B-A3B。
推薦理由:此模型在 Decision Index 0.2.1 上以 48.57 分領先 4B、9B 及 35B-A3B,且在 Jetson AGX Thor 上 16ms 回應速度,適合邊緣決策應用。可快速部署於 Jetson 系列,提供 50ms 內回答,適合需要即時決策的場景。
Google DeepMind精選品質評分7474 EmbeddingGemma 2:開放式輕量級多模態嵌入模型
EmbeddingGemma 2 是 DeepMind 推出的全新多模態嵌入模型,支援文字、影像、音訊、影片與程式碼。 - 引數量:740 M,適合本地推理。
推薦理由:EmbeddingGemma 2 以 740M 引數實現跨模態嵌入,兼顧效能與隱私,適合本地 RAG 與離線搜尋,並提供 8K token 上下文視窗與 6 倍儲存壓縮。
hackernews100品質評分4343 OpenTPU:開源 AI 加速器
summary_zh: 開源 AI 加速器 OpenTPU 在 Xilinx Kintex‑7 FPGA 卡上,成功執行十種主流模型,並以 14.5‑16.0 GB/s 的 DRAM 頻寬達到 85‑94% 峰值。
ollama release品質評分4545 Ollama v0.40.0 發布:MLX 版 Apple Silicon 支援新增模型
summary_zh: Ollama 推出 v0.40.0 版,預設在 Apple Silicon 上使用 MLX 執行模型,並新增多種模型支援。 - MLX 版執行:在 Apple Silicon 裝置上,支援 MLX runtime 的模型架構預設自動執行於 MLX。
cloudflare blog精選品質評分8383 Cloudflare 企業級功能全面開放:向所有客戶擴充套件可用性
Cloudflare 近日將先前僅限企業方案的功能擴充套件至所有方案,並提升多項使用上限。 - Logpush & Transformers:從 Enterprise 方案擴至免費、Pro、Business,支援更廣泛的資料來源與 SQL 過濾。
推薦理由:Cloudflare 讓企業級功能普及至所有方案,顯著提升小型客戶的使用效能與可擴充套件性