跳到正文

#邊緣端/裝置端

RSS
今日 0 則
11月20日週五
  1. OpenBMB58

    老師批改手寫英文作文時,得先辨認字跡,再逐句檢查拼字和文法。OpenBMB 推出的開源 app PaperReview 可匯入作文照片,辨認手寫內容,並把修改建議連回原文,讓老師對照學生寫的字和辨識結果。MiniCPM-OCR 1.0 負責辨識,MiniCPM5-2B 檢查拼字、文法、標點和大小寫;老師可以逐項接受或略過建議,也能保留進度、稍後接著改。下載模型和執行環境後,辨識與文字檢查會在 Apple Silicon Mac 本機進行,學生作文不必送到雲端模型。

  2. ollama release39

    Ollama v0.40.17-rc2 調整 mlxrunner,讓已存的對話紀錄因應記憶體壓力

    mlxrunner 以前會固定保留 8 GiB 記憶體給 Metal 字首紀錄,現在改看系統還剩多少空間,以及程式執行時需要多少工作空間,再決定保留多少紀錄。系統開始壓縮記憶體時,它會釋放用不到的緩衝區和較久沒用的紀錄,同時保留可重用的路徑與正在處理的請求,讓記憶體吃緊時仍能繼續處理工作。

11月19日週四
  1. Unsloth AI Releases64

    Unsloth 更新 AMD NPU 支援,並加入影像與影片 LoRA 訓練

    在本機訓練和執行 AI 模型時,硬體支援、模型格式和等待時間常讓人卡關。Unsloth 這次更新讓轉換後的 Q4NX 模型能在 AMD NPU 上載入,也會標示每個模型能不能執行;此外,使用者可以訓練 LTX-2.5 和 MOSS-Image 的 LoRA,並在影片頁面載入 NVIDIA Cosmos3 的 FP8 模型。更新也加入聊天排程,讓排程任務的回覆直接出現在原本的聊天室。部分影像與訓練工作在特定硬體上每步最多快 42%,實際速度會依顯示卡和設定而異。

    推薦理由:這次更新把 AMD NPU、影像與影片模型訓練,以及聊天排程整合進 Unsloth,呈現本機 AI 工作流程涵蓋的範圍。

  2. OpenBMB51

    視障與低視力使用者出門時,可能需要協助看懂周遭環境或讀取文字。社群開發者 Rebel-Gloria 打造了 iPhone 和 iPad app PRTS,內建 MiniCPM-V 4.7 1B,可離線描述拍到的場景、朗讀招牌和檔案,也能用語音追問畫面中的細節。支援的裝置還可用另一套 LiDAR 系統提供口頭方向和節奏震動提示;部分線上功能與系統語音辨識則需要網路。

11月18日週三
  1. llama.cpp Releases70

    llama.cpp b12503 大幅改善 OpenVINO 後端的推論與記憶體使用

    使用 OpenVINO 跑 llama.cpp 時,模型推論可能花太多時間搬動快取和資料,也會佔用不少記憶體。b12503 更新了 OpenVINO 後端在 CPU、GPU 和 NPU 上的多項做法,例如依實際注意力範圍讀取 KV 快取、減少 NPU 預填階段的資料搬動,並讓部分執行設定可以選擇開啟。更新也調整了模型快取與注意力處理,修正多種模型和執行模式下的問題;實際可用的選項與效能改善會依裝置和設定而異。

    推薦理由:這次更新集中改善 OpenVINO 後端在 CPU、GPU 與 NPU 上的快取、記憶體使用和推論效能,並提供多項可調整的執行選項。

11月13日週五
  1. clem 🤗79

    使用雲端 AI 服務時,資料可能要傳到別處處理。llama.cpp 推出 v1,這是這套本機執行 AI 模型的工具第一個完全穩定的主要版本,可在手機、筆電和工作站上使用。作者表示,這讓使用者能免費使用 AI,不必把資料傳給別人,也能自行掌控;團隊也希望支援各種硬體、平臺和模型,讓 AI 不只集中在少數公司手中。

    推薦理由:llama.cpp v1 主打讓 AI 模型直接在手機、筆電和工作站執行,文中也說明這種做法如何減少資料外傳,並讓使用者掌控自己的資料。

  2. OpenBMB39

    現場攝影機拍到畫面後,通常還需要人檢視、整理,才能用來處理工作。CamThink 把 NeoEyes 邊緣攝影機、NG4500 AI Box 和 NeoMind 平臺接在一起:攝影機拍下照片後,會觸發 AI 助理,讓內建的 MiniCPM-V 4.7 1B 依照提示詞清點人數、找出安全違規、檢視垃圾桶裝了多少,或讀取儀表數字。結果會整理成資料,顯示在儀錶板,也能用來發出異常提醒或連線其他系統。照片和分析結果會留在現場網路內;辨識效果則會受提示詞、照片清晰度和模型能力影響,重要工作仍應由人確認。

11月12日週四
11月11日週三
  1. NVIDIA Newsroom Press Releases45

    AI 如何協助回收業者從混合廢棄物中回收再利用材料

    NVIDIA Inception 計畫中的新創公司運用視覺 AI 與機器人,從混合回收物中辨識並分揀可回收材料,協助減少材料進入掩埋場。 - AIRECO:這家臺灣新創在臺南迴收廠的試驗線使用 NVIDIA Jetson Orin NX 執行推論並控制機械手臂,測試線辨識準確率超過 95%。

  2. PyTorch76

    PyTorch 推出 ExecuTorch 的 WebGPU 後端,讓模型可在瀏覽器 GPU 上執行,並在分頁本機處理提示詞、照片與音訊。 - 匯出與支援環境:透過 torch.export 匯出一次,同一份 .pte 檔可在 Chrome、Safari 等支援 WebGPU 的瀏覽器執行。

    推薦理由:ExecuTorch WebGPU 將模型部署到瀏覽器本機執行,並以同一份 .pte 檔支援多種模型,呈現網頁端推論與裝置端微調的實作方式。

  3. Google Developers Blog82

    Google AI Edge Gallery 加入裝置端語音辨識與文字轉語音功能

    Google於 2026 年 11 月 10 日宣佈,Google AI Edge Gallery 與相關開發工具加入裝置端語音辨識(ASR)和文字轉語音(TTS),可在離線情境下提供語音互動。

    推薦理由:文章整理 Android 與跨平臺語音方案的模型、延遲及整合方式,方便開發者依裝置與部署需求比較選擇。

  4. PyTorch Blog83

    ExecuTorch 推出 WebGPU 後端,讓 PyTorch 模型在瀏覽器中以 GPU 推論

    ExecuTorch 推出 WebGPU 後端,讓 PyTorch 模型可匯出為 .pte 檔,並在支援 WebGPU 的瀏覽器中以 GPU 執行,資料留在使用者裝置上。

    推薦理由:文章比較 WebGPU 與 ExecuTorch CPU 路徑在同一臺 Apple M1 Pro 上的推論速度,並說明模型如何以同一個 .pte 檔在瀏覽器本機執行。

11月10日週二
11月9日週一
11月8日週日
11月7日週六
11月5日週四
11月4日週三
  1. Apple Newsroom53

    Apple 重新設計健康 App,擴大語言支援並加入健康年齡

    想了解長期健康變化,光看單次測量不容易掌握整體狀況。Apple 重新設計健康 App,新增「長壽」分頁,整理心臟、睡眠、心理健康、活動、代謝、聽力和營養等資料,並用 Apple Watch 的資料計算「健康年齡」,也能加入 A1c 和 LDL 膽固醇等檢驗結果。更新還加入居家動作評估,使用 iPhone 相機和 Apple Watch 測量柔軟度、力量、平衡等專案,並提供即時提示;影片不會錄下、儲存或分享。部分功能需要指定裝置,且可能因地區或語言而無法使用。

10月29日週四
10月27日週二
  1. AWS Machine Learning Blog75

    SageMaker SDK v3 支援邊緣端多機臺電腦視覺生命週期管理

    SageMaker SDK v3 以自動化方式支援多機臺電腦視覺模型生命週期,涵蓋訓練、品質門檻、編譯與部署。 - 核心流程:雙分支 Pipeline 分別訓練異常偵測器與缺陷分類器,並以質量門檻(AUROC≥0.8、平衡準確率≥0.6、缺陷召回率≥0.5)篩選模型。

    推薦理由:此範例示範如何在 AWS 上以自動化方式管理多機臺的電腦視覺模型,讀者可參考其訓練、品質門檻與編譯流程以提升實務部署效率。

10月24日週六
  1. cloudflare blog73

    Origin Range Requests:不需調整範圍請求即可高效傳輸大檔案

    Cloudflare 於 2026 年 10 月推出 Origin Range Requests,透過自動分段處理,將大檔案的 p99 首位元組延遲降至一半,並減少 6% 的分層快取流量。

    推薦理由:本篇說明 Cloudflare 如何透過 Origin Range Requests 大幅降低大檔案傳輸延遲與網路成本,對 CDN 效能與成本管理有直接參考價值,並可應用於其他 CDN 或分散式快取環境。

10月18日週日
  1. NVIDIA Blog72

    RTX Spark 為新款 Windows PC 引燃全球慶典

    RTX Spark 為新款 Windows PC 引燃全球慶典。 - GPU/CPU:搭載 NVIDIA Blackwell RTX GPU 與 Grace CPU,提供高達 1 petaflop AI 計算。

    推薦理由:RTX Spark 搭載 Blackwell GPU 與 Grace CPU,提供 1 petaflop AI 計算與 128GB 統一記憶體,適合本地 AI 與創作,對於需要高效能移動工作站的使用者具有重要參考價值。

10月16日週五
  1. cloudflare blog82

    Cloudflare Gateway 全程可程式設計安全網路閘道

    Cloudflare 釋出全新可程式設計安全閘道器功能,將 Workers 內嵌於 Gateway 政策評估,允許客製化程式直接執行於邊緣。 - Forward:新政策動作,將符合條件的 HTTP 請求轉發至 Cloudflare Worker,支援請求/回應變更與後端處理。

    推薦理由:Cloudflare 透過 Workers 讓安全閘道可執行客製化程式,提升防護彈性與效率

10月15日週四
10月14日週三
10月13日週二
10月8日週四
  1. Hugging Face Blog78

    多模態開源 d1 決策模型專為邊緣裝置打造

    d1-3B 與 d1-omni-600M 為 Liquid AI 發布的兩款多模態決策模型,專為邊緣裝置設計。 - 決策指數:在 Decision Index 0.2.1 上 d1-3B 以 48.57 分領先 4B、9B 及 35B-A3B。

    推薦理由:此模型在 Decision Index 0.2.1 上以 48.57 分領先 4B、9B 及 35B-A3B,且在 Jetson AGX Thor 上 16ms 回應速度,適合邊緣決策應用。可快速部署於 Jetson 系列,提供 50ms 內回答,適合需要即時決策的場景。

10月7日週三
10月2日週五
  1. cloudflare blog83

    Cloudflare 企業級功能全面開放:向所有客戶擴充套件可用性

    Cloudflare 近日將先前僅限企業方案的功能擴充套件至所有方案,並提升多項使用上限。 - Logpush & Transformers:從 Enterprise 方案擴至免費、Pro、Business,支援更廣泛的資料來源與 SQL 過濾。

    推薦理由:Cloudflare 讓企業級功能普及至所有方案,顯著提升小型客戶的使用效能與可擴充套件性