llama.cpp b12209 版本正式發布,新增 bf16 與 q8_0 vxe 支援
導語:此更新為 llama.cpp 釋出 b12209 版,新增對 bf16 與 q8_0 vxe 的支援,並擴充多平臺與硬體的執行環境。 - 新功能:實作 bf16 與 q8_0 vxe,提升模型效能與記憶體使用率。
導語:此更新為 llama.cpp 釋出 b12209 版,新增對 bf16 與 q8_0 vxe 的支援,並擴充多平臺與硬體的執行環境。 - 新功能:實作 bf16 與 q8_0 vxe,提升模型效能與記憶體使用率。
llama.cpp 針對 Zamba2-7B- Instruct 在 GPU 上加入 d_state=64 快速路徑,提升生成速度。\n- 效能提升:每個掃描步驟從 CPU 回退改為 GPU,吞吐量從 11 tok/s 提升至 15.1 tok/s,約 35%。
監控與洞察:空間計算應服務理解而非控制\n\n- 架構對比:洞察優先將感知模型執行於本地 edge,延遲約 30 ms;控制優先則將所有影像送至雲端,延遲約 200 ms。
summary_zh: Meta Quest 上的 NexoPeek 透過一體化的名稱解析與多層渲染,將 PDB、UniProt、AlphaFold 等資料庫的分子結構即時載入並以 VR 方式呈現。
MediaPipe 與 Gemma‑2b‑it 共同打造的離線 Android 醫療助手,可即時分析症狀且完全不將資料送往雲端。 - 即時推理:利用 MediaPipe LLM Inference API 與 Vulkan GPU 加速,首個 token 時間大幅縮短,達到零延遲。
作者透過 OTA 更新與 DAT SDK 簽名驗證漏洞,成功在 Meta Ray‑Ban 智慧眼鏡上取得任意程式執行與互動式 shell。\n- 漏洞來源:OTA 下載完整韌體的 GraphQL 引數可被強制為 true,並且韌體 126 版未驗證 DAT APK 簽名。
llama.cpp b12179 版釋出 Hexagon 端 Conv3D 支援與 Conv2D 最佳化,提升多維卷積效能。 - Conv3D:將 Conv2D 實作泛化為 Conv3D,使用 HMX tiled (implicit GEMM) 路徑,KD & KH 合併為 KDKH,輸出行計為 NOD*OH。
summary_zh: 企業領導者正採用分散式 AI 策略,將推理分佈於邊緣與雲端,以提升速度、可靠性與成本效益。 - 速度:近端推理消除遠距伺服器往返延遲,適合工業機器人與安全裝置。
本教程以 Flutter 為操作介面,結合 NVIDIA Jetson 與 ROS 2,說明如何設計低延遲機器人閘道。 - 測試指標:事件到畫面延遲、CPU、記憶體、網路使用、電池、熱度、訊息遺失、重連時間、指令確認等。
本教程說明如何在 Flutter 與 ROS 2 之間設計可預測延遲與記憶體限制,並提供實作範例與測試清單。 - 架構:Flutter 為操作介面;Jetson、ROS 2 與 NVIDIA 進行感測、推理與控制。
進階 Flutter 效能分析:此教程以 Flutter 為前端呈現層,配合 Jetson、ROS 2 與 NVIDIA 加速推論,提供完整的測試流程與最佳實踐。
Underdog 展示以 Woof 語音生成模型打造的互動遊戲;模型大小為 32MB,可在瀏覽器中執行,並據公司說法,無須網路連線即可在多數裝置上運作。
導語:本文說明空調式加熱器在連線到標稱 15A 智慧插頭時,因持續負載與熱老化問題而易失效。 - 負載型別差異:熱鍋爐需 12A 持續 6 小時,與插頭的峰值 15A 連續負載等級不符。
PLaMo 3 Translate 是 Preferred Networks 釋出的開源離線翻譯大型語言模型,提供四種規模(0.8B、2B、8B、31B),支援 53 種語言,且可在手機、筆記型電腦或本地伺服器上完全離線執行。
Seven Sports 開發的 Amblyotube 將 Meta Quest 的左右眼獨立顯示用於弱視訓練,透過處理左右眼接收的影像,協助進行雙眼協調訓練。
手機 AI Repo 的重現與除錯流程,讓新人在第一小時即可重現報告的卡頓並排除問題。 - 三大工件:端點切換(build‑time 變數)、環境卡(JSON 記錄裝置、OS、許可權等)、重放指令碼(shell 指令可重現請求並記錄時延)。
esp32-eye 是一套開源飲水監測系統,使用 MiniCPM-V 4.7、兩塊 ESP32-S3 與 MacBook,辨識個別貓咪並記錄每日飲水事件。
AI影像功能 逐漸由免費轉向付費,手機廠商面臨雲端 Token 成本上升,推動端側算力提升成為未來趨勢。 - 小米 18 系列 的「傳奇一瞬」已採用 100 積分消耗,2027 年將轉為付費模式。
本文提供一套完整的 OEM IoT 後端設計範例,涵蓋裝置身份、客戶隔離、配置同步、韌體更新與轉移替換等核心功能。 - 裝置身份與客戶關係分離:使用 deviceId、tenantId 等欄位,確保裝置實體與客戶擁有權可獨立變更。
llama.cpp b12121 版本更新修正了量化 KV 快取的狀態複製錯誤,提升多平臺執行穩定性。 - 修正內容:針對 q8_0、q4_0 等量化型別,改用 ggml_type_size() * ggml_blck_size() 計算元素數量,確保整塊複製。
Edge-to-Cloud 群控協調 針對極度資料稀疏的精準腫瘤臨床工作流程,提出由邊緣代理、區域協調器與雲端層構成的三層架構。 - 不確定性加權共識:使用 Bayesian product‑of‑experts,能在每個節點樣本不足 5 筆時自動放棄貢獻,提升整體準確度 30–40%。
Nothing 執行長 Carl Pei 宣佈,Nothing 首款「AI 原生」產品將於 12 月推出,並表示這款裝置沒有螢幕,也無法以 App 形式呈現。
Amblyotube 是 Seven Sports 開發的 Meta Quest App,將影片轉為雙眼視覺練習,透過左右眼不同的影像處理,協助進行雙眼協調與深度知覺訓練。
summary_zh: 我打造了免費 Android 應用 Defineciler,可透過拍照識別安納托利亞硬幣、文物與岩石符號,並提供年代、文明與歷史背景。
Raspberry Pi 4 上即時盜竊偵測系統的完整實作流程 - 硬體:Raspberry Pi 4 Model B (4 GB RAM) + Camera Module v2,處理 640×480 影像,保持 25–31 FPS,無需外部冷卻或雲端。
IndiaAI Mission 於 2026 年 11 月正式推出三款本土 AI 模型:EKA‑1、Dhīr‑2B 與 Dhīr‑5B,針對離線手機與關鍵領域的安全使用。
llama.cpp b12099 版新增 Hexagon NPU 支援與多種硬體平臺加速,讓開發者可在 macOS、Linux、Windows、Android 等環境快速部署推理。
Google 在軌道上執行 Gemma 4 模型推理,並將結果傳回地面,展示了衛星端 AI 推理的可行性。 - 功耗限制:衛星僅有 1kW,需單片 20 分鐘的推理視窗,強調功耗與熱設計是關鍵。
LoRaWAN Relay 是一種使用電池供電的中繼節點,可將位於覆蓋死角的終端裝置流量轉發至最近的閘道器,無需新增基礎設施。 - 工作原理:中繼節點透過 Wake‑On‑Radio (WOR) 與 Channel Activity Detection (CAD) 兩階段通訊,先喚醒後接收裝置的上行資料,再封裝至 FPort 226 轉發給閘道器。
本次 llama.cpp b12089 版本釋出,新增對 Metis‑1.6 模型的支援,並擴充多平臺推理功能。 - 模型支援:Metis‑1.6。
llama.cpp 在 b12086 版釋出中修正 conv state tail 寫入方式,將 Qwen3.8‑Flash‑Next 每個 token 的裝置複製量從 72 降至 36,並在 speculative decoding 時僅增加一個複製。
想了解長期健康變化,光看單次測量不容易掌握整體狀況。Apple 重新設計健康 App,新增「長壽」分頁,整理心臟、睡眠、心理健康、活動、代謝、聽力和營養等資料,並用 Apple Watch 的資料計算「健康年齡」,也能加入 A1c 和 LDL 膽固醇等檢驗結果。更新還加入居家動作評估,使用 iPhone 相機和 Apple Watch 測量柔軟度、力量、平衡等專案,並提供即時提示;影片不會錄下、儲存或分享。部分功能需要指定裝置,且可能因地區或語言而無法使用。
llama.cpp 新增 NCCL 支援多節點張量並行,提升多機環境下的分散式訓練效能。 - 新增功能:多節點張量並行,使用 NCCL。 - 平臺支援:CUDA、ROCm、OpenVINO 等多平臺,含 macOS、Linux、Windows、Android。 - 內部更新:重構通訊介面,改進 per‑rank 通訊,並調整 NCCL 設定。
Azure 的跨租戶漏洞:一個根本控制平面缺陷,允許攻擊者橫跨租戶,造成五項完整攻擊。對依賴雲端的分子視覺化工具(NGL、Mol*、PyMOL、3Dmol.js、LiteMol)構成嚴重威脅。
Tiny Basic for Arduino 是一款針對中階 Arduino 板與 MCU 設計的輕量級 BASIC 直譯器,允許開發者直接在硬體上編寫、編輯與執行程式。
iPhone 上實現子 50 毫秒的語義影像搜尋,透過 Vision、Core ML 及 HNSW 索引構建三階段管線。 - 三階段架構:1️⃣ Vision 的 VNGenerateImageFeaturePrintRequest 產生特徵向量;2️⃣ Core ML 模型將向量投射至 512 維語義空間;3️⃣ HNSW 索引在裝置上即時回傳最近鄰。
物理 AI 系統設計:本文提供一個完整的開源參考架構,將晶圓缺陷影像、機臺遙測與製程控制結合於 Kafka 時間序列,實現缺陷追蹤與漂移晶圓室定位。 - 核心元件:使用 Apache Kafka (KRaft) 做事件 backbone,InfluxDB 3 Core 儲存時序資料,Keycloak 身份管理,Prometheus/Grafana 監控。
summary_zh: Neuromorphic Computing 與 Spiking Neural Networks 正在重塑低功耗硬體,突破傳統 von Neumann 架構的能源瓶頸。
本篇研究對比了兩大開源 5G RAN 平臺 OpenAirInterface (OAI) 與 srsRAN,從功能支援、部署彈性到實際效能進行全方位評估。 - 功能與部署:對兩平臺的特徵與彈性進行質性評估,揭示其在不同 RAN 配置下的適用性。