Voicute 教你替現有硬體挑選離線語音控制方式
替已經做好的硬體加上離線語音控制,常遇到的問題是該用關鍵字辨識、語音轉文字,還是現成語音模組。文章建議先看使用者會說什麼:只要辨認喚醒詞或少數固定命令,用關鍵字辨識通常較合適;需要聽懂人名、數字和自由句子時,再考慮語音轉文字。若想快速做出原型,可以用語音模組;若要沿用既有硬體或支援不同執行環境,可評估 ONNX 或 TFLite 模型。實際整合前,還要確認麥克風格式、記憶體、處理器效能和耗電,並在產品使用的環境中測試誤觸與反應速度。
替已經做好的硬體加上離線語音控制,常遇到的問題是該用關鍵字辨識、語音轉文字,還是現成語音模組。文章建議先看使用者會說什麼:只要辨認喚醒詞或少數固定命令,用關鍵字辨識通常較合適;需要聽懂人名、數字和自由句子時,再考慮語音轉文字。若想快速做出原型,可以用語音模組;若要沿用既有硬體或支援不同執行環境,可評估 ONNX 或 TFLite 模型。實際整合前,還要確認麥克風格式、記憶體、處理器效能和耗電,並在產品使用的環境中測試誤觸與反應速度。
監控攝影機重新連線後,慢速模型可能才回傳舊畫面的結果,讓系統誤以為現在發生了事件。Sentinel 是作者團隊在 Jetson Orin Nano Super 上製作的實驗性專案:它替每筆觀察記下畫面時間、開機編號和串流版本,過期或來自舊串流的結果不能觸發即時決策,但仍可留作歷史紀錄。系統也把事件和待送出的通知存進 SQLite,重開後仍能接著傳送。臉部辨識和本機視覺語言模型尚未完成驗證,因此預設關閉;大部分測試則可在沒有攝影機、GPU 或模型的電腦上執行。
出門時常不知道要帶什麼,想要在門口快速看到天氣或比特幣走勢。作者把一臺 2011 年的非觸控 Kindle 改成永遠開啟的 e‑ink 看板,透過 Node.js 產生 600×800 的灰階 PNG,從 Open‑Meteo 與 CoinGecko 取得天氣與價格,放到 GitHub Actions,Kindle 每 4 小時自動下載並顯示,還會在畫面底部標示更新時間與離線狀態。這樣即使沒電腦在家,也能在門口即時取得出門資訊。
很多家庭使用光纖或星鏈路由器,都會被 CGNAT 把公共 IPv4 共享,導致外部無法直接連到家裡的 Home Assistant,連手機也連不上。文中先教你用 ifconfig.me 檢查是否在 100.64/10 網段,確認 CGNAT 後,再選擇適合的出站通道:只要家人使用可選 Tailscale;需要公開網址可以用 Cloudflare Tunnel;想自行掌控則租 VPS 配 WireGuard 與 Caddy;或使用 Zorven 的自建隧道。最後說明在 configuration.yaml 加入 trusted_proxies 以及啟用 2FA,確保遠端連線安全。
使用 AI 模型時,常得把資料送到外部伺服器處理。Hugging Face 開發的開源 JavaScript 函式庫 Transformers.js,能讓預先訓練好的模型直接在瀏覽器執行,也能在 Node.js、Deno 和 Bun 等環境使用。它可處理文字分類、情緒分析、圖片分類和音訊等工作,還能使用 Hugging Face Hub 上的許多模型,不必從頭打造推論伺服器。依模型和裝置硬體而定,有些資料也能留在使用者自己的裝置上處理,減少依賴外部 API。
Qwen4-Max 已開放正式 API 使用,能一次讀進 1 million 個 token,輸入每 million 個 token 收 $1.50,輸出每 million 個 token 收 $4.50。llama.cpp 則升到 1.0.0,但 C API 有幾處改動,舊程式可能需要調整。另一個開源工具 smolmaxxing,讓一支 OnePlus Nord CE 2 手機跑起 80B 模型,速度約每秒 2.6 到 3.1 個 token,最高使用約 5 GB 記憶體。 這些進展讓大型模型不只能透過網路服務使用,也開始能在手機等裝置上運作。不過,手機跑模型仍然很慢;使用 API 時,如果讓模型產生太多內容,費用也可能增加。
Android XR 和眼鏡的配套 App 如果一直重畫整個畫面、一次載入太多照片,或把繁重工作塞在畫面更新的執行緒上,就會變得很慢。這篇教學建議先量出資料從裝置送到畫面所花的時間,再把裝置狀態、媒體和設定分開處理;感測資料只更新到畫面看得清楚的頻率,照片則分頁載入,縮圖需要時再解碼。 例如,感測器每次回報時,不必都讓整個畫面重畫;只更新有變化的小部件,就能減少卡頓。遇到大量解析或壓縮工作,先確認效能瓶頸,再交給背景工作處理。開發者也要在實際裝置上測試,並清楚顯示資料過期、連線中斷等狀況,讓使用者知道裝置目前發生什麼事。
收到可疑郵件或看到奇怪網站時,很難馬上判斷是不是詐騙。開源防釣魚擴充功能 NonAbbocco 現在加入 Liquid AI 600M,透過 WebGPU 在瀏覽器裡提供第二種看法,不必把資料送到伺服器。它會搭配原本的判斷規則,給使用者參考,但不會替使用者做最後決定。
PS4 只有 8GB 共用記憶體,要在主機上離線執行 9-billion-parameter 模型並不容易。開發者 Leonardo Alegría 做了開源程式 Garlic LLM,讓安裝 GoldHEN 的越獄 PS4 直接使用主機 GPU 執行 Qwen3.5-9B;透過縮小模型權重,文字聊天速度約為每秒 31 至 39 個 token,程式碼最多每秒 43 個 token。它也能用語音交談和聽寫,但語音聊天約每秒 22 個 token。這些速度是開發者公佈的數字,文章沒有提供提示詞或測試方法;PS4 Pro 尚未測試,PS5 也不支援。
Rosetta 2 逐步退場後,還沒改成支援 Apple Silicon 的 Mac 舊應用,可能無法繼續使用。作者用 Silicon 掃描自己的 Mac,並整理出三種替代方法:找能接上原服務的第三方工具、把功能完整的網頁版包成獨立應用,或用 Wine 相容層執行 Windows 版軟體。像 Choragus 能控制 Sonos 音響,但不能管理裝置;網頁版可能少了企業功能;Wine 方案則仍可能依賴 Rosetta 2。作者也提到,文中幾款原本只有 Intel 版本的應用,後來已推出支援 Apple Silicon 的更新。
Windows 電腦上的小型語言模型能讓應用程式在裝置上處理文字,不必把內容送到雲端,但原本能讀的內容長度有限。Microsoft 將用 Aion Instruct 取代 Phi Silica,模型引數量從 38 億降到 23 億,輸入上限則從 3,500 個詞元提高到 32,000 個,應用程式一次就能交給模型更多檔案或對話。新模型也將支援 Nvidia RTX 和 AMD RDNA 4 顯示卡,分階段推送到符合條件的 Windows 裝置;多數使用既有 Windows AI API 的應用程式不必修改程式。不過,使用自訂提示詞或依賴特定輸出的程式仍要重新測試,為 Phi Silica 訓練的 LoRA 也必須重新訓練。
想用觸控螢幕快速執行電腦操作,卻不想買 Stream Deck,作者便用 ESP32-P4 開發了 Tessera Deck。它把螢幕上的按鍵和畫面交給裝置處理,真正執行動作的 Python 程式則在 Windows 電腦上跑,兩者透過 USB 傳送訊息。作者也說明如何先在電腦上測試介面、更新畫面上的既有按鍵,以及用快取管理圖示,避免觸控時按鍵被重建。這個專案也能顯示 Claude Code 等 AI 助理的操作許可請求,但不會自行按下允許;目前只支援指定的螢幕和 Windows 10、11。
Jetson 裝置要同時處理推論、網路、影片和應用程式,資源吃緊時,Flutter 介面也可能變慢。文章建議先檢視溫度、CPU 和 GPU 使用量、記憶體壓力與推論延遲等訊號,再依明確規則降低圖表更新頻率、減少裝飾動畫或調低預覽畫質,同時保留警報和控制功能。文章也提醒,隱藏介面元件不會直接減少 GPU 推論負載;模型和加速器排程應由 Jetson 服務處理,介面則可提出支援的畫質設定。
機器人或智慧眼鏡如果反應太慢,光把 Flutter 畫面變快還不夠,因為拍攝、傳送、AI 推論、整理資料到畫面顯示,每一步都可能拖慢整體速度。文章建議先訂出使用者能接受的時間,再替每個步驟記錄耗時,並檢視 p50、p95、p99 延遲、排隊資料量和過期結果比例,免得平均速度看起來正常,實際操作卻會卡住。像遙控機器人時,回傳畫面太慢就可能影響操作;把各步驟都量清楚,才知道該從哪裡改善。
在通勤、旅行或網路不穩的地方,想查聖經卻可能連不上網;有些聖經 App 的 AI 功能還會把問題傳到伺服器。Miktam Bible 把聖經文字、搜尋、筆記和 AI 助理都放在手機上,讓人離線閱讀、找經文,也能詢問經文背景和意思,提問內容不會離開手機。 例如,它附有 KJV 聖經,也能下載 5,600 多種譯本,並提供希臘文和希伯來文查詢、讀經計畫、經文標記和語音筆記。這款 App 目前在 Google Play 封閉測試中。
手機上的 AI 功能常把問題送到雲端處理;Miktam Bible 則讓語言模型直接在手機運作。使用者提問後,App 會先從離線聖經資料中找出 10 節相關經文,再把經文和問題交給模型回答,回答裡的經文出處也能點開檢視。模型尚未下載或載入失敗時,App 會直接顯示相關經文。這套功能不用伺服器或 API,也不記錄問題;作者表示,手機開啟飛航模式時仍可使用。目前搜尋只靠文字比對,之後才計畫加入向量搜尋。
Omarchy 現在只要 18 秒就能安裝在 @nvidia N1x 上!再過幾秒,就會提示你下載一個很棒的本機模型來執行。這些事情不必這麼困難或緩慢。https://t.co/GwVhbqJZms
要讓飛機自己追著目標飛,光認出目標還不夠,還得把攝影機看到的位置轉成飛行方向。作者和隊友在 HackUMass 做出一架搭載 Raspberry Pi 5 與 Camera Module 3 的飛翼機,切換開關後,由 Pi 偵測氣球或無人機,再把轉彎和俯仰目標交給飛控。導引方式會考慮飛機本身的傾斜,讓飛行路線朝向碰撞目標。作者也分享了更換控制方式以配合 INAV 韌體,以及用天空中的氣球照片重新訓練偵測模型等經驗;目前完成的是桌上測試,試飛仍是下一步。
AI 沒有網路時還能回答,是因為模型檔案放在自己的電腦或手機上,由裝置裡的晶片負責運算;但它沒辦法自己查到最新訊息,除非你提供資料或讓應用程式連上可查詢的工具。文章用 llama.cpp 說明這個做法:模型讀取檔案、把提示詞轉成模型看得懂的格式,再一步步產生回答。像是小型模型的檔案約 0.91 GB,連同其他記憶體需求估計約 1.33 GB。這些數字只是估算,還沒有用真正的模型測量;在裝置上執行能不靠遠端模型服務,但速度和記憶體需求會受模型大小與硬體影響。
忘了澆花,植物可能會枯黃;忘了用滑板,也不容易發現自己很久沒碰它。OATs 是一種裝在小型電子紙螢幕裡的 AI 化身,可以配對家中物品,根據感測器讀到的狀況變換表情。像是把它裝在植物旁,土壤太乾時,螢幕上的小寵物就能提醒你;裝在滑板上,幾天沒偵測到移動時,它就會露出難過的樣子。 OATs 也能用來提醒附近的人注意正在運作的 3D 列印機,或幫忙記錄自己多久舉一次啞鈴。不過電池大約只能用 3 到 4 天,搭配音量感測器時更只有 1 天。讓物品有表情,或許能鼓勵人改變習慣,但作者也提醒,別因為 AI 看起來像有情緒,就太相信它或把它當成真人。
手機離線跑 AI,選擇會受手機平臺和想用的功能影響。作者實測並比較 7 款 App:Off Grid AI 能聊天、看照片、聽語音和生圖;只想聊天可看 PocketPal,Google AI Edge Gallery 則能試用 Google 的 Gemma 模型。各款 App 都要先下載模型,之後才能在飛航模式下使用;選擇時也要確認手機能否安裝,以及模型是否放得進記憶體。文中另整理各 App 的價格、平臺和功能差異,方便依需求挑選。
想在診所外先看看皮膚病灶有沒有可疑之處,卻不想把照片傳上網?這篇教學示範用 ESP32-CAM 拍照,再讓 TensorFlow Lite Micro 在裝置裡分析影像;模型會把結果顯示出來,若判斷有疑慮,還能發出警示。作者把模型縮小,讓它能在記憶體有限的晶片上運作,也提到這只是教育用途的原型,不能代替醫師診斷或治療。
搜尋工具 ZoomEye 查到 830,661 筆網頁內容含有「ESPHome」,但這些結果也可能是說明檔案、教學或設定範例,不代表有 830,661 臺 ESPHome 裝置暴露在網路上;搜尋不到應用程式標記,也不能證明完全沒有裝置。ESPHome 裝置的網頁伺服器可用密碼保護,開啟時應設定密碼;OTA 更新也應限制在可信任的網路內。裝置網頁和用來製作韌體的 ESPHome dashboard 是不同服務,管理者要分開確認它們的許可權,並把裝置放在分開的網路、妥善保管 Wi-Fi 和 API 密碼。
戶外感測器用無線網路傳大批資料時,封包一旦遺失,資料可能送不完整,緊急指令也會被卡住。作者開發了開源通訊協定 NLTP,先壓縮資料,再用錯誤修正資料補回遺失封包,並讓緊急指令走另一條通道。作者的測試中,ESP32 傳 16 KB 資料時,原始 ESP-NOW 在 10% 封包遺失下未能完成,NLTP 則完成傳送並驗證資料。文章也提醒,乾淨的高速網路仍適合用 TCP 或 QUIC;NLTP 的加密實作尚未經獨立第三方稽核。
火焰感測器裝在不方便一直盯著看的地方時,可以用 Wi-Fi 把偵測結果傳到網路上檢視。這個專案讓感測器把火焰狀態交給 ESP8266 NodeMCU 處理,再送到 KiwisIoT 平臺的儀錶板;例如,儀錶板會顯示有沒有偵測到火焰,也會顯示 LED 狀態。系統每隔 2 秒傳送一次資料,適合用來示範感測器和網路監控怎麼搭配;不過它只是教學原型,不能取代合格的火災警報裝置。
Swift 不只能寫 iPhone 和 Mac 的 App,也能用來控制小晶片。Embedded Swift 是一種編譯模式,會把程式做成不需要完整 Swift 執行環境的小檔案,讓它能在記憶體很少的微控制器上運作。一般 Swift 的大部分寫法都能使用,但像反射、Foundation 和完整的 Unicode 字串功能就不支援或有限制。 例如,作者用 Swift 控制 LED 每隔一段時間亮起、熄滅;實際操作晶片的部分仍由廠商提供的 C 工具處理。這種做法讓熟悉 Swift 的人也能寫韌體,並用 Swift 的型別檢查等功能減少常見錯誤,但開發時仍得留意晶片記憶體有限,也需要搭配廠商的工具。
IMU 靜止時,讀數也可能因感測器本身的偏差而不等於預期值;陀螺儀的小偏差還會隨著計算方向而累積,讓姿態越來越不準。校正時,先讓 IMU 保持穩定,再收集資料估算加速度計和陀螺儀各軸的固定偏差,並從之後的讀數中扣除。舉例來說,把 IMU 依序擺成六種朝向,讓 X、Y、Z 軸分別朝向正向或反向的重力,就能利用兩邊的讀數估算加速度計偏差。這能改善機器人和車輛的位置、方向與導航估算;校正後也要檢查靜止時陀螺儀是否接近零,以及加速度計讀到的重力大小是否合理。
開會、上課或參加安靜的活動時,手機突然響起很尷尬;但一直用 GPS 確認位置,又會讓電量掉得很快。Muffle 改用 Android 的 GeofencingClient,請系統在手機進出指定範圍時通知 App,不必每隔一段時間自己查位置;使用者設定的地點則存進手機,重新開機後再登記一次。 不過,高樓或室內可能讓定位變慢、變不準,許可權選「Approximate」也會讓地點判斷難以運作。作者因此會排除誤差超過 50 公尺的座標,也讓使用者為訊號較差的地方設定較大的範圍。這個做法能減少 App 背景追蹤位置的負擔,但實際效果仍會受訊號和許可權影響。
推薦理由:llama.cpp v1 主打讓 AI 模型直接在手機、筆電和工作站執行,文中也說明這種做法如何減少資料外傳,並讓使用者掌控自己的資料。
雲端語音服務雖然方便,卻得先把文字傳到網路上;遇到訊號不好或內容敏感時,就不太方便。Underdog AI 的 Woof 把文字轉語音模型做得很小,單一聲音版本約 32MB,可直接在瀏覽器離線產生語音,不必把文字送到遠端 API;另一個雙聲音版本是 40.6MB。不過,實測發現它念簡單句子還可以,遇到一串數字、人名、分數或長篇內容就容易出錯,而且授權只供非商業用途。它讓開發者更容易試做離線語音功能,但要用在實際產品,仍得留意唸錯內容和授權限制。
剪輯長影片時,先把好幾 GB 的影片上傳到雲端才能開始處理,改字幕還可能一直消耗雲端額度。Wonek Video Studio 把語音轉文字、降噪、找精彩片段、字幕翻譯和配音放在 Apple Silicon 的 Mac 本機執行;Whisper 負責抓準每個字的時間,Qwen 或 Gemma 幫忙挑片段、翻字幕,Maya1 TTS 則能直接在時間軸上重做配音。像是隻改一句旁白,就能在本機重做那一句並更新時間軸。想用 Veo 3.1、LTX 或 OpenAI 的雲端影片生成服務,也能自行提供 API 金鑰。這種做法能少等上傳、少受雲端額度限制,也讓創作者選擇哪些工作留在自己的電腦處理。
想在手機或 Mac 上直接跑大型語言模型,除了模型大小,也得考慮記憶體、速度和裝置發熱。這篇教學示範如何用 Apple MLX 和 mlx-lm 載入 4-bit 的 Qwen3-1.7B,也介紹如何透過 Swift 在 iOS 上執行。MLX 會先記下運算步驟,再把部分工作合併交給 Metal 執行;Apple 晶片的 CPU 和 GPU 共用記憶體,也省去資料來回搬移。文中列出的社群回報速度約為 iPhone 15 Pro 每秒 18–24 個 token、M2 MacBook Air 每秒 55–70 個 token,並提醒手機長時間生成可能因發熱降速。
讓 AI 助理直接在手機上工作,可以少把螢幕和通知資料傳到遠端,也不怕網路中斷;但模型越大,越吃記憶體、回應也越慢。StareBrain 作者比較不同大小的模型後,預設使用 3B,記憶體較多的手機可改用 7B;1B 雖然較快,卻常把多步驟計畫弄錯。作者也分享幾個實作做法:服務啟動時先載入模型、只保留最近 3 個動作,並顯示目前做到哪一步,讓等待比較清楚。若手機記憶體不足或過熱,推論仍可能變慢或失敗。
裝置端 GUI AI 助理會改變延遲、隱私邊界、故障模式、記憶體規劃,以及模型「夠用」的判準。 - 延遲與記憶體:一款在 M4 Pro 上執行的 4B 量化模型(w4a16)。
HelloFace SDK 將人臉處理移至裝置本機,支援 Android、iOS、HarmonyOS、Windows 與 Linux 原生整合,並以 Beta 版 0.8.11 供測試。
作者將 Qwen2-VL-2B 的視覺塔部署到 RK3588,以 392×392 影像測得中位編碼時間 4,445.68 ms,執行期間沒有 RKNN 錯誤。
Edge0 開源 Edge0-145B 與 Edge0-120B,並同步發布推論框架和部署工具,讓大型模型可在相容的個人電腦上本機執行。
推薦理由:文章以記憶體、速度與多項基準比較 Edge0-145B 和雲端模型,並說明其在相容筆電上的部署條件,呈現本機執行大型模型的具體取捨。
作者提出 Web Models API,希望讓網頁應用程式透過瀏覽器呼叫使用者裝置上的開放權重模型,並由使用者決定是否授權網站使用特定模型。 - 運作方式:API 透過 navigator.models 提供模型存取,開發者可用通用 ID 指定並測試特定模型版本;授權與模型及網站配對,使用者可撤銷。
Fish Audio S2 Pro 可透過 Murmur 的 MLX 版本在 Apple Silicon 與 Intel Mac 上本機執行;Fish Speech 官方安裝檔案則以 Linux 或 WSL 為目標環境,未列出 macOS 支援路徑。