跳到正文

#邊緣端/裝置端

RSS
今日 1 則
今天11月23日週一
  1. Dev.to Top Tech42

    為什麼把電腦送上天是好主意?從無人機到太空資料中心

    AI 需要大量電力和水,地面電網和資料中心卻不容易快速擴建。把電腦放到無人機、高空飛機或太空裡,就能在資料產生的地方先處理資料,減少把大量影片和訊息傳回地面的需求。像 Skydio X10 無人機能在機上製作地圖;Starcloud-1 也已帶著 NVIDIA H100 到太空,並在軌道上訓練 NanoGPT、執行 Gemma。 太空中的太陽能可能更穩定,也不需要用水冷卻,但散熱、太空輻射、延遲、發射費用和太空垃圾都是難題。作者認為,飛行電腦不會取代所有地面伺服器,卻可能讓更多運算工作搬到離資料更近的地方。

11月21日週六
  1. Dev.to Top Tech48

    Xybrid 主張 AI 應先在裝置上運作,需要時再用雲端

    很多團隊一加上 AI,就先把資料送到雲端,之後才想到能不能在手機或電腦上處理。Xybrid 主張把順序反過來:先用裝置裡的模型,真的不夠用再交給雲端。文中的例子顯示,iPhone 15 在 5 種工作裡有 4 種比雲端快,像圖片分類約 2 毫秒,語音轉文字約 200 毫秒;在裝置上處理也不用付每次呼叫雲端的費用,資料不必離開裝置。 這不代表所有 AI 都能放進手機:太大的模型仍得靠雲端。但 Whisper Tiny、Kokoro 和 Gemma 4 E2B 等模型已能在手機上處理語音、文字或多種媒體。文章建議先讓裝置上的模型試著完成工作,只有遇到複雜問題或模型放不下時才升級到雲端,讓使用者少等一點,也少傳出敏感資料。

11月20日週五
  1. Dev.to Top Tech50

    AI 功能開始在手機和筆電上運作:隱私、省錢又不怕沒網路

    以前產品加上 AI,常得把文字或圖片送到資料中心,等大型模型回答;現在有些 AI 功能能直接在手機或筆電上跑。像是整理訊息、建議回覆、分類照片,都可以交給較小的模型處理;遇到比較難的問題,再送到伺服器。資料留在裝置上,隱私更好,也能省下每次向伺服器提出要求的費用,沒訊號時仍可使用。不過,小模型不擅長長篇推理和廣泛知識,舊裝置也可能跑不動。開發者得想清楚哪些工作適合在裝置上做,並老實告訴使用者 AI 實際在哪裡運作。

  2. hackernews10069

    Pete Warden 談本機 AI、語音介面與 AI 硬體的未來

    AI 越來越常靠雲端運作,但這會帶來費用、網路連線和資料隱私等考量。Pete Warden 在訪談中談到,本機模型已能處理不少日常工作,放在自己的電腦或企業掌控的伺服器上,也能減少對外部服務的依賴。他還認為,語音介面要讓人用得自然,回應速度很重要;如果等待太久,使用者會不確定系統有沒有聽見。至於 AI 硬體,他談到記憶體頻寬和不同型別的加速器,認為執行模型的需求和訓練模型並不一樣。

11月13日週五
  1. Dev.to Top Tech47

    為什麼開放權重的裝置端 AI 模型應成為瀏覽器標準功能

    作者提出 Web Models API,希望讓網頁應用程式透過瀏覽器呼叫使用者裝置上的開放權重模型,並由使用者決定是否授權網站使用特定模型。 - 運作方式:API 透過 navigator.models 提供模型存取,開發者可用通用 ID 指定並測試特定模型版本;授權與模型及網站配對,使用者可撤銷。

11月11日週三
  1. NVIDIA Newsroom Press Releases45

    AI 如何協助回收業者從混合廢棄物中回收再利用材料

    NVIDIA Inception 計畫中的新創公司運用視覺 AI 與機器人,從混合回收物中辨識並分揀可回收材料,協助減少材料進入掩埋場。 - AIRECO:這家臺灣新創在臺南迴收廠的試驗線使用 NVIDIA Jetson Orin NX 執行推論並控制機械手臂,測試線辨識準確率超過 95%。

11月10日週二
  1. Dev.to Top Tech37

    輕量級 AI 助理執行環境為何重要

    輕量級、具沙箱隔離的 AI 助理執行環境,能讓AI 助理在接觸電子郵件、程式碼或個人資料時,更容易限制許可權並部署在邊緣裝置上。 - 安全與許可權:執行環境應預設鎖定檔案系統與 Shell,僅允許明確列入白名單的操作;不可逆操作可採提案者與核准者分工,並保留AI 助理無法修改的紀錄。

11月8日週日
10月15日週四
10月7日週三