跳到正文

#邊緣端/裝置端

RSS
今日 1 則
今天11月23日週一
  1. MarkTechPost78

    NVIDIA 發布 Alpamayo 2 Edge,讓車內 AI 模型規劃行車路線

    自動駕駛車要在車上看懂周圍畫面、規劃路線,還得在有限時間內完成。NVIDIA 發布 Alpamayo 2 Edge,讓模型讀取 6 個攝影機的畫面,產生最長 6.4 秒的路線規劃,也能用文字說明判斷;遇到一般路況時,則會略過完整推理,減少運算量。NVIDIA 表示,搭配 FP8 和 TensorRT 的設定,在 DRIVE AGX Thor 上每次規劃約需 160 到 190 毫秒。MarkTechPost 引述的測試顯示,它在 AlpaSim 模擬中每發生一次責任事故前可行駛 15.15 公里;文章也指出,其他 GPU 架構尚未驗證。

    推薦理由:Alpamayo 2 Edge 把駕駛影像理解與路線規劃放到車內運算,文中也比較了它在模擬駕駛和問答測試中的表現。

11月20日週五
  1. Dev.to Top Tech36

    Domyn Edge 4B 在 16GB MacBook Pro 上跑起來如何?實測影片

    想在自己的電腦跑 AI 模型,常會擔心它太大、跑不動。這支影片實測 Domyn Edge 4B:作者把模型轉成 4-bit 版本後,大小約 2.2–2.4 GB,能在 16GB MacBook Pro 上順順運作。問它海豚是什麼,模型約 30 秒就給出清楚正確的答案;請它寫一個計算資料夾內檔案字數的小工具,也做出能用的 Python 程式。這次測試顯示,它適合在一般電腦上使用,也能應付簡單的程式撰寫工作。

11月16日週一
  1. iThome (臺灣)69

    Microsoft 用 Aion Instruct 取代 Windows 裝置端的 Phi Silica

    Windows 電腦上的小型語言模型能讓應用程式在裝置上處理文字,不必把內容送到雲端,但原本能讀的內容長度有限。Microsoft 將用 Aion Instruct 取代 Phi Silica,模型引數量從 38 億降到 23 億,輸入上限則從 3,500 個詞元提高到 32,000 個,應用程式一次就能交給模型更多檔案或對話。新模型也將支援 Nvidia RTX 和 AMD RDNA 4 顯示卡,分階段推送到符合條件的 Windows 裝置;多數使用既有 Windows AI API 的應用程式不必修改程式。不過,使用自訂提示詞或依賴特定輸出的程式仍要重新測試,為 Phi Silica 訓練的 LoRA 也必須重新訓練。

11月13日週五
  1. Dev.to Top Tech46

    Underdog AI 的 Woof 語音模型縮到約 32MB,可在瀏覽器離線念出文字

    雲端語音服務雖然方便,卻得先把文字傳到網路上;遇到訊號不好或內容敏感時,就不太方便。Underdog AI 的 Woof 把文字轉語音模型做得很小,單一聲音版本約 32MB,可直接在瀏覽器離線產生語音,不必把文字送到遠端 API;另一個雙聲音版本是 40.6MB。不過,實測發現它念簡單句子還可以,遇到一串數字、人名、分數或長篇內容就容易出錯,而且授權只供非商業用途。它讓開發者更容易試做離線語音功能,但要用在實際產品,仍得留意唸錯內容和授權限制。

  2. Hacker News (official RSS)81

    Edge0 開源 Edge0-145B 與 Edge0-120B,主打在個人電腦本機執行大型模型

    Edge0 開源 Edge0-145B 與 Edge0-120B,並同步發布推論框架和部署工具,讓大型模型可在相容的個人電腦上本機執行。

    推薦理由:文章以記憶體、速度與多項基準比較 Edge0-145B 和雲端模型,並說明其在相容筆電上的部署條件,呈現本機執行大型模型的具體取捨。

11月12日週四
11月6日週五
11月4日週三
10月15日週四
10月14日週三
10月8日週四
  1. Hugging Face Blog78

    多模態開源 d1 決策模型專為邊緣裝置打造

    d1-3B 與 d1-omni-600M 為 Liquid AI 發布的兩款多模態決策模型,專為邊緣裝置設計。 - 決策指數:在 Decision Index 0.2.1 上 d1-3B 以 48.57 分領先 4B、9B 及 35B-A3B。

    推薦理由:此模型在 Decision Index 0.2.1 上以 48.57 分領先 4B、9B 及 35B-A3B,且在 Jetson AGX Thor 上 16ms 回應速度,適合邊緣決策應用。可快速部署於 Jetson 系列,提供 50ms 內回答,適合需要即時決策的場景。

10月7日週三
6月27日週六
4月3日週五
  1. Google DeepMind69

    Gemma 4 釋出:最強開源模型

    Google DeepMind 推出了 Gemma 4,四種尺寸(E2B、E4B、26B MoE、31B Dense)支援多模態、長上下文(128K–256K)和 140+ 語言,具備高階推理、函式呼叫和程式碼生成能力,並以 Apache 2.0 許可免費開放,適用於從移動端到雲端的多場景部署。

3月17日週一