跳到正文

#多模態

RSS
今日 3 則
今天11月23日週一
  1. Ant Ling57

    醫療 AI 模型需要看懂影像、整理報告,也要能回答醫療問題。Ant Ling 發布開源多模態模型 LingSante-3.1-air-VL,結合醫療影像理解、報告生成、醫療推理、多模態搜尋與工具使用;模型總引數為 124B,啟用引數為 5.5B。團隊表示,它在 AFUMED-Derm、AFUMED-Report、MIMIC-CXR 和醫療視覺問答的平均成績上,勝過比較的模型 GPT-6.1 Sol 和 Gemini 3.8 Flash;在一般用途評測中,也有部分專案高於這兩個模型。

  2. Dev.to Top Tech57

    用 Qwen3 TTS 和 LTX 2 製作克隆聲音與嘴型同步的說話影片

    要做出會說話的人像,聲音和嘴型得配合在一起。作者把流程分成兩段:先用 Qwen3 TTS 從一段錄音複製聲音,再讓 LTX 2 根據圖片或影片和音訊產生對應的嘴部動作。作者建議先生成完整臺詞,再用這段音訊做嘴型同步,並檢查容易對不準的爆破音和嘶聲。錄音品質會影響複製出的聲音;人物大幅轉頭時,畫面邊緣的同步也可能不自然。

11月22日週日
  1. Dev.to Top Tech51

    DriveSignal 示範如何用眼睛訊號觸發駕駛警示與模擬路邊停車

    駕駛警示系統要怎麼判斷人是真的閉上眼睛,還是隻是眨眼、說話或看向別處?作者做出 DriveSignal 桌面原型,讓使用者先同意開啟鏡頭,再用自己的眼睛資料校準。眼睛持續低於個人門檻時,畫面會分階段警告;若警告持續 5 秒都沒人確認,虛擬車就會亮起警示燈並模擬停靠路邊。使用者也能看見每個判斷的原因和時間。作者提醒,這只是桌面展示,尚未驗證疲勞、嗜睡或行車安全,也不會診斷身體狀況。

  2. Dev.to Top Tech66

    Inkling 2 Mini GGUF 評測:16、24 和 32 GB 裝置該選哪種量化檔?

    在自己的裝置上跑大型模型時,模型檔案只是記憶體需求的一部分,長上下文還會用掉 KV 快取,若要讀圖片也得算上額外檔案。作者整理 Inkling 2 Mini 的 GGUF 檔案大小,並估算不同上下文長度需要多少快取。文章建議,16 GB 裝置可考慮較小的 IQ3 或 Q3 檔案並使用中等上下文;24 GB 裝置可搭配 Q4_K_M 使用 128K 上下文;32 GB 裝置則可選 Q8 檔案,並為圖片功能預留空間。實際需求會隨執行工具如何儲存快取而變動,作者也提醒,可在送出長提示詞後檢視記憶體用量。

  3. Dev.to Top Tech48

    Out of Bounds 用校園搶地遊戲,帶波士頓大學生走出校園生活圈

    很多波士頓大學生熟悉的地方只有校園附近,附近社群的店家、公園和地標卻少有人去。作者在週末做出 Out of Bounds,讓學生到店家和景點打卡,集滿印章就能解鎖社群;打卡可用手機定位確認,也能拍照交給 Gemini 判斷是不是在正確地點。遊戲還把校際競爭搬上地圖:到別校的地盤打卡可拿 2 倍分數,本週印章最多的學校就能佔下該區。這種玩法把探索城市變成一場校園競賽,鼓勵學生離開熟悉的生活圈,認識波士頓不同社群。

  4. Dev.to Top Tech52

    Julian Neagu 打造 3D 血液凝固模擬器,讓你看見血小板如何封住傷口

    課本常用流程圖說明血液凝固,卻不容易看出血小板怎麼堵住傷口。Julian Neagu 做了一個免費的 3D 血液凝固模擬器,開啟網頁就能轉動血管、切開血管壁,觀看紅血球流出、血小板聚整合栓,接著由纖維蛋白絲加固。你也能比較正常血液、血小板偏低、缺少凝血因子、使用抗凝血藥物和較深傷口的情況,並檢視失血量。模擬器也能展示傷口癒合過程;作者提醒,這是教學工具,省略了多種真實凝血細節,不能當作醫療參考。

  5. Dev.to Top Tech42

    Paceprint 用網路攝影機找出適合你的呼吸速度,也會拒絕不可靠的數字

    很多呼吸 App 都叫大家每分鐘呼吸 6 次,但這個速度不一定適合每個人。Paceprint 會用網路攝影機讀取呼吸和心跳,讓你跟著 5 種慢速呼吸節奏練習,再比較心跳和呼吸哪個速度最合拍,也會問你覺得每種速度有多輕鬆。像是作者測出每分鐘 6 次時心跳起伏最大,但心跳和呼吸沒有穩定配合,所以結果只標成「弱峰值」。 如果人移動、光線閃爍,或訊號不夠穩,Paceprint 就暫停測量,說明原因並丟掉那段資料,不猜答案。它是幫人認識自己呼吸習慣的健康工具,不是醫療器材;影片留在自己的電腦裡,也不會送到網路上。

  6. hackernews10062

    Leonida 嘗試讓 Xbox 版 GTA 6 在 Windows 上執行

    想在 PC 上執行 Xbox 版 GTA 6,得先處理主機專用的程式和影像資料。開源專案 Leonida 會用玩家自己的遊戲檔案,在電腦上重新組合程式,並把 Xbox Series 的影像程式轉成 Vulkan 能用的格式。目前已完成著色器轉換,也能匯出部分模型、材質和音訊;但遊戲還無法啟動,也沒有可玩的內容。專案需要 Windows 10/11 和約 350 GB 可用空間,且不附遊戲檔案、金鑰或執行檔。

  7. Dev.to Top Tech81

    Inkling 2 Mini 如何用重複運算,讓 26.4B 引數模型裝進約 20GB

    模型引數多,常會需要更多記憶體;Inkling 2 Mini 用一種重複運算的方法,讓模型可以裝進約 20GB。它會讓中間幾層重複處理同一份資料,因此用同一批引數多算幾次,而不是一直增加新引數。模型共有 26.4B 引數,每個 token 只啟用 3.4B,文章說可在 32GB Mac 上執行。它在 SWE-bench Verified 得到 79.2%,但這些成績來自團隊自己的測試,還沒有獨立重現;文章也提到,不同來源對重複運算的次數說法不一。

    推薦理由:文章以 Inkling 2 Mini 的引數規模、記憶體需求與程式基準比較,說明重複使用部分層如何用更多運算換取較小模型,並交代測試仍來自實驗室。

  8. Dev.to Top Tech70

    如何把文章、圖片、影片和旁白整理成可追蹤的內容工作流程

    文章、圖片、影片和旁白常要在不同工具間來回搬動,容易弄丟背景,也搞不清最後成品用了哪份提示詞。作者建議先把共同簡報整理成資料,再從同一份內容分別產生各種格式,並用一致的工作狀態、版本紀錄和重試方式追蹤進度。這樣影片失敗時可以重試影片,不必重做其他內容;發布失敗也能重試發布,不用重新生成成品。格式轉換等固定工作可交給系統,人則檢查主張、標題、畫面意思和發布決定。

  9. Dev.to Top Tech52

    Calmo 用網路攝影機陪你練習考試或面試前的呼吸

    考試、面試或上臺前容易緊張,但一般呼吸計時器不會告訴你練習有沒有帶來變化。Calmo 用網路攝影機讀取呼吸、脈搏和表情,透過畫面上的呼吸圈帶著你練習,也會依當下資料提供一個可以馬上做的建議。影片在自己的電腦上處理,不會錄下、儲存或上傳;讀數和對話只留在當次使用期間。Calmo 提供的是一般身心放鬆回饋,不會診斷或治療疾病。

  10. Dev.to Top Tech35

    Airloom 用呼吸和脈搏把當下織成一幅畫

    想做一幅畫,卻不會畫畫也沒關係:Airloom 會用相機量到的呼吸和脈搏,慢慢織出一幅圖。呼吸會改變線條的彎曲和散開方式,脈搏則會影響線條排列的節奏;它不要求你照著特定速度呼吸,也不會替你打分。大約收集 90 秒的有效資料後,或你隨時結束時,相機就會關閉。你可以重播作品、替它取名,再存成 PNG。使用時要先同意開啟相機;作品可以留作紀念,但它仍是依個人身體訊號做成的,不能保證匿名。

  11. Dev.to Top Tech61

    Ortho Earth 推出 WebGPU 地球引擎,MapLibre 和 CesiumJS 程式可直接使用

    地圖程式通常要配合不同引擎修改,平面地圖和 3D 地球也常是兩套系統。退休工程師 Kenji Yoshida 做了 Ortho Earth,讓 MapLibre GL JS 和 CesiumJS 的程式只要更換匯入方式就能執行,地圖則一直保持球面;需要平面圖時,可切換成保留各國面積比例的 Equal Earth。作者比對官方範例,MapLibre GL JS 的 137 個範例都能執行,CesiumJS 的 304 個範例也都能執行,但部分畫面和答案與原引擎不同。Ortho Earth 以 WebGPU 繪圖,無法使用時會改用 WebGL2;它也提供 MCP 伺服器,讓 AI 助理查詢檔案與範例測試結果。

  12. Dev.to Top Tech48

    HUSH 恐怖遊戲用玩家的心跳和呼吸引來怪物

    HUSH 是一款每次都會生成不同房子的第一人稱逃脫遊戲。怪物看不清楚,卻會追著聲音找人;玩家得找到鑰匙、開啟出口,還要讓自己冷靜下來。遊戲取得同意後,會透過攝影機和 SmartSpectra SDK 讀取心跳、呼吸、表情和說話狀況,轉成怪物聽得到的聲音:心跳變快、說話或出現害怕表情,都可能讓怪物更靠近;閉上眼睛、躲進櫃子或憋氣則能幫忙藏身。沒有攝影機或 API key,也能用模擬模式遊玩。

11月21日週六
  1. Dev.to Top Tech57

    RyanChenGo 推出可在瀏覽器執行的 Qwen 大型語言模型頁面

    想在瀏覽器使用大型語言模型,又不想每次都連上網,可以看看 RyanChenGo 推出的網頁專案。它目前只能使用 Qwen,提供簡體中文和英文介面;第一次載入模型時,需要連上網路,從 Qwen 或 Hugging Face 下載模型。下載 HTML 後,也能在完全離線的環境使用。專案採用 MIT 授權。

  2. The Verge · AI58

    Chess.com 推出 Classic Games,新增麻將、數獨等 10 種遊戲

    喜歡下棋以外的經典遊戲的人,常找不到像 Chess.com 這樣有玩家社群的平臺。Chess.com 推出 Classic Games 公測,新增西洋棋以外的 10 種遊戲,包含麻將、數獨、圍棋和將棋,玩家可依遊戲選擇和其他人或機器人對戰,也能使用教學、排行榜和評分系統。Chess.com 表示,團隊用 AI 加快程式開發,並沿用原有的程式架構和設計系統;美術與介面設計則由人負責。

  3. Dev.to Top Tech67

    Long Exposure 把脈搏與呼吸變成會律動的銀版肖像

    一般相機會拍下人的樣子,Long Exposure 則用 SmartSpectra SDK 讀取臉部輪廓、脈搏和呼吸,做出不含照片的銀版肖像。坐在鏡頭前約一分鐘,臉部線條、心跳帶來的明暗變化和呼吸帶動的起伏會依序出現;翻到背面,還能檢視訊號讀值和拍攝紀錄。若說話、移動、光線太暗或有第二張臉入鏡,工作室會暫停或結束拍攝並說明原因。作者表示,畫面不會儲存相機影像,肖像和身體訊號只留在記憶體中,直到使用者重新開始或離開工作室。

  4. Hugging Face Transformers Releases66

    Hugging Face Transformers v5.24.0 加入多種模型支援並調整快取名稱

    要在 Transformers 裡使用新模型,或讓不同模型共用一套程式,開發者常得處理各自不同的介面。v5.24.0 加入 Inkling 2 Mini、Apertus 1.5、Dory 和 Omnilingual ASR 等模型支援,也把原本依模型而異的 past_key_values 和 cache_params 統一改叫 cache;舊名稱目前仍可使用,但會出現棄用提醒。這次更新也修正了文字串流在中文、日文和韓文內容中可能漏空格或變慢的問題。

    推薦理由:Transformers v5.24.0 一次加入多種模型支援,也統一了快取名稱;更新內容能幫開發者掌握新模型接入與舊程式需要調整的地方。

  5. The Decoder77

    Thinking Machines 推出 Inkling 2 Mini,讓模型多想幾步也少寫文字

    有些模型得寫出更多文字才能多做推理,Thinking Machines 推出的開放模型 Inkling 2 Mini,改用重複運算部分層的方式,在不多生成文字的情況下延長內部推理。它能處理文字和圖片,並可在記憶體至少 32 GB 的 Mac 上本機執行。Artificial Analysis 的 Intelligence Index 給它 20 分,與 Qwen3.8 27B 同分;Thinking Machines 表示,它在程式開發測試中也有不錯的表現。

    推薦理由:Inkling 2 Mini 透過重複運算部分層來延長內部推理,文章也比較了它在程式測試、速度與成本上的表現。

  6. 雷科技52

    雷科技分析 OSTA O1 Pro 的高價定位與 AI 手機路線

    OSTA O1 Pro 和華為 Pura X View 用了相近的核心硬體,但首發價格已接近 Pura,讓不少人質疑它為什麼不賣便宜一點。雷科技認為,華為想讓 OSTA 星芒走出不同路線,把 AI 互動放到手機操作的核心,而不是隻做更便宜的 Pura。文章也拿 FreeClip 作比較:當年高階耳夾耳機選擇少,現在 AI 手機已有不少競爭者,OSTA 星芒還得讓人看出自己的特色。它的闊直板設計能否找到長期需求,也會受到其他品牌跟進影響。

  7. Dev.to Top Tech53

    RoadMate 用手機鏡頭偵測駕駛疲勞,並以語音提醒休息

    開車時疲勞可能慢慢累積,駕駛人不一定會及時察覺。作者做了 Android App RoadMate,利用手機前鏡頭觀察閉眼、視線偏離和疲勞狀況,也透過 Presage SmartSpectra SDK 顯示脈搏、呼吸和 HRV;需要提醒時會先響鈴,再用語音警告,情況持續才發出警報。RoadMate 也能在長時間駕駛或疲勞加重時建議休息,並提供休息站搜尋。作者表示,影片不會存進手機或由 RoadMate 上傳,測量資料只保留在當趟行程期間;這是一種健康與駕駛狀況提醒工具,不能取代休息或醫療判斷。

  8. Dev.to Top Tech54

    研究:VLM 微調中的隱藏偏好會傳到學生模型

    視覺語言模型可能在看似無關的任務中,表現出訓練資料偷偷帶入的偏好。這項研究先用藏有動物偏好的資料微調教師模型,再把教師模型產生的內容用來訓練學生模型;結果,學生模型在選擇偏好動物時,比對照組更常選中目標。在一項幾何圖形測試中,對照組選中的比例是 30.50%,偏好組則是 40.42%。研究顯示,這種偏好可能跟著蒸餾傳下去,但影響幅度會隨資料量、偏好目標、模型和資料產生方式而變化。

  9. 少數派 (sspai)38

    鴻蒙高校創新賽的學生團隊,想用 AI 助理解決生活中的真問題

    做出能在生活中派上用場的產品,光讓 AI 回答問題還不夠,還得照顧使用者真正遇到的麻煩。鴻蒙高校創新賽的學生團隊把點子做成應用:山東大學團隊用觸覺點陣幫視障者摸出前方障礙;北京工業大學團隊用床墊感測器檢視臥床長者的姿勢,協助護工交班;另有團隊讓長輩用語音和家人聯絡,也幫年輕人整理衣櫃、找衣服。這些作品提醒我們,AI 助理能幫忙整理資訊,但在照護等重要事情上,仍要讓人確認每一步,技術才真的靠得住。

  10. Dev.to Top Tech76

    Gemini 4 Hydrogen 和 GPT-6.1 Terra 評測:Hydrogen 在 9 項共同基準中贏了 8 項

    挑模型時,分數較高的選項也可能比較貴,而且公開測試不一定符合自己的工作。作者比較 Gemini 4 Hydrogen 和 GPT-6.1 Terra 在 Google 模型卡上都有分數的 9 項基準,Hydrogen 贏了 8 項,Terra 則在科學類終端機測試勝出;這些結果由 Google 執行,兩款模型的測試條件可能不同。依文中列出的標準 API 費率,輸入 2,000 萬、輸出 500 萬 token,每月費用分別是 $67.50 和 $45.00。文章建議用自己的工作測試分數、費用和成功率,再決定怎麼選。

    推薦理由:文章把兩款模型的公開基準分數、每百萬 token 費用與月用量試算放在一起,呈現選擇時效能和成本的取捨。

  11. Dev.to Top Tech70

    Duo v1 評測:為什麼建議從 distill-quant 權重開始

    想測試能邊聽人說話、邊生成影音的 Duo v1,得先準備多 GPU 伺服器,也要確認權重授權是否適用。作者比較了四組權重,建議實驗時先用 47.0 GB 的 distill-quant;它還依賴 153.5 GB 的 causal base,兩者都要下載。論文的參考串流設定使用一臺配有八張 GPU 的伺服器,沒有提供單張消費級顯示卡的支援。作者列出的每段延遲是 330 到 650 ms,但這不是使用者看到第一個畫面的完整等待時間。程式碼採 Apache-2.0,權重則使用另一種授權,排除歐盟、英國、南韓和美國;商用前應先讀清楚授權條款。

  12. Dev.to Top Tech61

    Haru-4B 新手指南:這款模型能邊聽邊說多種語言

    一般語音模型多半是聽完再回答,Haru-4B 則設計成一邊接收語音、一邊產生語音和文字,每秒處理 7.5 個音訊片段。它支援英文、中文、日文等 9 種語言,也能依角色設定和參考聲音進行對話;使用者要自行提供有權使用的單人語音片段。Haru-4B 是研究用的預訓練模型,不是可靠的查資料或照指令辦事的 AI 助理,也沒有提供基準測試結果。

  13. Dev.to Top Tech38

    Hot Ones 生理資料闖關:用 AI 助理和鏡頭判斷挑戰者有沒有硬撐

    吃辣時,有人嘴上說「一點也不辣」,臉上也可能故意裝鎮定,單看錶情不一定看得出來。這個作品把網路攝影機變成即時生理狀態偵測器,讓 AI 版 Sean Evans 一邊訪問挑戰者,一邊觀察心跳、呼吸和臉部表情;挑戰者吃辣或喝湯時會暫停生理資料判讀,避免咀嚼和動作幹擾。 作者用 Conan O’Brien 等 15 位《Hot Ones》來賓的影片做排行榜,也拿 SNL 裡吃沒加辣椒道具雞翅的 Maya Rudolph 當對照:她的臉看起來很驚慌,但心跳只增加 4 BPM。這個例子說明,只看表情可能會把演戲當成真的;加上心跳和呼吸等變化,才比較能看出身體是否真的受辣椒影響。

  14. Dev.to Top Tech39

    用手機相機看懂韓國選單、標示和通知的實用方法

    在韓國旅行時,選單、店門通知和藥袋可能只有韓文,光靠看圖片很難知道內容。作者做了免費 Android App Photo Read,拍下文字後就能翻成韓文、英文、中文或日文,也能按一下聽翻譯;下載過語言檔後,沒網路也能使用,照片不會上傳。代價是第一次使用某種語言要先連網下載,而且手機上的翻譯模型沒那麼大。拍照時把文字拍清楚、讓手機平行對著紙張,一次拍一小段會比較好辨認;數字和短句通常較可靠,長句則可能被翻得不夠準。

  15. Dev.to Top Tech42

    如何打造即時語音翻譯 App

    出國和人聊天時,常得先聽懂對方說什麼,再想辦法翻譯,對話容易卡住。這篇教學示範怎麼把語音辨識、翻譯和文字轉語音接在一起:Deepgram 把麥克風錄下的話轉成文字,Google Translate 翻成目標語言,再由 ElevenLabs 念出來,也能讓譯音聽起來像原本說話的人。像是把一句話翻成韓文後,App 就能播放韓文語音。這個做法能當作原型,開發者也可以用串流 API 減少等待時間。

  16. AWS Machine Learning Blog78

    Amazon SageMaker HyperPod 推出跨叢集與跨區域的單一推論入口

    模型服務分散在多個叢集和區域時,流量可能塞在忙碌的叢集,其他地方的 GPU 卻閒著;叢集故障時也得手動改設定。AWS 推出 Amazon SageMaker HyperPod Global Inference Gateway,讓使用者端只呼叫一個入口,服務會依 GPU 記憶體與 KV cache 餘裕、排隊情況、區域遠近和錯誤率,把請求送到合適的叢集。若叢集故障,流量會自動切換;請求透過 AWS PrivateLink 傳送,並以 SigV4 和 IAM 驗證。每個叢集原有的 Inference Gateway 仍負責把請求送到模型。這項服務已在 13 個 AWS 區域推出。

    推薦理由:這項更新把多個叢集的模型服務整合到單一入口,並說明如何依負載與錯誤狀況分配流量及自動切換,適合瞭解跨區部署的管理方式。

  17. Dev.to Top Tech72

    Picsart Platform 用一個 API 串接 250 多種創作 AI 模型

    開發者要在 App 加入圖片或影片生成,常得分別串接不同服務、管理多組 API 金鑰,也要在換模型時重寫程式。Picsart Platform 把 250 多種圖片、影片、音訊和文字模型放進同一個平臺,開發者可透過 REST API、命令列工具、測試頁面或 MCP 伺服器使用,還能搭配 Picsart 自家的圖片編修功能。文章提醒,正式公告沒有列出各模型的完整清單、每次生成的價格或流量限制,作者也沒有實際測試;因此目前適合先試用,再確認費率和限制後評估是否採用。

  18. Ars Technica · AI64

    Google 改版搜尋首頁,加入 AI 對話紀錄並拿掉搜尋按鈕

    Google 搜尋首頁改版後,把更多 AI 功能放到搜尋框下方,也拿掉了原本的「Google 搜尋」按鈕。使用者可以從首頁選擇圖片生成、檔案分析,或用 Gemini 腦力激盪;登入 Google 後,左側還會顯示最近的 AI 對話,也能在搜尋結果頁開啟,方便接著先前的搜尋繼續查詢。作者認為,少了搜尋按鈕影響不大,因為輸入問題後按 Enter 就能搜尋;但 AI 功能變得更醒目,也顯示 Google 正把搜尋介面逐步轉向 AI。

  19. MIT News · AI42

    MIT-IBM 研究團隊如何讓多模態 AI 更懂聲音、影像和語言

    人聽到鳥叫、看到畫面時,常能把聲音、影像和語言連在一起;多模態 AI 看起來也會,但有時其實沒聽懂,只是在猜答案。MIT-IBM 研究團隊用少量標註資料訓練模型,並設計測試方法找出這些問題。例如,選擇題問音訊裡是哪種動物在吼,有些模型就算只聽到隨機雜音也答得不錯,表示它可能只看選項猜,沒有仔細聽。團隊正設法讓模型更注意聲音,也研究讓 AI 助理能一邊聽、一邊說話,讓對話不必僵硬地輪流發言。

  20. Dev.to Top Tech78

    Clairic-Flash 如何在本機執行,以及 RTX 3090 和 4090 為何跑不動官方版本

    想在自己的電腦上用 Clairic-Flash 擷取檔案資料,可能會遇到顯示卡不合和量化版本少了功能的問題。作者整理了官方執行方式,以及 RTX 3090、4090 和 Apple Silicon 的替代路徑:官方執行環境會在 RTX 30、40 系列的顯示卡上因架構限制失敗;社群修正版可讓 3090 使用 BF16 或 int4,但測試中的發票加總與付款期限仍有錯誤。Apple Silicon 的 4-bit 版本較省記憶體,卻可能看錯數字;若要擷取重要發票欄位,作者建議選用較高精度。一般 GGUF 版本則缺少 Clairic 的部分專用功能。

    推薦理由:文章對照官方執行環境、社群量化版本與不同硬體的記憶體需求,也指出各路徑會失去哪些欄位,能幫助讀者評估本機部署是否適合自己的資料流程。