AuraFlow AI 把呼吸訊號變成會跟著節奏變化的發光球體
呼吸和心跳平常只會以數字呈現,不容易直接感受到自己的身體節奏。AuraFlow AI 是一款桌面健康體驗,透過攝影機和 Presage SmartSpectra SDK 讀取人體訊號,再用發光球體和海洋畫面呈現。當系統取得有效的呼吸資料,球體會跟著呼吸逐漸變大、變小;有效的脈搏、心率變異和訊號品質也會顯示在畫面上。沒有有效資料時,程式會留白,不把模擬數值當成真的。它讓人用畫面感受呼吸節奏,但不是醫療工具,不能用來診斷或治療。
呼吸和心跳平常只會以數字呈現,不容易直接感受到自己的身體節奏。AuraFlow AI 是一款桌面健康體驗,透過攝影機和 Presage SmartSpectra SDK 讀取人體訊號,再用發光球體和海洋畫面呈現。當系統取得有效的呼吸資料,球體會跟著呼吸逐漸變大、變小;有效的脈搏、心率變異和訊號品質也會顯示在畫面上。沒有有效資料時,程式會留白,不把模擬數值當成真的。它讓人用畫面感受呼吸節奏,但不是醫療工具,不能用來診斷或治療。
自己練習《古蘭經》誦讀時,很難發現有沒有在不該換氣的地方吸氣。開發者做了桌面程式 Saktah,使用攝影機觀察說話動作和胸腹呼吸訊號,不會收聽聲音;如果在一句誦讀還沒結束前吸氣,畫面會標出位置,讓使用者重試。練習前要先跟著提示慢慢呼吸,讓程式調整偵測方式。作者也提到,轉頭可能讓嘴唇追蹤失準,程式會要求重試;目前只用作者自己的誦讀資料調整過。
Claude 和 ChatGPT 都不能只靠 YouTube 連結播放影片;它們頂多從網路搜尋找到標題、說明或相關文字,未必知道影片實際說了什麼。若影片有字幕,可以加上連線工具,讓 Claude 讀取逐字稿;ChatGPT 則可使用自訂 MCP 外掛,或直接貼上逐字稿。像演講、教學和訪談,逐字稿通常就能涵蓋重點;如果答案藏在畫面上的圖表或操作步驟,還得提供影片截圖。文章也提到,Gemini 能讀取公開影片,NotebookLM 則可把影片連結加入資料來源。
錄製短片旁白或 Podcast 開場時,自己錄音常是最花時間的一步。作者分享用瀏覽器文字轉語音的做法:把稿子貼進 TextToSpeechLab,試聽幾種聲音後選一個,再在適合換氣的地方加停頓。若句子自己念起來會卡,就先改短;匯出的聲音也要用手機或車內喇叭聽一次,確認聽起來是否自然。作者說,60 秒的稿子從頭到尾大約花 5 分鐘。
開車時不方便操作手機,想用 AI 助理聊天或查資料也容易分心。Google 將 Gemini App 帶進 Apple CarPlay,iPhone 車主連上車機後,可透過 Gemini Live 語音對話,也能接著上次的聊天繼續。它還能讀取 Google Workspace 資訊,協助整理未讀郵件、檢視行程或口述簡短回覆;聊天紀錄會同步到手機。使用前,Gemini App 必須更新、開啟麥克風許可權,而且要先在手機上成功使用過一次 Gemini Live。
llama.cpp 這次加入 Fish Audio S2 支援,也加入聲音複製功能。更新內容還提到改用新的 batch API;簡單來說,這次更新讓 llama.cpp 多了支援這款音訊模型和複製聲音的能力。
推薦理由:LongCat-Video-Avatar 1.6 在 33,051 張投票的偏好評比中排名第二,也主打改善長影片延續時的角色一致性,提供了比較表現與長片能力的參考。
操作 PLM、SRM、ERP 這類工作軟體不熟時,新工程師可能得花不少時間找按鈕、填資料;打字也不一定方便。Buddy v1.2.0 可以用語音帶著使用者一步步操作,或直接替使用者點選,也能把說的話輸入郵件、聊天和表單等應用程式。它支援離線語音輸入,可在本機模型上執行,並能依個人用語修正辨識結果、移除「嗯」和「呃」,也能照口頭更正修改文字。工具開放原始碼,免費版每週可輸入 2,000 個英文單字,超過後需付費。
大型模型回覆再快,通話工具也可能先卡在聲音進電腦的路上。Alibaba Cloud 在 11 月 16 日推出 Qwen4-Max,模型有 2.4T 個引數,但每個 token 只啟用 71B;它支援圖片,並提供 1 million token 的上下文視窗。文章也指出,Windows 共用音訊模式可能多出 10–40+ ms 延遲,而專用模式在裝置支援時可降到十多毫秒。Talkaside 的雙軌 WASAPI 做法會分開收錄對方聲音和本機麥克風,讓即時語音辨識與處理更順。
推薦理由:文章把 Qwen4-Max 的雲端推論成本與 Windows 即時音訊流程放在一起看,說明錄音擷取延遲也會左右通話工具的反應速度。
用線上會議筆記工具時,錄音可能會傳到雲端,也可能需要付月費。開發者做了 Parla,讓 Windows 電腦直接收錄麥克風和系統聲音,不必讓機器人加入會議;它能即時轉錄 25 種歐洲語言、分辨說話者,也能在畫面上即時翻譯。使用者可以按需要請它整理重點、決定事項和待辦工作,還能匯入音訊或影片並匯出 Markdown。模型只需在設定時下載,之後可離線使用;整套工具以 CPU 運作,作者表示 8 GB 記憶體就能使用。
日語對話常省略句子的主詞,也會依物件改變用詞,讓 AI 要自然接話並不容易。ElevenLabs 宣佈收購日本語音 AI 團隊 Kotoba,盼結合雙方研究,改善日語語音技術,並讓 AI 助理更自然地處理日文對話。Kotoba 的語音模型 Koto 可將文字轉成語音、將語音轉成文字,也能支援同步口譯;Salesforce 已用它支援 Agentforce Voice 的日語對話。收購預計在 2026 年第四季稍晚完成,仍須取得一般監管核准並符合交割條件。
推薦理由:Kotoba 加入 ElevenLabs 後,雙方將結合語音研究與日本市場經驗,推進能理解日語對話與在地社會習慣的 AI 服務。
讓 AI 助理打電話替人詢問事情,常會卡在電話選單、被誤判成無人接聽,或還沒問問題就被結束通話。Arogo 作者實際打了 26 通電話,其中 12 間商家回答、9 間結束通話,另有 5 間聯絡不上。他替助理加上等待時保持安靜的做法,也依通話紀錄區分結束通話和沒接通,避免短時間重複打給同一間商家。開場則縮短成先說明自己是 AI,再立刻提出問題;作者提醒,目前通話數還不夠,無法確定新開場能否留住更多人。
經營不露臉的 YouTube 頻道,該用 ElevenLabs 配音,還是請真人配音員,更新多少影片才划算?作者用每支約 10 分鐘的影片估算用量,再比較 Creator、Starter 和免費方案,以及 Black Friday 年費和月付價格。以 Creator 特價年費 $99 計算,對比每支 $50 的真人配音,兩支影片就能回本;但若每月只做兩支,Starter 一年 $60 更省。Creator 要比 Starter 划算,得每月持續做超過三支影片至少五個月。點數每月到期,第二年 Creator 會續收 $220;若頻道需要表演感,或還不確定會不會持續更新,作者建議先考慮真人配音或月付。
有些公司收到的銷售名單太多,人手打不完電話;Tone 想用 AI 語音助理補上這個缺口。Jordan Belfort 說,Tone 不只模仿人聲,也會用提問或放低聲音等說話方式,讓對話更有說服力;例如介紹健康保險時,它能詢問需求和預算、推薦方案,也能在客戶嫌價格太高時改談提高自付額。Belfort 表示,Tone 已服務法律事務所、健康保險公司等客戶,但目前效果還比不上頂尖銷售員;公司也說只會打給同意接聽的人或既有客戶。
Autotorino 每月會接到約 100,000 通電話,過去的錄音留言只能處理少部分來電。現在,ElevenAgents 會接聽電話、瞭解顧客需求並建立銷售線索,也能全天候接電話。電話內容經整理後,Autotorino 發現約 70% 的需求和售後服務有關,常見的是預約保養或安排交車;新系統處理的來電量也超過舊系統的 2 倍。Eleven v4 讓同一個聲音聽起來更自然,顧客也比較容易得到服務,Autotorino 因此計畫從 11 月起,先在第一間分店用 ElevenLabs 語音 AI 助理取代 IVR 系統。
Samsung 和 Google 推出內建 Gemini 的智慧眼鏡,主打不用拿出手機,就能用說話的方式詢問眼前景物、聽翻譯或導航。眼鏡沒有鏡片顯示畫面,靠相機、麥克風和耳邊喇叭工作,售價從 $395 起,預計先在美國和南韓販售。Samsung 表示,錄影時會亮起指示燈,Gemini 透過相機取得的影像不會用於訓練模型或投放廣告;不過語音請求沒有相同說明,指示燈防遮蔽功能也尚未經獨立測試。對開發者來說,目前還沒有公開 SDK 或 API,文章建議留意 Android XR,並思考如何設計簡短、適合用聽的語音互動。
Google 列出的 5 個 Gemini 語音預覽模型,最快從 11 月 17 日起停止服務;「最快」代表之後任何一天都可能停用,不一定會再另外通知。受影響的模型包括 TTS 語音模型和 Live 即時語音模型,文章也列出可改用的新版模型,例如把 TTS 改成 gemini-3.8-flash-tts,Live 改成 gemini-3.8-live。換好後要實際聽聽語音,也要完整測試一次 Live 對話,因為聲音、說話節奏、發音和原本的連線設定可能不同。
雙語音檔若只能在特定 App 裡播放,使用者就得依賴它的播放器和同步功能。作者選擇直接輸出 MP3,讓檔案能在手機、車用音響和其他播放器上播放,也省下製作播放器的工作。他把檔名排好順序,並設定兩種語言之間約 350 毫秒、句對之間約 900 毫秒的停頓;調整音量時,也讓每組句子共用同一個設定。這些做法讓檔案更容易整理和重製。不過,小說句子不一定能自動對齊,作者表示長尾情況仍需要人工檢查。
PS4 只有 8GB 共用記憶體,要在主機上離線執行 9-billion-parameter 模型並不容易。開發者 Leonardo Alegría 做了開源程式 Garlic LLM,讓安裝 GoldHEN 的越獄 PS4 直接使用主機 GPU 執行 Qwen3.5-9B;透過縮小模型權重,文字聊天速度約為每秒 31 至 39 個 token,程式碼最多每秒 43 個 token。它也能用語音交談和聽寫,但語音聊天約每秒 22 個 token。這些速度是開發者公佈的數字,文章沒有提供提示詞或測試方法;PS4 Pro 尚未測試,PS5 也不支援。
Voice AI 很快就能接上電話,也能用自然的聲音回答問題,但只會照著常見問題回答,遇到「我的退款到哪了?」這種問題就幫不上忙。要替客戶查帳單、改訂單或更新資料,AI 助理得先確認客戶身分,再連上即時資料庫處理事情。文中提到,61% 的公司靠 Voice AI 降低客服成本,但只有 13% 把它用在多種客服情境;關鍵差別是有沒有接上公司的 CRM、帳單和訂單資料。資料查詢也要夠快,API 最好在 300 毫秒內回覆。企業還得讓客戶需要時能順利轉接真人,並看問題是否真的解決,而不是隻算接了幾通電話。
飯店櫃檯在入住尖峰時可能忙到漏接電話,房客想提出需求,也不一定想打電話下樓。VoiceQR Hotels 在每間客房放一個 QR code,房客掃描後說出需求,例如多要毛巾、延後退房或冷氣壞了,內容就會變成櫃檯共用收件匣裡的一張待辦單,員工可以一路追蹤到完成。房客不用安裝 App,飯店也不用更改 PMS 或添購硬體;可先在 10 間客房免費試用 2 週,不用提供信用卡。
電話裡的語音 AI 若等整句轉錄完成才回應插話,可能會繼續播放,蓋過來電者的聲音。作者分享一套開源 RTP 實驗,直接按電話常用的 20 毫秒音訊片段處理,並用聲音偵測先判斷是否有人插話,立刻清空待播放的語音;完整轉錄則稍後再交給大型語言模型。文中指出,快速處理約需 50–60 毫秒,清空播放緩衝區約需 0.16 毫秒,讓電話語音 AI 有機會更快停下來聽人說話。
錄音裡有風扇聲這種固定背景音,和鍵盤聲、狗叫或別人說話這種忽大忽小的聲音,適合的降噪方式不一樣。固定噪音可以先用 Audacity 錄下「只有噪音」的一小段,再減掉類似聲音;神經網路降噪工具比較能處理混在一起的雜音,但開太強可能讓人聲變薄、發空,聽起來不像本人。文章介紹的 EraseNoise 可以先免費試聽自己錄音的 30 秒,確認說話有沒有變清楚,再決定是否處理整份檔案;測試中,風扇、交通聲和摩擦聲改善較多,說話聲底下的打字聲則幾乎沒變。若試聽後人聲更難聽,保留原音或重錄會比較好。
llama.cpp 的 b12426 讓 mtmd 支援 Higgs v3 和 VibeVoice-ASR,並加入讀取媒體資訊的工具。這次更新也提供多種系統與硬體環境的版本,例如 macOS、Linux、Android 和 Windows,可搭配 CPU、GPU 或 NPU 使用;想用語音辨識功能的人,可以留意新增的 VibeVoice-ASR 支援。
llama.cpp b12424 加入 zonos3-mini,讓模型可以產生語音,也改善聲音複製、預設聲音設定和播放速度。這次更新也增加文字整理功能,並提供多種系統與硬體版本,例如 macOS、Windows、Linux 和 Android;實際可用的版本會依裝置和顯示卡或晶片而不同。
想讓模型固定角色長相或學會一個動作,通常得先訓練 LoRA;RefMod 則把參考圖片、影片或音訊做成可載入的檔案,在模型推論時使用。AI-KSK 示範了角色、打鬥動作、聲音和場景等用法,也把套用參考素材和輸入文字描述分成兩個步驟,方便各自調整。文中觀察到,角色樣貌、動作和場景能保留參考內容;聲音雖能帶出音色,也可能跟著原音訊的說話節奏。作者建議先用 RefMod 做出大致結果,有需要時再用短版 LoRA 修整。
AI 語音常把名字唸錯,像是把「Dada」唸成「Dah-dah」;名字拼法少見、帶有其他語言的口音時,或是和常見單字拼法相同時,都更容易出問題。Cirrela 把名字留成影片指令碼中的空格,等製作影片時再填入;家長也能按照發音拼寫名字。若成品還是唸錯,可以免費改一次拼法並重新製作,但不能改成另一個名字,例如「Mael」可以改成「Maël」,「Léa」則不能改成「Lou」。家長付款前能先免費觀看有浮水印的完整影片,確認名字唸得對不對。
AI 助理就算能正常接電話,如果問候聽起來太正式、句子像從別種語言逐字翻來,客人還是會覺得不對勁。Sarah 的說話方式是靠一句句修改出來的:從打招呼、確認姓名和地址,到聽不清楚時怎麼再問,都會實際聽過,確認電話裡說起來自然。對魁北克的小商家來說,用客人熟悉的說法接電話,能讓人感到被理解、受到重視,也更願意留下聯絡方式或說清楚需求。
想把訊息送到遙遠的星球,除了用電波,能不能也用歌曲?Planet Symphony 做了一套傳送與接收方法:先選音調和音階,把文字依規則編成旋律,再讓接收端辨認音符、還原文字。只要接收端沒有漏掉音符,原訊息就能零錯誤解碼。為了讓旋律聽起來像音樂,團隊挑選同一音階裡的音符,也加入根音和長短不同的音符節奏。這個專案提醒我們,傳資料不一定只追求快,也能慢下來,用好聽的方式傳送。
一般語音 AI 會先把通話轉成文字,再交給語言模型處理,容易忽略語氣、停頓和背景聲音。Bland 推出 Tofu-1,讓模型直接聽取並用語音回應,也能在說話時繼續處理請求,讓來電者插話或更正。它主打分辨說話者、降低背景噪音幹擾,以及聽出猶豫或急迫等語氣。產品目前只開放給少數企業試用;Bland 尚未公佈模型規模、延遲或價格。
多人視訊時,如果每個人的手機都要把自己的影音一份份傳給其他人,網路和電力很快就會吃不消。Slyber SFU Server 會先收下一份影音,再把資料轉送給房間裡需要的人,不必自己解開或合成畫面;網路變差時,也能只替那位觀眾切換成較省網路的畫質。像是 30 人通話時,系統可以暫停沒說話者的鏡頭,等他開口再恢復。它也能接上 Gemini Live 或 OpenAI Realtime API,讓 AI 助理加入語音通話,並支援 OBS Studio 直播。
教育影片常把重要資訊放在圖表、標籤和示範畫面裡,視障或低視能的學習者光聽老師講解,可能還是不知道畫面上發生什麼事。SeeHere 是一個無障礙專案:它會找出課程影片中值得說明的畫面,用 Gemini 理解內容,再用 Tesseract OCR 讀取圖上的文字,接著安排語音描述出現的時間,避免蓋過老師講課,最後把文字轉成語音並和影片同步。比如影片出現葉綠體圖時,語音可以補充圖中的構造和彼此關係。這套做法希望讓學習者更容易掌握影片中的視覺資訊;描述是否準確、時機是否合適,仍有改善空間。
即時翻譯覆蓋層就算很快產生語音,仍可能因 Windows 收音和播放的延遲而慢半拍。作者以 ZONOS3-Mini 為例,指出它能在文字準備好後快速開始說話,但麥克風與通話另一方的聲音若混在一起,辨認和回覆就更難掌握時機。做法是分開擷取本機麥克風和遠端聲音,並讓音訊回呼只負責快速複製資料,辨認語音、轉換格式和顯示畫面則交給其他執行緒。文章也比較共用模式、獨佔模式和藍牙 HFP 的延遲與使用限制,說明整套流程是否即時,還得看音訊路徑。
想找一款輕巧、原生的聽寫 App,作者試了幾種工具後,決定自己動手,最後做出能在 macOS、Windows 和 Linux 使用的 Wavo。它可在電腦本機把語音轉成文字,也能用不同的語音辨識模型;作者測試後發現,速度會因電腦和顯示卡而不同。為了讓 App 更容易打造和發行,他還做了 nimbo 桌面介面程式庫,以及能跨平臺製作安裝檔和自動更新的 shipo。這段經驗也讓他發現,讓程式在不同系統上安裝、更新和正常運作,需要花上不少工夫。
做字幕影片時,語音辨識、預覽和影片輸出可能各自使用不同的時間,讓字幕出現得太早或太晚。作者分享 Karaoke Captions 在瀏覽器內處理影片的做法:先把音訊轉成 Whisper 能讀的格式,再整理每個字的時間,並讓預覽和輸出共用同一套字幕繪圖方式,最後把字幕畫進影片並輸出 MP4。成品也能另存 SRT 或 VTT 字幕檔;作者提醒,這些格式只包含文字和時間,不會保留影片裡的字幕動畫。
自動撥號系統得能控制通話流程、儲存結果,也要避免把電話打給未同意聯絡的人。作者用 Python 和 FastAPI 說明一套架構:先檢查聯絡名單與設定,再由背景工作程式負責撥號,並用明確的通話狀態讓操作畫面顯示進度。電話接通且符合許可條件後,語音辨識、語言模型和語音合成才會依序處理對話;通話結果、逐字稿和後續待辦則寫回 CRM。文章也說明,可用試跑模式測流程,並提醒以瀏覽器操作電話服務不等於使用官方電話 API,實際外撥還要遵守當地的同意規定、勿撥名單與通話時段限制。