PyTorch 為 NIXL 傳輸加入對端通知功能
使用 NIXL 傳送資料時,程式需要知道傳輸何時完成,才能接著處理。這次 PyTorch 更新加入對端通知功能:讀取或寫入資料時可以附上通知,接收端會在傳輸完成後收到;也能查詢或等待通知。通知內容上限是 4 KiB,零位元組傳輸不能附帶通知。由於 NIXL 1.5.2 的 UCX 傳輸要等發起端檢查傳輸才會送出通知,而且 NIXL 無法主動提醒有新通知,這項更新會在背景輪詢傳輸和通知。
使用 NIXL 傳送資料時,程式需要知道傳輸何時完成,才能接著處理。這次 PyTorch 更新加入對端通知功能:讀取或寫入資料時可以附上通知,接收端會在傳輸完成後收到;也能查詢或等待通知。通知內容上限是 4 KiB,零位元組傳輸不能附帶通知。由於 NIXL 1.5.2 的 UCX 傳輸要等發起端檢查傳輸才會送出通知,而且 NIXL 無法主動提醒有新通知,這項更新會在背景輪詢傳輸和通知。
有些 Mac 影片播放器用起來像從別的平臺搬來的,還塞了不少用不到的功能。Walter Nong 因此做了 SilkPlayer:開啟影片就能播放,不用設定、帳號或看廣告,也不會加浮水印。它能播放 4K、8K 影片,也支援 HDR、Dolby Vision、無損音訊和字幕自動載入;滑過播放進度條時,還會顯示影片縮圖,方便找到想看的片段。播放器本身免費,作者也表示會一直免費;可播放家中網路電影庫的 Pro 版仍在測試中。
只給設計系統一個品牌色,不代表排出的每個色階都能讓文字看清楚。TaishoDS Core 會先設定每個色階和背景要有多少對比,再計算相應的顏色;深色模式也會依自己的背景重新計算,並保留原本的品牌色。作者用 4,096 個起始顏色測試,今天的版本中,每個色階上的文字對比都至少有 4.63,高於 WCAG AA 要求的 4.5。文章也指出,品牌色若落在文字不易讀的區間,系統會把它移到較合適的位置;正在開發的 0.17 版會同時檢查文字與背景的對比,並讓使用者選擇是否保留原色。
用 Python 做現代網頁時,常會想讓前端和後端配合得順手,也希望效能有實際數字可以檢查。Nexy 是一套開源的 Python 全端框架,能把 Python 邏輯和畫面寫在同一個 .nexy 檔案裡,再由 Nexy 編譯;React、Vue、Svelte 等前端元件也能透過有型別檢查的介面呼叫 Python 動作。它還提供不同的路由方式,以及伺服器或瀏覽器端的頁面呈現選項。作者放了部落格、筆記 App 和商店等範例,希望大家試用後回饋哪裡清楚、哪裡容易困惑。
訪談時,光聽說話內容不容易看出說話者當下有哪些動作變化。Baseline CogniSync 會把語音轉成一段段文字,並配上同一時間拍到的眨眼、頭部方向和心跳等資料,方便之後一起檢視。例如,它會記下某段回答時的眨眼頻率,也會依頭部偏移方向標記分類;超過 ±0.22 的門檻才會算成特定方向,避免細小晃動被誤判。這些紀錄可用來觀察說話時的變化,但作者也說,工具不會判斷一個人是否說謊、真正想什麼或處於什麼心理狀態。
客服 AI 助理可以幫忙分類訊息、草擬回覆,但看起來合理的答案不一定適合直接寄給客人。這個 n8n 示範會處理阿拉伯文和英文訊息,把問題分流、比對常見問答,再準備一份回覆草稿;遇到需要人判斷的內容,也能轉交人工處理。Gemini 負責主要工作,Groq 則是預先設定的備援模型。示範沒有開啟 Gmail、Telegram 或 WhatsApp 的實際寄送功能,因此只能展示如何協助客服整理和審核訊息,不能證明它已能安全地自動回覆客人。
想知道在哪個州成立 LLC 比較便宜,常得一個州一個州查政府網站,而且網路上的費用表可能沒有來源。Zylar 查閱各州官方資料,整理出美國 50 州和華盛頓特區的費用資料;每筆都附上來源網址,查不到的細節會標明待確認,不會用猜的。資料可以下載成 CSV 和 JSON,例如 Montana 的申請費是 $35,Massachusetts 則是 $500,中位數為 $100。不過申請費低不代表長期花費低,還得留意每年費用和公告要求;像 California 每年約需 $810,Arizona、Nebraska 和 New York 則要求刊登公告。這份資料能幫人比較各州成本,但申請前仍應檢視官方來源確認最新費用。
模型把部分中間層重複運算,會讓推論時的快取和訊息傳遞更難處理。vLLM 宣佈支援 Thinking Machines 的 Inkling 2 Mini,並在 NVIDIA Blackwell、Hopper 和 DGX Spark 上提供 Day-0 支援。Inkling 2 Mini 的 12 個核心層會對每個 token 運算三次,每次各自保留 KV cache,並讀取前一次運算傳來的訊息;模型有 26B 總引數、3.5B 啟用引數,支援最多 1M tokens 的上下文。vLLM 也支援可調整運算次數的研究檢查點,讓團隊能測試速度、記憶體用量和品質之間的取捨。
推薦理由:Inkling 2 Mini 的迴圈層會讓每個核心層重複運算三次,vLLM 透過分開管理快取並融合訊息讀取來支援這種架構。
想把長影片或直播剪成短片,通常得交給線上剪輯服務處理。PeakCut 是可自架的開源工具,能接收影片或連結,剪出直式短片並加上逐字字幕。語音辨識在操作者自己的電腦或伺服器上執行;選片則可接雲端模型、本機模型,或不使用 AI,改按音量挑片段。影片、剪輯檔和設定也會存放在自訂資料夾。自架能讓人自行管理媒體處理,但儲存空間、帳號設定和對外連線安全也得由操作者負責;若使用雲端模型或社群平臺,相關服務仍會在流程中。
Microsoft Publisher 將在 10 月底停止服務,作者想繼續畫交通路線圖,卻找不到簡單好用的工具,於是做了免費的 Liniennetz-Editor。使用者只要輸入車站、路線和每條路線會停靠哪些站,再把車站放到格子上,程式就會自動畫出路線、轉角和站點符號,還能匯出成 SVG、PNG 或 PDF。像兩條路線共用一段軌道時,程式會替它們排出間距固定的平行線;約 300 個車站、50 條路線的地圖,也能靠快取避免拖動文字標籤時重新計算路線。它完全在瀏覽器中運作,不需要後端伺服器;目前介面只有德文。
舊數位相機用的 3.5 吋磁碟不方便檢視和儲存,floppy3.5 做成一臺可攜式 WiFi NAS,能讀取磁碟裡的照片,並透過網頁顯示。它也能把檔案複製到 microSD 卡;每張磁碟會存進不同資料夾,並比對檔案內容,避免重複複製。這個開源專案提供電路板、外殼和韌體資料,使用者可依照說明自行組裝。
把寄信工作交給 AI 助理時,可能擔心它一次寄出太多郵件。WarmySender 作者公開了自架冷郵件工具 v0.1.0,郵件由使用者連線的信箱寄出,寄送工作則由伺服器上的排程器逐封檢查。每個信箱每天預設最多寄 30 封、上限為 50 封;新信箱前 7 天每天最多寄 10 封,接下來 7 天最多寄 20 封。AI 助理可以建立和管理活動,但不能直接寄信或調高上限;回覆也只能先存成草稿,由人手動寄出。這個版本沒有開信或點選追蹤功能。
開發和正式上線走不同建置流程,可能讓程式在兩種環境出現差異。seedcord v0.22.0 改用 Vite 處理開發與正式建置,並支援把使用 HTTP 傳輸的 Discord 機器人部署到 Cloudflare Workers;本機開發時也能在 Workers 使用的 workerd 執行環境中測試。這個版本還加入管理 Discord 指令的 CLI 子命令,以及把機器人建置成可供其他應用程式使用的程式庫。
修補映像檔中的 CVE 需要處理許多專案,也得追蹤修補是否部署完成。OpenHands 團隊說明,他們把大部分工作交給 AI 助理流程:挑選修補方式、開 PR、合併低風險專案,再追蹤到部署。人每天只需檢視一則最多 11 行的 Slack 訊息和少量 PR。這篇文章介紹 OpenHands 如何安排自動化流程與人工檢查。
推薦理由:OpenHands公開自家修補映像檔CVE的工作流程,呈現自動選擇修補、提交PR到追蹤部署的做法,可參考其流程安排人與AI助理的分工。
同一段文字交給不同 LLM tokenizer 處理,切出的 token 數可能差很多,也會影響費用估算。Mohit Verma 做了開源工具 MLBox,讓人直接在瀏覽器貼上文字,比較 7 種 tokenizer 的切分結果、字元費用和差異。像「नमस्ते दुनिया」這 13 個字元,GPT-4o 會切成 5 個 token,Llama 3.1 切成 9 個,cl100k 切成 13 個。頁面還有神經網路練習場、可在筆電完成的 ML 專案清單,以及模型價格計算工具;所有功能都能離線使用,文字不會離開自己的裝置。
同一種商品從不同國家進口美國,關稅可能差很多,而且會疊上不同專案,也會隨生效日期改變。作者推出免費的 zentria-flow Python 套件和 API,輸入 HTS 稅則號碼、產地與進口日期,就能列出各層稅率、總稅率和已排定的變動,也能比較產地或估算整份商品清單的稅額。例如文中的聖誕燈從中國進口總稅率為 45.5%,從越南進口為 20.5%。結果只供規劃參考,不是海關裁定;反傾銷與平衡稅也不在計算範圍內。
用 seedcord 做 Discord 機器人時,查檔案、重複建立檔案和儲存資料都可能增加開發麻煩。v0.23 加入能用日常問法搜尋指南的功能,也推出 seedcord 機器人,讓人直接在 Discord 裡找資料;新的 key-value 儲存功能則能記住機器人要用的資料,設定儲存驅動程式後,重新啟動也能保留。開發者還能用範本建立常用檔案,或讓外掛產生 TypeScript 型別。這次有 20 項破壞性變更,其中同一事件的處理程式現在會同時執行,可能影響彼此讀寫資料的程式;分頁器也會預設以僅自己可見的方式顯示第一頁。
AI 助理估算國際空運費時,可能忽略包裹體積和合箱後的重量變化。AQX Logistics 開源了一個 Python MCP 伺服器,提供運費估算、貨運單追蹤和美國商店轉運政策查詢三種工具;運費估算會比較實際重量與體積重量,並計入合箱重新包裝後的重量。文章也分享部署時遇到的三個問題:套件版本不合、啟動時用了錯誤的 Python,以及 Docker 指令中的版本符號被當成重新導向。作者列出各自的修正方式,並表示修正後通過 Glama 的自動檢查。
llama.cpp 這次更新讓 fish_s2_spkenc 也能用在 drama3,把參考音訊轉成模型可使用的資料,並透過 drama3 的語音流程產生聲音。使用者提供參考音訊時,系統會把其中的音訊資料送進模型;呼叫端提供下一段音訊的程式碼時,也能用來引導生成。這讓 llama.cpp 能處理 drama3 的聲音複製流程,並新增讀取生成狀態中參考音訊程式碼的方式。
用 OCR 和大型語言模型讀出文件內容不難,難的是把不同格式的發票、合約或收據整理成正確資料,還要讓人檢查錯誤、處理一份 PDF 裡的多種檔案。elDoc IDP OSS 是免費、可自行架設的開原始檔處理應用程式,把文字辨識、檔案分類、資料擷取和人工檢查等工作整合在一起,也能搭配不同的 LLM。比如財務人員可以檢查系統從發票抓出的金額,再把確認過的資料交給其他應用程式使用。它讓開發者少花時間從零拼裝整套流程,並可依專案需要修改和擴充。
想在自己的電腦試跑網路商店,常得先安裝好幾種工具,還要處理網域和憑證。這篇教學用 Docker Compose 一次啟動 GoCommerce、Svelte Commerce、PostgreSQL、Meilisearch 和 Caddy;Go 和 Node 都在容器裡執行。設定好環境變數並建立商店後,就能用瀏覽器開啟商店與管理後臺。第一次連線時,瀏覽器會提醒本機憑證來自 Caddy 的本機授權中心;若不設定搜尋用的金鑰,商店仍能運作,但 Meilisearch 容器會不斷重新啟動。
OCaml 專案需要使用標準函式庫模組或混合 C 程式碼時,原本的建置工具不一定能直接處理。Alice v0.6.0 讓套件可以指定要用哪些標準函式庫模組,也能把 src 資料夾裡的 C 程式碼編譯並連結到程式中。套件還可以先執行 config.ml,輸出設定建置流程的指令,例如加入 C 連結器引數;執行 alice build 和 alice run 時,也能選擇 native 或 bytecode 後端。bytecode 編譯通常較快,但產生的程式執行速度通常較慢。
把文字變成語音時,開發者可能希望調整說話情緒、維持熟悉的聲音,也讓語音更快開始播放。Together AI 現在提供 Qwen3 TTS,可從 9 種預設聲音中挑選,再用簡短文字改變說話方式;每種聲音都支援 10 種語言。串流時,第一段音訊最快可在 97ms 後送出,文字若還在逐步產生,也能透過 WebSocket 分段送入。服務費用是每 1M 個字元 $20;Qwen 建議使用聲音原本的語言,以取得較好的品質。
推薦理由:文章整理了 Qwen3 TTS 在 Together AI 的語音控制與串流方式,並說明不同語言的聲音品質可能因預設聲音而異。
剪影片時,如果匯出進度亂跳,或影片長度、畫面尺寸等資料有問題,可能會讓人以為匯出成功,結果檔案卻不可靠。FrameTrellis v1.5.1 加強檢查匯出和播放時的資料,也改良匯出視窗,讓設定更清楚;遇到格式不對的結果,系統會更仔細確認。這次更新也讓時間軸跳到很遠的位置時,計算更穩定。Windows 版提供安裝程式和免安裝 ZIP;Linux 和 macOS 版需自行從原始碼建置。Windows 套件目前沒有數位簽章,兩項 Windows 問題仍在調查中,更新也沒有宣稱已修好。
把一段音樂錄音轉成 MIDI,要找出每個音符何時開始、何時結束,還要分辨同時響起的不同樂器。獨立開發者做出開源模型 Dettato,用 20M 引數在多項測試中勝過引數量大 65 倍的 MuScriptor;不過在 RWC Classical 測試中,Mirelo A2M v1.1 Pro 的分數較高。作者說,訓練資料沒有使用受著作權保護的錄音。Dettato 輸出的是跟著演奏時間排列的 MIDI 音符,不是可閱讀的樂譜;若要分開樂器或處理少見的打擊樂音色,也要留意它的限制。
Google Analytics 會告訴你有多少人來過,PostHog 還能看出大家按了哪些按鈕、在哪裡卡住,以及哪些功能讓人留下來。它會記錄使用者做的事,再整理成流程圖表,看看有多少人完成註冊、過了一週有多少人回來,也能重播使用者的操作過程,找出大家在哪裡猶豫。舉例來說,開發者可以只讓 10% 的使用者試用新功能,再比較他們和其他人的使用情形。PostHog 每月有 1 million events 的免費額度,也能自行架在自己的伺服器上,讓團隊更清楚產品怎麼被使用,也能掌握分析資料放在哪裡。
在 MoE 裡,有時一批資料不會分到任何專家,讓輸入的 token 數變成 0;這時 PyTorch 的 XPU 版 grouped_mm 會出錯。問題是底層 oneDNN 無法處理某些維度為 0 的分組資料。這次修正會在輸出沒有元素時直接結束;如果 K 維度是 0、但輸出仍有內容,就把輸出設為全 0,因為這時沒有任何數值可以加總。測試涵蓋這兩種情況,讓空輸入也能得到正確結果。
llama.cpp 原本會讀取 MoE 模型中各專家的部分縮放資料,卻漏掉合併在一起的 gate 和 up 權重。這會讓 Inkling 2 傳給運算流程的專家縮放資料不完整。這次更新補上載入方式:模型沒有分開的 up 權重時,會把合併權重的縮放資料交給 up 權重使用,讓 Inkling 2 像其他 MoE 模型一樣,把專家縮放資料傳進運算流程。
化學名稱轉成分子結構,不一定查字典就能完成:有些名稱是照規則組成的,工具能直接拆解;常見俗名和商品名則要查資料庫。像「2-acetoxybenzoic acid」和 aspirin 寫出的 SMILES 不同,卻代表同一種分子,InChIKey 也相同。遇到 Tylenol 這類商品名,也得靠資料庫查出它對應的結構。比對化合物時,不能只看 SMILES 寫法;如果名稱有錯或解析有誤,畫出的結構也可能跟著錯,使用前要先核對。
只看最後寫好的程式碼,AI 助理學不到遇到錯誤後怎麼繼續。Sumama-Jameel 整理出 66 段實際執行的程式開發過程:AI 助理在 Docker 沙盒裡處理真實專案任務,使用工具、碰到錯誤再修正,工具輸出和失敗紀錄都保留下來。每段資料都會檢查專案測試,也能在自己的電腦上重新驗證。作者公開與四份大型資料集的比較,並說明這份資料在規模和部分指標上落後;用它訓練的小型模型有一項分數從 43% 升到 80%,其他分數則退步。
手機常用的下載資料夾若只能在瀏覽器分頁裡開,每次找回上次位置都不方便。Banyan 是可自架的檔案瀏覽器,作者整理了在 Linux 伺服器啟動服務、再於 Android 安裝 APK 的做法;手機和伺服器要連上同一個區域網路。APK 僅支援 arm64,約 19 MB,而且只是包住網頁介面的外殼,檔案預覽仍由伺服器處理,伺服器離線時也無法使用。服務沒有登入頁面,文章提醒不要把連線埠直接開到網際網路;若手機是 32 位元,使用網頁版並加到主畫面即可。
AI 助理每次開新工作階段,常會忘記之前學到的規則,又把同一個問題查一遍。作者介紹 RE-call,讓 AI 助理從電腦裡的 Markdown 筆記找回相關經驗,也能把記錄分享給同一臺電腦上的其他 AI 助理;找不到合適資料時,它會說明沒有答案。作者在四種陷阱任務中比較 Claude Code 的表現,加入 RE-call 後,這些任務裡犯錯次數從 40 次中的 21 次降到 0 次。不過測試只用一個模型和四種任務,另一項任務成功率研究也沒有發現整體提升。
Ledger 硬體錢包的安全晶片和作業系統沒有被發現有漏洞,但有遭人動手腳的裝置,會在設定時偷看螢幕上的 24 個助記詞,再透過行動網路傳出去。這表示晶片檢查只能確認晶片本身,無法看出電路板上是否多了其他零件。文章建議團隊記錄簽署裝置的購買來源,避免讓同一臺裝置單獨保管資金;若懷疑裝置遭動手腳,不要沿用原本的助記詞或密語,應在新裝置建立新助記詞並轉移資金。
這次 llama.cpp 更新加入 Domyn Edge 4B 模型,並調整模型名稱格式,也修正模型轉換時可能遇到的錯誤和相關測試。簡單來說,這讓 llama.cpp 能處理這個新模型;更新內容也列出 macOS、Linux、Android 和 Windows 等平臺的建置專案。
想在本機使用 AI 助理,又希望介面和工作方式更有彈性,作者因此打造了 Hikes。這套開源工具可在本機執行,也能搭配線上或本機模型,並提供工作區檔案、網路搜尋、Shell 指令、記憶功能和 MCP 等工具。作者也為它設計可自訂的液態玻璃風格介面。目前專案仍在早期階段,作者希望收到安裝方式、檔案和介面的意見。
想讓 AI 助理看即時行情或幫忙下單,卻怕它搞錯 API 設定,甚至不小心送出交易?Bitnxs 團隊開源了一套 Grok Bot 範本,分成三份技能說明和兩支 Python 程式。你可以先用不用 API 金鑰的程式檢視 BTC、ETH、SOL 行情;需要交易時,另一支程式則能在送出前先用試跑模式檢查訂單內容。範本也把 API 的使用規則寫清楚,並讓提醒和定期行情摘要維持只讀。舉例來說,試跑買進 BTC 的指令只會印出預計送出的訂單,不會真的下單。不過 Bitnxs 沒有測試網,實際送出的訂單會動用真實帳戶資金;使用槓桿也可能很快賠光保證金。