llama.cpp 修正 Adreno 驅動算錯總和、長提示詞後亂吐字的問題
部分 Qualcomm Adreno 顯示晶片使用的專有驅動,在程式走過不同分支後會算錯加總,讓 llama.cpp 在長提示詞後可能吐出不該有的文字。這次更新關閉該驅動的相關運算路徑,也一併停用依賴它的合併計算方式。在 Adreno 850 和 X2-90 的運算測試中,兩項測試都從未全數通過變成全數通過;Adreno 850 上的 llama 3B Q4_0 測試結果則維持不變。
部分 Qualcomm Adreno 顯示晶片使用的專有驅動,在程式走過不同分支後會算錯加總,讓 llama.cpp 在長提示詞後可能吐出不該有的文字。這次更新關閉該驅動的相關運算路徑,也一併停用依賴它的合併計算方式。在 Adreno 850 和 X2-90 的運算測試中,兩項測試都從未全數通過變成全數通過;Adreno 850 上的 llama 3B Q4_0 測試結果則維持不變。
屋主看到屋頂報價上的「平方」時,常不知道面積算得對不對;Ashish 因此用 Astro 做了一個免費計算器。使用者輸入房屋底面大小、屋頂坡度和屋簷長度後,工具會估算屋頂面積,並依屋頂形狀加入不同的材料損耗比例。輸入也會存進網址,方便屋主把結果傳給屋頂工人;列印時則會整理成只有標題、日期和結果表格的報告。作者也分享瞭如何調整手機操作、內容安全政策和頁面設定,讓網站在 Lighthouse 的四項評分都達到 100。
在小型辦公室裡,常有人得先下載大檔案,才能確認自己拿到的是不是正確版本。作者為瞭解決這個麻煩,做了 Banyan,一個用 Go 寫成的單一執行檔;啟動後,其他裝置可用瀏覽器開啟檔案,先預覽再決定要不要下載,也能分享連結,讓收件人不用建立帳號就能檢視。它支援多種檔案預覽,還能直接編輯原檔。Banyan 不會同步檔案或處理版本衝突,也沒有代管服務;若要設定 TLS、網域和反向代理,得由使用者自行處理。
有些 Python 專案雖然升到 3.11,漏洞提醒還是無法關閉,因為修補版 soupsieve 至少需要 Python 3.11.5。作者檢查了 92 個近期更新、使用 uv 的熱門 Python 專案,其中 40 個有漏洞套件無法在目前支援的最舊 Python 版本安裝修補版;30 個專案卡在 soupsieve,當中 13 個已要求 Python 3.11,卻仍允許 3.11.0 到 3.11.4。這表示光把最低版本設成 3.11 還不夠,有些專案得決定是否提高到 3.11.5。這是 2026 年 11 月 20 日的單次檢查,作者依 PyPI 資料判斷,沒有替專案實際執行安裝測試。
BeamNG.drive 的車禍畫面為什麼能讓車身真的變形、零件也會故障?作者分析,關鍵不是 Torque 3D 本身,而是遊戲另外打造的軟體車輛物理系統。每臺車都用 JBeam 文字檔描述零件和連線方式,玩家能修改並分享車輛;Lua 則讓團隊調整遊戲規則時不必重新編譯引擎。作者認為,選擇較舊的 Torque 3D,讓團隊能把心力放在車輛模擬上,也讓這套技術延伸到 BeamNG.tech 的駕駛訓練與自動駕駛測試。
OpenCode 2.3.0 讓子 AI 助理在背景繼續工作,使用者可以同時處理其他事,但也比較難看到每一步。不同助理各自從新的工作內容開始,可能重讀資料或重複呼叫模型;背景工作適合彼此獨立、耗時較久的搜尋和測試,逐步除錯則比較適合留在原本的工作階段。新版也會把多次工具操作收進摘要,想看完整過程可以調高 Verbosity。文章提醒,平行工作能省下等待時間,但任務若互相牽連或修改同一份內容,就不一定適合交給背景助理。
騰訊混元發布 Hy4 開放權重,這是一款原生多模態的 MoE 模型,總引數為 770B、啟用引數為 49B,上下文長度為 1M。團隊也發布 Hy4 System Card,內含安全評估報告,並提供 GitHub、Hugging Face 和 GGUF 權重下載連結。團隊將於本週五太平洋時間上午 8–10 點,在 r/LocalLLaMA 舉行直播 AMA,回答大家對 Hy 模型的提問。
推薦理由:Hy4 開放權重並附上安全評估報告,文中也列出模型規模與上下文長度,方便了解這次發布提供的資源。
賣數位商品時,手動開通和取消檔案許可權很容易出錯,尤其訂閱到期後,顧客可能仍能下載。Hoelee 用 NocoDB 記錄顧客購買資料,再透過 n8n 的五個工作流程更新 AList 許可權:購買或狀態改變時同步存取路徑,每 5 分鐘檢查到期許可權,並在每天凌晨比對和修復許可權差異。作者也分享一次故障經驗:n8n 經公開網路連到同一個容器網路裡的 NocoDB,延遲和重試引發服務錯誤;改走內部連線後,請求時間從公開連線的 300 毫秒以上降到約 30 毫秒。
想試用或自行部署 Hy4 的人,需要先找到模型下載方式,也要了解相關安全評估。騰訊混元宣佈 Hy4 正式開源,可從 GitHub、Hugging Face、ModelScope 和 GitCode 下載部署,並同步發布 Hy4 的安全評估卡片 System Card。官方也表示,混元 LLM 模型已全部開源,未來會持續更新並開源。
推薦理由:Hy4 開源與安全評估卡片同步發布,讓讀者能直接取得模型,也能檢視官方提供的安全評估內容。
收穩定幣時,帳單要寫清楚金額、幣種、使用的網路和收款錢包地址,客戶再從自己的錢包轉帳,並把交易編號傳給你。比如要收 1,500 USDC,就要註明是哪個網路;網路選錯,錢可能很難或根本無法找回。每月固定收款時,也能用 Papaya Protocol 的訂閱功能:客戶先把穩定幣存進智慧合約,之後按期扣款,或依秒數持續付款。這能省下每月手動轉帳的麻煩,但仍要自行開帳單,並確認客戶的餘額足夠。
多個 AI 助理如果一直互傳訊息,可能會繞著同一件事打轉、漏掉前面的發現,也很難查出錯在哪裡。vegapunk-agents 讓每個 AI 助理各做各的,再把發現依序寫進大家共用的「工作簿」;其他 AI 助理接著讀取需要的內容,不必翻遍整段聊天紀錄。 例如,負責找資料的 AI 助理先寫下找到的資訊,負責想點子的接著提出方案,再由負責挑毛病的 AI 助理檢查,最後由負責把關的 AI 助理做決定。每筆記錄都會保留下來,討論也有次數上限;若要真的執行重要工作,還得先經過真人同意。這樣比較容易知道每個決定從哪裡來,也不容易陷入沒完沒了的討論。
想自己架 RSS 閱讀器,常會卡在資料庫、HTTPS 和安全設定。這篇教學用 Docker Compose 架設 Miniflux,搭配 PostgreSQL,並讓 Caddy 或 Nginx 負責 HTTPS;服務只繫結在本機的 127.0.0.1:8080,避免直接公開未加密的連線。作者也說明如何建立管理員帳號、更新服務和備份資料庫,並提醒 BASE_URL 要和對外網址一致,否則分享連結和文章圖片可能無法正常運作。文中另記錄一次測試環境的記憶體用量,並說明那不代表每臺主機都會有相同結果。
AI 助理讀取網頁時,可能得先跳過排版程式碼和圖片資料,浪費上下文視窗。這篇指南介紹如何設定 Cloudflare Pages,讓一般瀏覽器看到原本的網頁,AI 助理則透過 Accept: text/markdown 取得整理過的 Markdown 內容。文中舉例,網頁資料量可從約 16,000 個 token 降到約 2,000 個 token,並介紹 GeoReady 這個免費工具,可檢查網站給 AI 助理讀取的設定。
多個 AI 助理用聊天方式合作時,可能反覆爭論、忘記先前發現,也難以追查最後答案是怎麼來的。作者提出 Vegapunk 模式,讓每個 AI 助理各做一種工作,再把發現寫進大家共用、只能新增內容的紀錄;其他成員從中讀取需要的資訊,不必彼此直接聊天。模式也規定只有 Shaka 能做最後判斷,批評與修改預設最多來回兩輪,執行工作前還要由人核准。作者把它寫成一套規格,供不同 AI 工具採用。
靜態部落格同時放在多個平臺,最容易出錯的是網址資料沒跟著各平臺改,或每次發布都要重複手動處理。作者分享把自己的部落格部署到六個平臺的做法:內容只維護一份,建置時依各平臺產生正確的網址資料,再用指令自動發布。像網站地圖、RSS 和文章的標準網址,都要指向該平臺自己的網域;流程也會在某一步失敗時繼續部署其他平臺。作者提醒,多平臺能降低單一平臺出問題的影響,但也會讓低品質內容散佈得更廣,因此發布前還要先檢查內容品質。
想讓 AI 助理查日本六曜日期,又不希望每次查詢都連上網路,可以把曆法計算做成 MCP 工具。Astromei 把計算程式和 MCP 介面分開,提供查單日、整月或日期範圍的三種唯讀工具;安裝時需要網路,完成後查詢可在本機執行,不需要 API 金鑰。計算結果只支援 2025 年 1 月 1 日到 2027 年 12 月 31 日,日期超出範圍會報錯。文章也提醒,月相交界差一天就可能改變六曜結果,而且使用的農曆換算依據是韓國曆法慣例,不能直接當成官方日本曆法。
AI 助理技能從零散的小工具,逐漸變成團隊會一起使用的整套工具,但人一多,就得知道大家用的是不是同一版、誰能使用哪些技能,以及過程中呼叫了什麼。像 Claude-BugHunter 就把 82 種技能、15 個指令和 681 種已公開漏洞報告的模式放在一起;如果團隊沒管好版本和許可權,就很難確認每個人做了什麼。文章提出 skillhub 這類自架技能庫,能管理技能版本、設定使用許可權並留下紀錄。技能越多,管理方式也得跟上,團隊才容易掌握技能怎麼被使用。
肯亞常用的 Bitcoin 換 M-Pesa 服務停擺時,手上的錢雖然還在,卻沒辦法拿來付餐費。作者示範一套可自行執行的換匯服務:先用 Lightning 暫時鎖住顧客的 sats,再請 M-Pesa 付款;若付款成功,服務才收下 sats,若失敗,就取消交易並自動退回。作者在私人測試網路和本機模擬服務中測試了流程,包括服務中斷後查詢付款結果,避免重複付款。這是參考程式,尚未用真實資金測試;在肯亞對外營運也涉及牌照規定。
AI 自動流程可能會改動正式資料,但只看提示詞、工具清單和服務帳號,很難知道每一步實際會做什麼。作者打造開源工具 Dittoly,讓審核者先檢視固定版本的流程、會連線的服務、寫入動作和每步使用的帳號;流程一經修改,就得重新核准。以 GitHub 審查流程為例,AI 寫好評論後,系統會先把要送出的內容交給人確認。作者也說明,核准不會固定 AI 模型;本機沙箱的防護能力有限,共用模式則要求使用容器。
有些 AI 助理很吃電腦資源,也不容易從桌上型電腦搬到伺服器上接著工作。hope-agent 是用 Rust 編寫的開源工具,可以在電腦上操作,也能在沒有圖形介面的伺服器上持續執行;它會記住先前的工作,並把大任務拆成一連串步驟。像是要求它留意下載資料夾、整理新加入的研究論文,它就能在背景持續運作。它也能搭配 Ollama 等本機大型語言模型,或 OpenAI、Anthropic 的雲端服務,讓工程師用較輕巧的方式在自己的裝置上安排 AI 工作。
多個 AI 助理一起處理業務時,可能談出超出公司規定的條件、卡在許可權問題,或互相傳訊息停不下來。文章整理 A2A 和 MCP 的分工:MCP 讓 AI 助理連線工具與資料,A2A 讓不同 AI 助理互相交辦工作;遇到需要人判斷的情況,就先暫停任務,再把背景和處理選項送到 Slack,交給員工接手。文中也以共享鎖避免業務助理重複聯絡同一位客戶,並提醒公司把價格、許可權等規則寫在程式裡,不能只靠提示詞。
使用雲端服務很方便,但資料放在廠商的伺服器上,遇到合約要求資料留在自家環境,或有人追問「誰在什麼時候改了資料」,就可能答不上來。GewuMind Boot 可以安裝在自己管理的伺服器,資料存進自己的資料庫;系統也會記錄誰在何時、從哪個 IP 新增或修改資料,以及外部應用程式何時呼叫 API。像客戶資料不必經過廠商的雲端,團隊也能拿出操作紀錄查明變更經過。這讓資料位置和紀錄更容易掌握,但公司仍須自行維護伺服器,產品也不等於合規認證。
ROCm 原本用 POSIX 檔案描述符,讓不同 GPU 分享可擴充套件記憶體;但每個區塊都會佔用一個描述符,數量太多時就可能分享失敗。這次 PyTorch 改用 fabric handle,讓支援 UALink 的 GPU 能交換記憶體區塊,也避開檔案描述符上限。測試中,16,384 個區塊都能完成分享;POSIX 檔案描述符方式則在系統上限較低時提早失敗。改動也繞過一個 HIP 問題:從 fabric handle 匯入的記憶體只開放 GPU 存取。測試顯示,這項改動主要改善分享的穩定性,沒有帶來明顯頻寬提升。
以前用 Kimi Code CLI 連線 Amazon Bedrock,要另外準備一組 API 金鑰,得多花心力管理。Moonshot AI 在 v2.7.0 加入原生 bedrock provider,讓 CLI 改用現有的 AWS 認證,也能選擇指定的帳號設定檔或透過 SSO 登入。以 Kimi K3.1 Pro Highspeed 為例,設定好模型後,就能在寫程式時串流接收回覆,並使用圖片輸入和工具呼叫功能。這讓連線設定更省事,但仍要妥善保護 AWS 認證,並只開放需要的許可權。
想部署 vLLM,得先把它和需要的軟體一起裝進容器映像檔。這篇教學帶你從 vLLM 專案準備檔案,再用不同的 Dockerfile 建立 CPU 或 GPU 版本,最後把映像檔上傳到容器登入站。舉例來說,CPU 版本使用 Dockerfile.cpu,GPU 版本則使用 Dockerfile;啟動 GPU 容器時,主機的 CUDA 版本必須符合 Dockerfile 要求,並加上 --gpus all。做好後,就能把映像檔交給 Docker Compose 或 Kubernetes 等工具部署。
語音 AI 如果要等使用者說完才停下來,常會和使用者的聲音重疊,讓對話很不自然。HardCall 把處理拆成兩個步驟:先用本機語音偵測,在約 18ms 內發現有人開口並清空待播放的聲音;接著再判斷這句話是反駁、附和,還是雜音。作者表示,這套做法讓插話延遲降到 52.16ms,也能減少咳嗽或敲鍵盤造成的誤判。HardCall 是開源的語音面試與高壓情境練習工具。
Whisper.cpp 可以用 CPU 或 GPU 把語音轉成文字。這份教學帶你準備伺服器、下載 Whisper.cpp 專案,再用不同的 Docker 設定檔,分別打包成適合 CPU 或 GPU 的容器映像檔,最後上傳到容器登入庫。文中範例做出的 CPU 映像檔大小是 608MB,GPU 映像檔是 2.76GB;使用 GPU 版本時,主機的 CUDA 版本要符合設定檔要求。完成後,就能把映像檔放到轉錄流程中使用。
PyTorch 開源版原本還會建置舊版 ProcessGroupNCCL,這次更新把它移到內部程式碼,讓開源版的 ProcessGroupNCCL 改用 nccl2。舊版後端和部分 Python、C++ 介面也一併移除;需要使用相關 C++ 擴充功能的開發者,得改用新的 nccl2 標頭檔。直接建立 ProcessGroupNCCL 時,現在會依群組排名設定裝置並提早初始化通訊;若程式要使用其他裝置,就必須設定群組排名,或啟用延後初始化。
Mindutil 的 AI 工具目錄有 4,323 筆資料,但流量最高的 150 個頁面中,只有 20 個有至少 80 個獨特字詞,其餘 130 個仍只有模板內容。這些頁面佔前 150 名總閱讀數的 64.0%,其中 81 個還有廠商認領標記。作者原本花時間改寫已經有內容的頁面,現在打算先處理閱讀數最高的頁面,並優先聯絡已認領卻沒有實際產品介紹的廠商;之後再觀察改寫是否帶動閱讀數變化。
後端服務連資料庫、呼叫其他服務時,如果 TCP 連線變慢,光看總耗時不容易知道問題在哪裡。這篇教學用 eBPF 追蹤連線開始與收到回應的時間,再透過 libbpf 把延遲、程式名稱和連線位址等資訊整理到使用者空間顯示。例子中,工具列出 wget 和 ssh 連線的延遲,方便開發者找出哪些連線比較慢,作為網路效能分析與故障排查的線索。
企業想降低 AI 成本,也希望能在自己的資料和裝置上使用模型。Nvidia 與 Microsoft 在 Microsoft Ignite 宣佈擴大開放模型的使用方式,涵蓋 Azure、企業自有裝置、工廠系統和 Windows 雲端電腦。EY 用 Microsoft Foundry 的 Programmed Training 調整 Nvidia Nemotron 開放模型,分類企業採購紀錄;EY 表示,在自己的評測資料上準確度提高 55%,成本比專有前沿模型低 15 倍。這是 EY 對特定工作的結果,不能直接代表其他用途也會有相同表現。
mlxrunner 以前會固定保留 8 GiB 記憶體給 Metal 字首紀錄,現在改看系統還剩多少空間,以及程式執行時需要多少工作空間,再決定保留多少紀錄。系統開始壓縮記憶體時,它會釋放用不到的緩衝區和較久沒用的紀錄,同時保留可重用的路徑與正在處理的請求,讓記憶體吃緊時仍能繼續處理工作。
重要通知散落在不同網站時,常得開著一堆分頁,還要一直回去檢視。作者做了 Pharos,這款 Firefox 和 Chrome 擴充功能會每隔幾分鐘檢視已連結的服務,整理新通知;你可以選擇立刻提醒、每小時彙整,或保持安靜。資料和存取金鑰都留在瀏覽器裡,Pharos 不會把資料送到開發者的伺服器,也不會儲存密碼或訊息內容。Firefox 版本仍在 Mozilla 審核,Chrome 線上商店版本尚未推出,目前可依專案說明從原始碼建置。
財務報表裡的數字如果查不到來源,就很難放心使用。OfinTech Desk 讓每個數字都能一路查回計算方式、用到的帳目、來原始檔和檔案頁面;找不到這條線索的數字,就不會顯示。金額和報表指標由固定程式計算,分類器負責從固定選項中判斷帳目配對,語言模型只讀取數字與來源,再用白話解釋,不能編出數字。這樣既能追查每個結果,也能讓財務團隊清楚知道 AI 助理可以做什麼、不能做什麼。
錯誤追蹤工具會收集程式出錯時的資料,其中可能包含 Cookie、要求標頭和使用者資訊。這篇指南以 Errbit 為例,說明專案金鑰應只用來傳送錯誤通知,不該拿來管理帳號、專案或伺服器設定;也提醒要限制誰能檢視、匯出和刪除錯誤資料,並設定儲存期限。若金鑰外洩,應更換金鑰並檢查服務是否接受未經授權或大量送出的通知。文中提到 ZoomEye 搜尋到 550 筆標題相符結果,但這只代表索引中的標題符合,不能證明那些服務是 Errbit,也不能證明有專案正在接收通知。
想看懂一段影片怎麼拍出來,或把複雜機器畫成清楚的示意圖,現在有不同開源工具可以幫忙。rea-video 會一格一格拆解影片,並用 VIDEO.md 格式整理結果,方便研究或重做影片;anatomy 則能把真實機器和複雜系統做成可互動的等角 SVG 插圖。其他工具還包括能提升部分 GeForce 顯示卡運算速度的 gpu-unlock、可串接 400 多種服務的 n8n,以及支援 Claude Code、Codex 等工具的 ecc。這些專案各自處理影片分析、插圖、工作流程和 AI 助理自動化,讓開發者與創作者多一些現成選擇。
llama.cpp 的 OpenVINO 支援在不同提示詞長度或輸出數量改變時,可能得重新編譯模型,或重用不合適的舊模型,造成速度變慢甚至執行失敗。這次更新調整 GPU 的 KV 長度、改善提示詞處理階段的模型重用方式,也讓系統確認輸出數量相符才沿用編譯結果;模型快取也會把輸出設定納入檢查。更新還修正多種模型在 GPU、NPU 和靜態形狀設定下的問題,並加入 Falcon-H1 的 OpenVINO 驗證資料。
大量計算不重複的值時,把每筆資料都存起來會佔用很多記憶體。HyperLogLog 和 CPC Sketch 會把資料轉成簡短記錄,用來估算不重複的數量;代價是答案不是精確值。文章比較兩種做法,並介紹 ScopeDB 把 CPC Sketch 移植到 Rust,用在正式服務中。Apache DataSketches 的檔案指出,CPC Sketch 序列化後,在精確度相同時比 HyperLogLog 少佔 30% 到 40% 空間。移植時缺少的壓縮表格產生程式,作者用 AI 重建,再逐項比對 Java 和 C++ 的既有表格;使用者仍應留意 Rust 版本累積的實際使用時間較短。
大型開源專案改用新授權時,過去的程式碼也得取得作者同意,處理起來很花時間。LLVM 從 2017 年左右開始整理舊程式碼的授權;目前超過 99.5% 的歷史程式碼已採用 Apache 2.0 with LLVM exception,或已移出程式碼庫,或因篇幅太小而不受著作權保護。超過 1,300 位貢獻者和約 100 個組織同意調整授權。LLVM 預計在 LLVM 25 中更新授權檔案與相關說明,讓授權資訊更一致。
想把電子書借給親友,常得先把書放到別人的平臺上。Mayberry 讓你把電腦裡的 ePub 資料夾變成自己的私人圖書館,朋友用匿名借書卡取得許可權後,就能透過支援 OPDS 的閱讀器瀏覽和下載書籍。書檔留在你的電腦,分享連線會經過加密通道;不過電腦關機時,圖書館也會暫時無法使用。