跳到正文

#開源生態

RSS
今日 0 則
11月18日週三
  1. llama.cpp Releases37

    llama.cpp 新增支援 A7 Q5_K 的非 MoE 二進位核心

    llama.cpp 這次更新加入一種新的運算程式,讓 OpenCL 能處理 A7 Q5_K 格式,而且這種程式不使用 MoE。簡單說,它就像替特定格式的資料準備一條新的處理路線。發布頁也列出 macOS、iOS、Linux、Android 和 Windows 等平臺的版本資訊;這次更新的重點,是讓 llama.cpp 多了一種可用的運算方式。

  2. Databricks Blog54

    Databricks 分享 Lakebase 駭客松如何用資料庫分支與同步打造應用

    開發應用時,團隊常得在共用測試資料庫和替每位開發者複製一份資料之間取捨;把湖倉資料送進應用,也常要另外建同步流程。Databricks 分享 11 個客戶團隊如何用 Lakebase 嘗試解決這些問題:資料庫分支能快速建立測試環境,修改不會直接影響正式資料;同步功能則讓湖倉資料供應應用查詢,也能把資料庫變更送回湖倉。像 Lyft 的團隊讓 AI 助理在資料庫分支上測試客服處理方式,再讀取資料庫的實際結果調整。這些案例展示 Lakebase 如何支援應用開發、搜尋和即時機器學習。

  3. llama.cpp Releases36

    llama.cpp 修正 Qwen4exp 的 FP8 模型檔轉換問題

    更新修正了 llama.cpp 轉換 Qwen4exp 模型檔時,FP8 n-gram 表格的縮放設定與區塊縮放權重處理問題,也補上從 ModelOpt 模型檔還原區塊縮放權重的處理。這讓相關模型檔能更正確地轉換;更新也列出 macOS、Linux、Android、Windows 等平臺的下載版本。

  4. llama.cpp Releases56

    llama.cpp b12480 把 Llama Chat 的共用介面整理成 UI 函式庫

    Llama Chat 原本把不少介面元件、顏色設定和字型留在自己的程式碼裡,與共用版本重複維護。這次 b12480 把這些內容整理進新的 @ggml-org/llama-ui 套件,聊天介面改從套件取用元件、模型資訊和樣式,建置流程也會在函式庫內容變動時重新建置。更新還修正子選單被選單邊界裁切,以及切換對話時可能把回覆節點寫到錯誤對話的問題。

  5. AWS Machine Learning Blog76

    SMART 如何用 Amazon Bedrock AgentCore 串接 WhatsApp AI 助理

    把 AI 助理接上 WhatsApp,麻煩的地方常是訊息格式、圖片和語音處理、對話記憶與提醒排程。AWS 的開源工具 SMART 提供 Python SDK 和 Terraform 設定,讓開發者把重心放在 AI 助理的提示詞、工具和商業邏輯,並由 SMART 處理通道工作。文章也示範如何在本機先試跑,再部署到 AWS;若訊息是在對方最後發言超過 24 小時後送出,就必須使用 Meta 預先核准的範本。文中提醒,這是供非正式上線用途的範例程式,部署前仍要符合自己的安全與法規要求。

    推薦理由:文章整理 WhatsApp 串接時常見的訊息、媒體、記憶與排程工作,並展示 SMART 如何把這些通道功能交給現成工具處理。

  6. GitHub Engineering81

    GitHub 如何用 Agent Host Protocol 讓 Copilot 工作階段跨裝置接續

    AI 助理如果綁在單一程式裡,關掉視窗或換裝置時,工作就難以接續;每個應用程式各自串接,也讓開發者不容易把 AI 助理帶進自己的工具。GitHub 說明 Agent Host Protocol(AHP)如何讓 VS Code、GitHub Copilot app 和其他使用者端共用工作階段、歷史紀錄與狀態。使用者端送出操作後,由伺服器更新狀態;遇到網路中斷時,使用者端可以重新送出排隊中的操作,等伺服器確認。VS Code 和 GitHub 也用不同語言各自實作主機,藉此找出協定需要補足的地方。

    推薦理由:AHP以獨立協定連線不同裝置與兩種獨立實作,文中也整理了跨網路中斷、重連與功能差異時的設計取捨。

  7. vLLM58

    AI 模型在長對話中會用掉大量記憶體,草稿模型也需要推論系統配合才能投入實際使用。vLLM 團隊公佈為 Kimi K3.1 Pro 設計的 DSpark,這項工作由 Inferact 與 Red Hat Speculators 團隊共同開發。每個草稿層都使用 2K 的滑動視窗,讓草稿 KV 記憶體用量維持在固定範圍,即使上下文長達 1M tokens 也一樣。HumanEval 測試中,DSpark 的接受長度比預覽版提高最多 30%;vLLM 重新設計的 KV 管理也支援分離式推論與不同的平行配置。

  8. vLLM74

    看直播畫面時,AI 助理若要主動開口、回應內容並指出畫面中的物件,需要同時處理影片、對話和語音。vLLM Project 宣佈 vLLM-Omni 從第一天起支援 AURA 2.0,這款 9B 串流影片模型能判斷何時該說話、根據即時畫面和對話呼叫工具,並用方框標出正在討論的物件。vLLM-Omni 負責從語音辨識、影片理解到語音生成;在單一連線、使用兩張約 140 GB 加速器的設定下,首段回覆語音的中位延遲為 344 ms。原文也表示,AURA 2.0 在列出的四項基準比較中領先。

    推薦理由:vLLM-Omni 支援 AURA 2.0,並公佈單一連線設定下的首段語音延遲與四項基準比較,可瞭解這套視訊模型的互動方式與執行表現。

11月17日週二
  1. Unsloth AI Releases76

    Unsloth 0.1.919-beta 加入電腦操作,並更新模型選擇與圖片模型支援

    AI 助理要操作電腦或接上創作軟體,常得另外處理許可權和連線。Unsloth 0.1.919-beta 加入測試版電腦操作,讓本機視覺模型或已連線的服務檢視螢幕、控制滑鼠和鍵盤;第一次操作、切換應用程式和部分可能有風險的動作都要先核准,也能隨時接手。更新還能透過 MCP 連線 Unity、Unreal Engine、Godot、Blender 和 Roblox。MiniMax-H3-Image 新增多種硬體支援與 LoRA 訓練;原文表示,在 A100 80GB 上解碼 2048px 圖片從 2.82 秒縮短到 0.28 秒。

    推薦理由:這次更新把螢幕操作、創作軟體連線和本機圖片模型支援放進同一套工具,能看出 Unsloth 正擴大本機 AI 助理的使用範圍。

  2. OpenBMB56

    替影片配上另一種語言的聲音,常得分別處理字幕、配音和時間對齊。社群開發者做了 VoxaDub,能先轉錄對話並對齊時間,再用 Hy-MT2 翻譯,接著以 VoxCPM2 參考各說話者的乾淨音訊來生成配音,並調整語句長度以配合畫面。完成後可把配音和原本的背景音合在一起,也能另外選擇唇形同步。模型設定完成後,配音可全程在本機執行;直播配音仍在實驗階段,時間調整有助於對齊,但不保證完全同步。

  3. PyTorch Core Releases35

    Dynamo 修正單行函式與類別名稱作用域錯誤

    開發者發現 Dynamo 在處理只有一行的函式或類別時,會因為沒有「縮排結束」的標記,導致名稱快取沒被清除,後面的程式碼會被誤判成屬於前一個名稱(例如 def f(): 內的 return 1 被記成 E.f)。這次的修正在偵測到新行後,如果下一個重要符號不是縮排,就把那個名稱的作用域移除,同時保留原本的名稱本身,並正確忽略註解與空白行。開發團隊也加了回歸測試,確保單行函式、類別、疊加定義、裝飾器等情況都能正常運作。這樣一來,Dynamo 的程式分析就不會再因為單行定義而產生錯誤的名稱標記。

  4. llama.cpp Releases42

    llama.cpp b12458 加入 YuE2-3B 支援並改善音訊生成

    llama.cpp 的 b12458 加入對 YuE2-3B 的支援,並調整音訊生成流程,包括加快速度、修正串流處理,還能從 API 控制 CFG。這次也修正多個伺服器工作槽同時處理請求時,可能拿到其他序列分數的問題,並調整計算步驟,讓部分運算更容易合併執行。更新提供多種系統版本,涵蓋 macOS、Linux、Android、Windows 和 openEuler。

  5. PyTorch Core Releases52

    PyTorch Inductor 改用依維度處理平鋪座標軸

    PyTorch Inductor 原本把平鋪運算的座標軸寫死,超過三個維度時就需要先改掉這些限制。這次更新改成依輸入維度產生座標軸名稱,並依設定限制可用的平鋪數量,也整理了區塊大小選擇、描述子和指標位移的處理方式。作者測試了不同維度、座標軸排序及多種描述子情境;不過,這項改動本身是後續支援多維平鋪的基礎,啟用額外維度的程式在另一個後續變更中。

  6. PyTorch Core Releases55

    PyTorch Inductor 改用依維度處理的切分方式

    PyTorch Inductor 原本把可切分的軸寫死,最多隻能處理三個軸,讓更高維度的切分不容易加入。這次改動改成依輸入資料的維度產生軸名稱,並依設定限制挑選切分方式,也調整了自動調校和資料描述子的處理。它為後續支援更多維度的點元素與歸約切分打下基礎;原有的區塊大小限制仍保留。作者也回報了多組主機與 Hopper 測試結果。

  7. vLLM54

    在本機部署大型模型時,如何讓模型留在 GPU 記憶體裡,並用多張 GPU 提供服務,是這份指南處理的重點。NVIDIA 製作了影片示範和部署指南,介紹如何透過 vLLM 在兩臺 DGX Station 上執行 GLM-5.3 NVFP4:模型權重放在 GPU 記憶體中,由兩張 GB300 GPU 分擔運算,再透過相容 OpenAI 的單一 API 提供服務。設定也啟用了 MTP 推測解碼、FP8 KV cache 和字首快取。

  8. clem 🤗47

    使用開放模型時,找模型和執行推論可能分散在不同服務。Hugging Face 與 OpenRouter 展開合作,讓兩邊的服務可以互通:使用者能直接在 Hugging Face 執行 OpenRouter 推論,也能從 OpenRouter 取得 Hugging Face 上的開放模型權重,還能把 OpenRouter 的 AI 助理操作紀錄存到 Hugging Face,用來檢查、分享或訓練更好的模型。這次公佈的是合作的第一部分,希望讓開發者更容易使用開放模型,也能一起合作打造 AI 工具。

  9. llama.cpp Releases35

    llama.cpp 發布 b12443,修正 Nvidia Vulkan 的記憶體溢位問題

    llama.cpp 的 b12443 修正了 Nvidia 顯示卡使用 Vulkan 時,FP32 快速注意力功能可能讓共享記憶體用量超出上限的問題。如果暫存資料需要佔用太多記憶體,程式也會停用這種暫存方式。這次版本還列出多種作業系統與硬體的下載專案,例如 Linux、Windows、macOS、Android,以及使用 CPU、CUDA、Vulkan 等方式的版本。

  10. openrouter blog81

    OpenRouter 為 Hugging Face 的聊天模型提供跨服務商路由

    同一個聊天模型可能由多家服務商提供,遇到速度變慢或故障時,請求也可能卡住。現在 Hugging Face Inference Providers 透過 OpenRouter 為聊天模型挑選服務商,會依即時價格、速度和可靠度分流,服務商出錯時也會在同一次呼叫中改試其他家;原有的 Hugging Face 權杖和程式碼仍可使用。OpenRouter 的測試中,容量錯誤減少 46%、第一個 token 到達時間快 16.9%、處理量增加 16.3%,每次請求成本則高出 6.0%。開發者也能把請求與回答紀錄存進自己的 Hugging Face Storage Bucket,供日後評估或微調模型;圖片和其他媒體不會存入。

    推薦理由:這次整合把模型路由和請求紀錄接到同一套工作流程,並提供價格、速度與可靠度的取捨資訊,方便開發者依需求選擇服務提供者。

  11. Microsoft Research74

    TokenEconomizer 讓 AI 程式助理記住專案經驗,降低修 bug 花費

    AI 程式助理每次開始工作,都可能重新摸索熟悉的專案、載入用不到的工具,或一再卡在同一個錯誤,讓使用者花更多模型費用。TokenEconomizer 是開源外掛,會從每次工作紀錄整理出專案筆記、移除較少用到的工具,並在助理反覆遇到同一個問題時提醒它換個做法;之後也會依新經驗修正這些判斷。研究用五種 AI 助理與模型組合測試 277 個修 bug 任務,平均花費降低 18.4–30.9%,任務成功率大致維持穩定。剛開始累積經驗時,前幾個任務可能較花錢,但每個測試專案到第六個任務時,累計花費都已低於原本做法。

    推薦理由:研究比較五種 AI 助理與模型組合,顯示記住各專案的工作經驗能降低後續修程式的花費,且任務成功率大致維持穩定。

  12. Hugging Face Blog82

    Hugging Face 改用 OpenRouter,替開放權重模型挑選服務供應商

    使用開放權重模型時,同一個模型可能由不同服務供應商提供,速度、價格和穩定度也不一樣。Hugging Face 現在透過 OpenRouter 處理語言模型請求,依即時價格、速度與可靠度挑選供應商;遇到錯誤時,還會在同一次請求中改試其他供應商,程式碼不用更動。文章提到,新路由讓容量錯誤減少 46%,首次收到模型輸出的時間改善 16.9%。切換後,語言模型請求會向 Hugging Face 帳戶或組織請款,不能再使用自己的供應商 API 金鑰;圖片、影片和音訊生成則維持原本方式。

    推薦理由:Hugging Face 改用 OpenRouter 替語言模型挑選服務供應商,文中比較了價格、速度與可靠性,也列出路由改善幅度和切換後的金鑰限制。

11月16日週一
  1. AWS Machine Learning Blog66

    Amazon Bedrock 開放權重模型支援明確提示詞快取

    每次請求都重送很長的背景資料,會增加處理時間和輸入費用。Amazon Bedrock 的開放權重模型現在支援明確提示詞快取,開發者可以標出要重複使用的內容,讓後續請求直接讀取快取;也能使用自動快取,或同時使用兩種方式。文章用產品手冊問答和 OpenCode 寫程式的例子,示範如何檢視快取讀取與寫入用量。把不常變的指示和參考資料放在前面,有助於重複使用;實際支援方式、最低長度和儲存時間則依模型而異。

    推薦理由:文章比較自動與手動標記快取字首的做法,並示範如何檢視讀寫用量,方便估算重複使用長提示詞時的費用與延遲變化。

  2. Unsloth AI Releases72

    Unsloth Studio 推出 v0.1.918-beta,可讓模型操作電腦和連線創作工具

    模型要幫忙操作電腦或創作工具,得先看得到畫面,也要能和其他程式互動。Unsloth Studio 的 v0.1.918-beta 加入測試版電腦操作功能,支援 macOS、Windows 和 Linux;模型可檢視螢幕、控制滑鼠與鍵盤,但首次操作、切換應用程式和可能有風險的動作需要先核准,使用者也能隨時接手。更新也能透過 MCP 連線 Unity、Unreal Engine、Godot、Blender、Figma 和 Roblox,其中 Figma 只能讀取。此外,MiniMax-H3-Image 新增 GGUF、FP8、INT8 和 LoRA 訓練支援,長對話也能自動整理,減少舊訊息遺失。

    推薦理由:電腦操作功能可讓模型檢視畫面並控制滑鼠鍵盤,首次操作與可能有風險的動作都需先核准,呈現了這項功能的使用界線。

  3. Baseten35

    不是每項程式開發任務都需要前沿模型。開放模型的品質足以應付許多這類工作,成本也低得多。 我們整理了一份指南,說明如何評估用於程式開發 AI 助理的開放模型,內容包括: 選擇試行團隊和工作負載 使用自己已合併的 PR 衡量品質 追蹤經快取調整後每項成功任務的成本 盡可能提升易用性:沿用現有的 harness,並取得從目前模型對應到開放替代方案的指南 在此閱讀:https://t.co/I1FCWcQMGN

  4. llama.cpp Releases45

    llama.cpp b12441 修正 WebGPU 多頭注意力遮罩計算

    llama.cpp 的 WebGPU 版在處理多個注意力頭各自使用遮罩時,會漏算遮罩對應的頭,讓結果出錯。這次更新修正遮罩位置的計算,也調整記憶體估算方式,避免部分 K、V 資料格式組合超出工作群組的儲存空間限制。使用多頭遮罩時,計算結果因此能更正確;更新也列出 macOS、Linux、Android 和 Windows 等平臺的建置版本。

  5. Tauri Framework Releases38

    tauri-bundler v2.10.5 修正 Windows 安裝與打包問題

    更新 tauri-bundler v2.10.5 後,Windows 安裝程式會在許可權不足、系統帳號或特定資料夾位置時顯示更清楚的錯誤,並修正程式簽章失敗,以及 MSI 更新時把使用者刪掉的桌面捷徑加回來的問題。這次也修好 NSIS 的波斯文和希伯來文顯示、Linux 和 macOS 重複下載工具,以及 RPM 套件無法處理 beta 版本等狀況,讓不同系統上的安裝與打包流程更順利。

  6. vLLM Releases83

    vLLM 推出 0.34.0,新增 10 種模型並調整快取與執行器

    更新推論服務工具時,新功能可能讓原本的設定失效,也會改變模型能使用的 GPU 記憶體。vLLM 0.34.0 加入 10 種模型,並預設依暖機後實際空出的記憶體配置 KV cache;以 MiniMax-M3 在 H200 上為例,可容納的 token 從 433k 增至 672k,高並行時吞吐量也會提高,但部分模型每個 token 的生成延遲可能增加。這版也移除 Model Runner V1,只保留 V2,並把預設 block size 從 16 改為 64。升級前要檢查舊設定:例如通常不必再設定 gpu_memory_utilization,若要維持舊行為則可明確指定 block size 16。

    推薦理由:vLLM 0.34.0 同時調整 KV cache 預設與 GPU 執行器,並列出升級時可能打斷既有設定的變更,方便部署者評估更新影響。

  7. Browser Use Releases49

    Browser Use 1.0.6 改用 BU 4.0 作為預設模型

    Browser Use 1.0.6 把預設模型從 bu-fast 換成 BU 4.0,使用 Agent(task) 或 ChatBrowserUse() 時都會改用 bu-4.0。BU 4.0 的 token 費用是 bu-fast 的 15 倍:每 1M 輸入 token 要 $1.80、輸出 token 要 $9.00;文中一個簡短測試任務的費用,也從 $0.0014 變成 $0.022。簡單任務可指定 llm='bu-4.0-mini',困難任務可指定 llm='bu-4.0-pro';想維持原本模型和價格,則指定 llm='bu-fast'。

  8. Ollama Blog77

    Ollama 和 Together AI 說明如何讓開源模型跑長時間 AI 助理任務

    AI 助理處理長任務時,每一步都會帶上先前的對話與工具結果;如果每次都重新讀完整份內容,等待時間和成本會一路增加。Ollama 和 Together AI 說明,前面讀過的內容可以先存在快取裡,下一次只處理新增部分。要讓快取派上用場,工具說明和系統提示詞要盡量保持不變,工具結果也要避免塞入不必要的大量內容;推理程度最好從一開始就固定。引擎還得把後續請求送回存有快取的機器,並在等待工具執行時妥善儲存快取。這些做法能減少重複處理,讓長工作流程更順暢。

    推薦理由:文章從提示詞安排與 GPU 快取兩端說明長任務為何會變慢,並整理維持快取的做法,適合用來改善 AI 助理的工作流程。