跳到正文

開源生態

開源模型、框架與倉庫動態:權重開放、社群專案爆火、開源與閉源的力量消長。

最新精選

第 41–60 條 · 共 507 條
11月20日週五
  1. llama.cpp Releases61

    llama.cpp b12543 加快 Apple Silicon 上的 CONV_2D 運算

    在 Apple Silicon 上執行卷積運算時,部分 GPU 運算單元可能閒置,讓某些工作跑得較慢。llama.cpp b12543 為支援 tensor API 的裝置加入新的 CONV_2D 核心,也調整工作切分方式,並改善資料位置計算;不支援 tensor API 的裝置仍使用原本的核心。發布資料列出 M5 Max 上多種輸入尺寸的測試結果,顯示部分測試的每次運算時間縮短。對超過 4 GiB 的影像資料則會改用通用核心。

    推薦理由:llama.cpp 這次更新針對 Metal 上的 CONV_2D 卷積運算調整核心與工作切分方式,並提供 M5 Max 多種輸入尺寸的耗時比較,可用來瞭解效能變化。

11月19日週四
  1. Unsloth AI Releases64

    Unsloth 更新 AMD NPU 支援,並加入影像與影片 LoRA 訓練

    在本機訓練和執行 AI 模型時,硬體支援、模型格式和等待時間常讓人卡關。Unsloth 這次更新讓轉換後的 Q4NX 模型能在 AMD NPU 上載入,也會標示每個模型能不能執行;此外,使用者可以訓練 LTX-2.5 和 MOSS-Image 的 LoRA,並在影片頁面載入 NVIDIA Cosmos3 的 FP8 模型。更新也加入聊天排程,讓排程任務的回覆直接出現在原本的聊天室。部分影像與訓練工作在特定硬體上每步最多快 42%,實際速度會依顯示卡和設定而異。

    推薦理由:這次更新把 AMD NPU、影像與影片模型訓練,以及聊天排程整合進 Unsloth,呈現本機 AI 工作流程涵蓋的範圍。

  2. Tom’s Hardware AI & Computing76

    三張二手 Nvidia V100 跑 Qwen 3.6 35B,長上下文仍有每秒 72.7 個 token

    想在家用電腦跑大型語言模型,買新顯示卡可能很花錢。這篇評測用三張二手 Nvidia V100 組成總價 $1,042 的主機,測試 Qwen 3.6 35B;在 4K 上下文時,每秒約產生 100 個 token,到了 128K 仍有 72.7 個。作為比較,三張 P100 在相同條件下只有 40.2 個,V100 每次測試的 GPU 耗電也約是 P100 的一半。作者提醒,各臺裝置使用的執行工具不同,因此比較數字只能大致參考。

    推薦理由:這組測試比較不同退役 GPU 在長上下文下的速度與耗電,也列出自組成本,可用來評估舊卡能否應付本機模型推論。

  3. Lobste.rs (Engineering Discussion)76

    Zerodha 用 SQLite 打造分散式 Blobasaur,儲存大量使用者設定

    Kite 的圖表版面和工作區設定會變成很大的資料,舊系統在流量增加後遇到效能、容量和維護上的問題。Zerodha 打造了開源儲存服務 Blobasaur,用 SQLite 存資料,並把資料分到多個資料庫檔案,讓多筆寫入可以分開處理;它也能壓縮資料,並使用 Redis 協定,方便原有服務接上。團隊表示,16 個分片的測試中,寫入速度比 1 個分片快 3.3 倍;目前正式環境有 3 臺伺服器,交易時段的 p99 延遲約 2 毫秒。不過,目前節點間的資料分配是固定設定,不能線上調整,也沒有自動故障切換。

    推薦理由:文章交代 Blobasaur 如何用 SQLite 分片與批次寫入,應付大量偏好資料的讀寫,也呈現其效能取捨與目前的擴充限制。

  4. ModelScope66

    AI 助理要長時間操作終端機完成工作,往往得面對複雜的程式開發與研究任務。RadixArk 以 Qwen3.8-27B 為基礎,用 1,200 項軟體工程、科學和機器學習任務進行強化學習後訓練。DaisyRose-27B 在 Terminal-Bench 4.1 的 Pass@1 從 5.6 提高到 12.0,也在其他終端機、程式開發、指令遵循和推理評測中優於基礎模型。它保留圖片理解能力與 256K-token 上下文視窗,並提供 BF16、FP8 和 NVFP4 三種權重版本。

    推薦理由:DaisyRose-27B 在多項終端機與程式開發評測中優於基礎模型,呈現強化學習後訓練對長時間任務的影響。

  5. Dev.to Top Tech77

    Firecrawl Local 如何在自己的電腦上擷取網頁

    把網頁內容交給雲端處理,可能不符合資料留在自己電腦上的需求;Firecrawl Local 提供另一種做法。它是 Firecrawl 的開源單一執行檔,可在本機擷取、整理網頁,並提供 localhost:3002 的 API,也能當作 MCP server 給 AI 助理使用。搜尋、無法在本機擷取的網頁,以及 Alexandria 資料服務仍可能連到 Firecrawl Cloud;設定 FIRECRAWL_CLOUD=off 可關閉雲端轉送。它沒有 JSON 摘要、瀏覽器操作和長期儲存工作等完整伺服器功能,適合想在本機測試擷取流程的人。

    推薦理由:Firecrawl Local 把常用的網頁擷取工作留在本機,也說明哪些功能仍會連到雲端,方便評估資料流向與功能取捨。

  6. Rohan Paul68

    NVIDIA 員工對公司近期做法看法不一。根據《紐約時報》,暫代執行長 Colette Kress 告訴感到不安的員工,公司的晶片規劃和開放模型策略不會改變。報導也提到,有些員工簽署信件支援 Huang;另有 3 名知情人士說,有些員工不滿他削弱了業界在 AI 模型發布前先做安全測試的計畫。

    推薦理由:內容交代 NVIDIA 暫代執行長向員工重申晶片規劃與開放模型策略,並呈現員工對模型發布前安全測試的不同看法。

  7. Hao AI Lab65

    讓機器人在沒有事先示範的情況下操作,是 ORA 想處理的問題。Hao AI Lab 發布開源工具 ORA v0.1,並公佈它搭配 DeepSeek V4.1-Flash 的測試結果:RoboDojo 從 ORA October 預覽版的 5.2% 提升到 39.9%,RoboTwin 則從 71.5% 提升到 79.6%。這些數字呈現兩項測試的前後差異,原文沒有提供其他模型或測試條件的比較。

    推薦理由:ORA v0.1 在 RoboDojo 與 RoboTwin 的成績都高於 ORA October 預覽版,可看出這次更新在兩項測試中的變化。

  8. Lobste.rs (Engineering Discussion)61

    sysdeck 把 Linux 和 BSD 桌面常用工具收進一個快捷視窗

    在 Linux 或 BSD 桌面上,找檔案、貼回先前複製的文字,常要開不同工具。作者做了 sysdeck,按下快捷鍵就能在同一個視窗搜尋應用程式、檔案、剪貼簿紀錄等內容,也能控制音樂播放、Podman 容器和網路連線。它不會一直在背景執行,每次按快捷鍵才啟動,用完就關閉;作者的電腦約需十分之一秒開啟。這讓桌面操作集中在一個地方,也少了一個長時間佔用記憶體的背景程式。

    推薦理由:sysdeck 把搜尋、剪貼簿與桌面控制收進同一個快捷視窗,並以每次呼叫才啟動的設計,換取約十分之一秒的啟動時間。

  9. vLLM68

    vLLM v0.34.0 已發布,這次更新包含 1,061 次程式碼提交與 412 位貢獻者。新版加入 10 個模型,並預設啟用可擴充的 KV cache;Model Runner V2 成為唯一的 GPU 執行器。專案也表示,在 4× GB200 上,Step5 NVFP4 解碼最高可快 1.95 倍。升級前可參考公告附上的升級說明。

    推薦理由:這次更新同時加入 10 個模型並調整 GPU 執行方式,還列出 Step5 NVFP4 解碼的速度資料,可用來瞭解 vLLM 的更新範圍。

  10. ComfyUI Blog63

    Comfy Cloud 開放團隊使用自訂 ComfyUI 節點與模型

    團隊一起做圖或影片時,每位創作者都要各自準備節點、模型和硬體,設定容易不一致,較重的工作也可能超出本機 GPU 能力。現在,Comfy Cloud 付費方案都能使用 Custom Builds,把團隊支援的自訂節點、模型、LoRA 和相依專案打包成共用設定;新成員開啟瀏覽器,就能用相同工具接手工作,也能在 ComfyUI 畫布上調整工作流程,或透過 API 執行。團隊可選擇 GPU,並按工作量增加同時執行的任務;GPU 只在工作執行期間計費,每小時費率依 GPU 而異,介於 $1.75/hr 到 $11.23/hr。

    推薦理由:Custom Builds 把團隊選用的節點、模型與 LoRA 放進雲端共用環境,並按工作量調整 GPU 和同時執行的任務數,呈現協作流程如何延伸到雲端。

  11. Hacker News (official RSS)79

    一人如何用 AI 助理打造並維護 30 個開源程式庫

    一個人要打造和維護很多大型軟體,往往得花上大量時間。作者分享他如何安排 AI 助理分工,做出 30 個開源程式庫,涵蓋資料庫、遊戲引擎、檔案處理和 AI 工具等。每個專案由不同 AI 助理規劃和寫程式,並用測試或相容性檢查把關;助理不能自行發布,通過檢查後由作者按下發布按鈕。作者也說明,AI 助理會接手處理使用者回報的問題。

    推薦理由:作者以自己維護的 30 個開源程式庫為例,說明 AI 助理如何分工開發、用外部測試把關,並由人決定何時發布。

  12. Lobste.rs (Engineering Discussion)84

    Google 推出 ABFS,讓 Android 大型程式碼庫更快下載與建置

    Android 的程式碼庫很大,開發者每開一個新工作區,都可能得等很久才能下載程式碼和完成建置。Google 推出開源工具 ABFS,先載入檔案清單,等建置真的需要某個檔案時才下載,並共用開發者與 CI 已經完成的建置結果。Google 表示,Android 原始碼下載時間從約 36 分鐘縮短到不到 8 秒,完整建置則從約 80 分鐘縮短到 2 分鐘多。這讓開發者和 AI 助理能在同一臺機器上平行處理多個工作區;ABFS 也正嘗試支援其他大型 Git 專案與建置系統。

    推薦理由:Android 大型程式碼庫的下載與建置原本耗時很久,ABFS 展示了用按需載入和共用快取縮短等待時間的做法。

11月18日週三
  1. Rohan Paul70

    網路不穩或背景很吵時,語音辨識常會聽錯。Amsterdam 新創公司 Reson8 推出 Rumble-2-Flash,這款語音轉文字模型有 0.5B 個引數、大小為 1GB,可辨識 45 種語言,並主打處理濃重口音、多人同時說話、電話線路不佳和街道噪音。它能在手機上執行,讓通話和語音備忘錄不必連上網路也能轉成文字。原文表示,它的表現勝過體積大 20 倍的模型,並以 Apache 2.0 授權免費提供。

    推薦理由:Rumble-2-Flash 主打在手機上處理口音、多人重疊說話和街道噪音,可看出小型開放模型在語音辨識上的應用方向。

  2. Lobste.rs (Engineering Discussion)71

    Bonfire 1.1 讓社群自訂群組規則,並跨伺服器交流

    社群使用不同平臺時,常得搬到同一個地方才能一起討論。Bonfire 1.1 讓群組自訂誰能找到、加入、閱讀和發文,也能為不同主題開設討論空間。公開群組和主題現在可以跨 Bonfire 伺服器交流,也能從 Mastodon、Lemmy 等聯邦宇宙應用程式加入;開放網路和公告頻道也支援跨站傳播。地方社群和私人社團目前仍留在原伺服器,以便處理隱私。群組還能用投票整理意見,並選擇透過應用程式、手機或電子郵件接收通知。

    推薦理由:Bonfire 1.1 展示社群如何自訂成員與發文規則,並讓公開群組跨伺服器交流,適合瞭解分散式社群工具的設計取捨。

  3. Hugging Face Blog64

    Hugging Face 開源 0.5B 語音辨識模型 Rumble-2-Flash

    語音辨識模型常要用很大的模型,才能處理多種語言和吵雜的電話錄音。Hugging Face 開源了 Rumble-2-Flash,這個 0.5B 模型支援 40 多種語言,也能自動判斷語言;它還能設定數字要寫成數字或文字,以及是否保留填充詞和重複內容。在一項 302 小時、涵蓋 14 種英語口音的客服電話測試中,它的錯誤率是 7.86%,接近 30B 的 Nemotron 3.5 Transcribe。模型可透過 Transformers、vLLM 和 Hugging Face API 使用。

    推薦理由:Rumble-2-Flash 在多語言辨識與電話語音測試中,和大上許多的模型比較成績,呈現小型語音模型的實用範圍。

  4. Hugging Face Blog65

    IBM 時間序列模型加入 Confluent,協助企業即時預測與找出異常

    企業的銷售、付款和裝置讀數一直在變,等到定期報表出來才採取行動,可能已經太晚。IBM 和 Confluent 把時間序列模型放進 Confluent,讓團隊透過 Apache Flink 和 SQL,從即時資料預測需求、找出異常,也能搜尋相似的裝置訊號;模型可在雲端或企業自己的環境中用 CPU 執行。文章舉例,商店可依銷售預測安排補貨,工廠則能提早發現產品品質可能偏離目標。預測結果可提供給既有應用程式和作業流程參考,仍可搭配其他資料、規則與人工判斷。

    推薦理由:文章以零售補貨與工廠品管等案例,說明如何把時間序列預測和異常訊號接進即時資料流程,協助團隊更早採取行動。

  5. The Decoder79

    Hugging Face 改用 OpenRouter 分派模型請求,可選最快或最便宜的供應商

    開發者使用語言模型時,常要自己挑供應商,也可能遇到服務中斷。Hugging Face 現在透過 OpenRouter 分派模型請求,預設會依價格、速度和可靠度挑選供應商,遇到中斷時也會自動改用其他供應商;原有程式碼不必修改。開發者可用「:fastest」選吞吐量最高的供應商、用「:cheapest」選價格最低的供應商,也能直接指定供應商。OpenRouter 表示,採用新路由後,容量錯誤減少 46%,首個 token 出現時間改善 16.9%,吞吐量增加 16.3%。Hugging Face 會代為處理帳單,語言模型供應商的自備 API 金鑰不再適用,但圖片和影片服務仍可使用。

    推薦理由:Hugging Face 改由 OpenRouter 按價格、速度與可靠度分派模型請求,文中也提供切換供應商的方式與效能變化,能看出路由調整對開發者使用體驗的影響。

  6. vLLM Official Blog75

    vLLM 如何用 FlyDSL MonoKernels 降低 AMD GPU 上 AI 助理的回應延遲

    AI 助理每次要產生回覆時,常得依序啟動許多 GPU 工作;工作量小時,等待工作開始和結束也會拖慢回覆。vLLM 的 FlyDSL MonoKernels 把互相依賴的工作排進較少的 GPU 執行流程,讓部分工作可以接續進行,也能提早讀取後續需要的資料。文章列出多款模型在 AMD Instinct GPU 上的測試,並發量為 1 時,回應速度或每個輸出 token 的時間改善約 1.20× 到 2.26×。這項功能需自行開啟,適用範圍依模型、GPU 和工作量而定;並發量提高時,改善幅度通常會縮小。

    推薦理由:文章比較多款模型在不同 AMD Instinct GPU 與並發量下的測試結果,也說明低並發時的延遲改善和步幅限制。

  7. llama.cpp Releases70

    llama.cpp b12503 大幅改善 OpenVINO 後端的推論與記憶體使用

    使用 OpenVINO 跑 llama.cpp 時,模型推論可能花太多時間搬動快取和資料,也會佔用不少記憶體。b12503 更新了 OpenVINO 後端在 CPU、GPU 和 NPU 上的多項做法,例如依實際注意力範圍讀取 KV 快取、減少 NPU 預填階段的資料搬動,並讓部分執行設定可以選擇開啟。更新也調整了模型快取與注意力處理,修正多種模型和執行模式下的問題;實際可用的選項與效能改善會依裝置和設定而異。

    推薦理由:這次更新集中改善 OpenVINO 後端在 CPU、GPU 與 NPU 上的快取、記憶體使用和推論效能,並提供多項可調整的執行選項。