跳到正文

開源生態

開源模型、框架與倉庫動態:權重開放、社群專案爆火、開源與閉源的力量消長。

最新精選

第 61–80 條 · 共 508 條
11月18日週三
  1. llama.cpp Releases70

    llama.cpp b12503 大幅改善 OpenVINO 後端的推論與記憶體使用

    使用 OpenVINO 跑 llama.cpp 時,模型推論可能花太多時間搬動快取和資料,也會佔用不少記憶體。b12503 更新了 OpenVINO 後端在 CPU、GPU 和 NPU 上的多項做法,例如依實際注意力範圍讀取 KV 快取、減少 NPU 預填階段的資料搬動,並讓部分執行設定可以選擇開啟。更新也調整了模型快取與注意力處理,修正多種模型和執行模式下的問題;實際可用的選項與效能改善會依裝置和設定而異。

    推薦理由:這次更新集中改善 OpenVINO 後端在 CPU、GPU 與 NPU 上的快取、記憶體使用和推論效能,並提供多項可調整的執行選項。

  2. Dev.to Top Tech83

    開放權重模型落後封閉模型多久?作者用資料比較能力、算力與授權

    開放權重模型的能力和封閉模型差多少,會隨時間、評量方式和授權條件改變。作者用 Epoch AI 截至 2026 年 10 月 30 日的資料追蹤模型分數,指出 2026 年開放模型平均落後約 6.7 個月;中國團隊推出的模型已連續 673 天保持開放權重領先。不同地區的差距也不一樣:美國和歐洲模型落後更多,而授權條件會影響模型能不能用在商業服務。作者認為,選模型時除了看能力,也要確認來源與授權是否符合自己的需求。

    推薦理由:作者把開放權重模型的能力差距拆成時間、算力、地區與授權來比較,呈現採用這類模型時需要衡量的實際取捨。

  3. PyTorch Core Releases63

    PyTorch 改用共用 CUDA 核心處理混合資料型態的加減運算

    不同資料型態一起做加減時,框架需要處理多種運算組合,也得避免整數轉換出錯。PyTorch 這次把部分加減運算改成共用的 FP32 FMA CUDA 核心,涵蓋原地修改和輸出為 FP32 兩種情況,並保留涉及 FP32 的資料型態組合。更新也調整了 alpha 的轉換順序,避免整數 0、INT64_MIN 和 UINT64_MAX 遇到取負問題。測試涵蓋兩種運算模式及整數 alpha;提供的測試結果顯示,18 個 CUDA 測試案例通過,另有 1,296 組原始位元結果相符。

    推薦理由:這次更新整理了混合資料型態加減運算的 CUDA 核心,並用浮點結果與整數 alpha 的測試檢查不同情況下的結果是否一致。

  4. Dev.to Top Tech79

    Spark 4.3 即時模式如何處理有狀態串流與個人化推薦

    串流資料每次等一小批才處理,會多花時間;Spark 4.3 的即時模式讓資料一到就能往下跑,也開始支援去重、分組統計和自訂狀態運算。作者用點選書籍的例子,示範怎麼替每位讀者更新推薦清單,並比較它和微批次模式的延遲。在單機測試中,有狀態查詢的中位延遲是 50 毫秒;調低內部緩衝等待後降到 2 毫秒。實際使用還要預留足夠的核心,並留意去重資料可能持續累積;自訂狀態運算目前限 Scala 和 Java。

    推薦理由:作者以同一組串流工作比較微批次與即時模式,並展示狀態運算的延遲來源與實際部署限制。

  5. AWS Machine Learning Blog76

    SMART 如何用 Amazon Bedrock AgentCore 串接 WhatsApp AI 助理

    把 AI 助理接上 WhatsApp,麻煩的地方常是訊息格式、圖片和語音處理、對話記憶與提醒排程。AWS 的開源工具 SMART 提供 Python SDK 和 Terraform 設定,讓開發者把重心放在 AI 助理的提示詞、工具和商業邏輯,並由 SMART 處理通道工作。文章也示範如何在本機先試跑,再部署到 AWS;若訊息是在對方最後發言超過 24 小時後送出,就必須使用 Meta 預先核准的範本。文中提醒,這是供非正式上線用途的範例程式,部署前仍要符合自己的安全與法規要求。

    推薦理由:文章整理 WhatsApp 串接時常見的訊息、媒體、記憶與排程工作,並展示 SMART 如何把這些通道功能交給現成工具處理。

  6. GitHub Engineering81

    GitHub 如何用 Agent Host Protocol 讓 Copilot 工作階段跨裝置接續

    AI 助理如果綁在單一程式裡,關掉視窗或換裝置時,工作就難以接續;每個應用程式各自串接,也讓開發者不容易把 AI 助理帶進自己的工具。GitHub 說明 Agent Host Protocol(AHP)如何讓 VS Code、GitHub Copilot app 和其他使用者端共用工作階段、歷史紀錄與狀態。使用者端送出操作後,由伺服器更新狀態;遇到網路中斷時,使用者端可以重新送出排隊中的操作,等伺服器確認。VS Code 和 GitHub 也用不同語言各自實作主機,藉此找出協定需要補足的地方。

    推薦理由:AHP以獨立協定連線不同裝置與兩種獨立實作,文中也整理了跨網路中斷、重連與功能差異時的設計取捨。

  7. Lobste.rs (Engineering Discussion)83

    Phrack 73 集結 23 篇資安研究與 8 篇 Line Noise 文章

    資安研究涵蓋的範圍很廣,Phrack 73 集結多種技術研究與駭客文化故事,延續刊物重啟後的社群投稿。本期有 23 篇主要論文和 8 篇 Line Noise 文章,內容包括容器逃逸、Linux 核心研究、Chromium 沙箱漏洞、硬體與機器學習,也收錄從 PhrackCTF 延伸出的兩個 WinFSP 零時差漏洞研究。編輯團隊也提到 AI 助理已能分析原始碼和逆向工程二進位檔,並嘗試找出漏洞;他們希望讀者閱讀研究、檢驗想法,並投稿分享成果。

    推薦理由:本期目錄涵蓋漏洞研究、逆向工程與 AI 安全等主題,也回顧 PhrackCTF 如何帶出 WinFSP 零時差漏洞,可看出刊物如何串連資安研究與社群投稿。

  8. Google Developers Blog73

    Google 開源 ABFS,讓 Android 大型程式碼庫更快下載與建置

    Android 程式碼庫很大,下載原始碼和重新建置常要等很久,也讓開發者和 AI 助理難以快速開好多個工作區並平行測試。Google 做了開源工具 ABFS,先載入檔案清單,等建置真的需要某個檔案時才下載,並重用 CI 和開發者已經做好的建置結果。Google 表示,Android 原始碼下載時間從約 36 分鐘縮短到不到 8 秒,完整建置則從約 80 分鐘縮短到 2 分鐘多。ABFS 也能讓多個工作區共用快取;Google 正探索把它用在其他大型 Git 專案。

    推薦理由:ABFS 把大型 Git 專案的檔案按需載入,並重用 CI 與開發環境的建置結果,文中以 Android 實測呈現這套做法如何縮短等待時間。

  9. Replit Blog78

    Replit 推出 Missions,讓多個 AI 助理分工完成複雜任務

    團隊想完成大型專案,常會卡在人手和時間不夠。Replit 推出 Missions,使用者先說明目標、預算和哪些動作要先核准,接著由多個 AI 助理分工規劃、開發、測試和修改;完成進度與待核準事項都能檢視。Replit 用它打造自家的監控平臺 DataCat,花 2 天、預算上限 $3,000,完成儀錶板、警示和追蹤功能;測試時,平臺在 38 秒內找出刻意加入的資料庫錯誤。Replit 表示,DataCat 的自架版本也已開放原始碼。

    推薦理由:Missions 把多個 AI 助理分工執行、預算限制與人工核准放進同一流程,文中 DataCat 案例也呈現這套做法如何處理監控平臺建置與效能檢查。

  10. LMSYS Org Blog76

    SGLang Summit 發表 SGLang v1.0 與 Miles v0.2,擴大推論和訓練支援

    AI 模型越來越大,AI 助理也會累積大量工作紀錄,讓推論和訓練更難在不同硬體上順利進行。SGLang Summit 發表 SGLang v1.0,聚焦提升正式環境的效率與擴充能力;Miles v0.2 則支援 NVIDIA 和 AMD GPU、Google TPU,並將強化學習擴充套件到圖片、影片和音訊。大會也分享多個部署案例,例如 Meta 表示,改用 SGLang 後 GPU 用量減少超過 2 倍。這些更新與案例呈現了團隊如何把實際部署需求帶回開源工具的開發中。

    推薦理由:SGLang 與 Miles 的更新涵蓋推論和強化學習,也整理了不同硬體與實際部署的經驗,可看出開源工具如何回應現場需求。

  11. vLLM74

    看直播畫面時,AI 助理若要主動開口、回應內容並指出畫面中的物件,需要同時處理影片、對話和語音。vLLM Project 宣佈 vLLM-Omni 從第一天起支援 AURA 2.0,這款 9B 串流影片模型能判斷何時該說話、根據即時畫面和對話呼叫工具,並用方框標出正在討論的物件。vLLM-Omni 負責從語音辨識、影片理解到語音生成;在單一連線、使用兩張約 140 GB 加速器的設定下,首段回覆語音的中位延遲為 344 ms。原文也表示,AURA 2.0 在列出的四項基準比較中領先。

    推薦理由:vLLM-Omni 支援 AURA 2.0,並公佈單一連線設定下的首段語音延遲與四項基準比較,可瞭解這套視訊模型的互動方式與執行表現。

  12. Dev.to Top Tech77

    Kubernetes DiskPressure 教學:找出哪個 Pod 正在吃掉節點磁碟

    Kubernetes 節點磁碟快滿時,系統可能會趕走 Pod,但只看磁碟總量和資料夾大小,常找不到空間到底被誰用掉。Pawan Kumar 分享一套唯讀檢查指令碼,從有許可權的節點除錯 Pod 檢視磁碟,並把檔案用量連回名稱空間、Pod 和容器;在 Bottlerocket 上也能使用。指令碼還能找出持續增加的資料、已刪除但仍被程式佔用的檔案,以及過去被趕走的 Pod。文中以 ZooKeeper 為例,指出未啟用舊快照和交易紀錄清理,可能讓資料在不到四天內累積約 42 GB,並示範如何設定定期清理。

    推薦理由:文章把節點磁碟用量連回實際的 Pod、容器與檔案,並用 ZooKeeper 案例說明如何找出持續增長的資料與對應修法。

11月17日週二
  1. Unsloth AI Releases76

    Unsloth 0.1.919-beta 加入電腦操作,並更新模型選擇與圖片模型支援

    AI 助理要操作電腦或接上創作軟體,常得另外處理許可權和連線。Unsloth 0.1.919-beta 加入測試版電腦操作,讓本機視覺模型或已連線的服務檢視螢幕、控制滑鼠和鍵盤;第一次操作、切換應用程式和部分可能有風險的動作都要先核准,也能隨時接手。更新還能透過 MCP 連線 Unity、Unreal Engine、Godot、Blender 和 Roblox。MiniMax-H3-Image 新增多種硬體支援與 LoRA 訓練;原文表示,在 A100 80GB 上解碼 2048px 圖片從 2.82 秒縮短到 0.28 秒。

    推薦理由:這次更新把螢幕操作、創作軟體連線和本機圖片模型支援放進同一套工具,能看出 Unsloth 正擴大本機 AI 助理的使用範圍。

  2. Dev.to Top Tech77

    GitGuardian 盤點約 45 個可自動執行攻擊的開源 AI 助理框架

    把語言模型接上工具後,開源資安框架能自動執行一連串攻擊步驟,也可能被拿來搜尋公開程式碼中的機密。GitGuardian 閱讀程式碼並用 Shodan 盤點約 45 個框架,發現只有 Pojun、Cybermes、Xalgorix 和 AIRecon 內建可供 AI 助理使用的秘密掃描器,但都沒有 GitHub 抓取工具;由於許多框架仍能使用命令列和網路,模型可以在執行時自行串起這些步驟。研究也找到 11 個預設提供網頁介面的框架,部分公開服務缺少有效防護,防守者可先確認自家是否有服務暴露在網路上。

    推薦理由:這份盤點把約 45 個開源工具的秘密掃描能力與網路暴露情況放在一起,呈現防守方可先檢查的風險入口。

  3. Lobste.rs (Engineering Discussion)72

    CompCert 如何縮小與 GCC -O2 的效能差距

    CompCert 能用數學證明確認編譯器的最佳化不會改變程式行為,但執行速度原本落後 GCC -O2。作者團隊檢查程式產生的組合語言,找出迴圈重複讀寫資料、留下多餘指令等問題,再用 AI 助理協助新增和改進最佳化,並為改動補上形式證明。在 CompCert 自帶的測試程式中,改良版與 GCC -O2 的速度差距縮小到約 4% 至 6%;在其他大型程式上,差距仍較大。文章也分享一個重要提醒:形式證明能檢查最佳化是否安全,但如果編譯器對硬體的基本描述有錯,證明本身也無法保證產生的程式正確。

    推薦理由:這項實作比較了 CompCert 與 GCC 的效能差距,並指出缺少的最佳化才是主要原因,也呈現 AI 助理協助寫出並證明編譯器改動時仍需留意的環節。

  4. Dev.to Top Tech83

    Mistral Large 4 正式推出,開放權重供下載

    Mistral Large 4 已從預覽版轉為正式版,並開放模型權重下載;不過,各家測試它寫程式的結果差距不小。Mistral 表示,它在 Terminal-Bench 4.0 得到 41%,比預覽版高 13 個百分點,輸出 token 也少了 30%;獨立測試則約為 23% 到 25%,文章提醒這些差異可能來自測試工具和設定不同。另一項較有把握的優點是完成任務所用 token 變少,測得的單次任務成本也從 $5.54 降到 $2.06。API 價格已下調;Large 3 和 Medium 3.5 預計於 2027 年 4 月 30 日停止服務,使用者需要安排遷移。

    推薦理由:不同評測環境得出的程式任務分數差距很大,文中也比較了輸出量與單次任務成本,能幫助讀者判斷該怎麼看這些數字。

  5. MarkTechPost76

    NVIDIA 開源 NVKE 和 NVKR,管理 GPU 伺服器上的 Kubernetes

    要在自己的 NVIDIA GPU 伺服器上管理 Kubernetes 叢集,需要準備叢集管理工具和它依賴的系統映像檔。NVIDIA 開源了 NVKE 和 NVKR:NVKE 負責建立及管理叢集,NVKR 則建置叢集會用到的作業系統映像檔、容器映像檔和套件。兩者目前都在公開預覽階段,文章指出 NVKE 安裝後的 API 預設使用未加密的 HTTP,而且沒有開啟驗證;管理系統的升級與備份流程也尚未提供,因此目前不適合用在正式環境。

    推薦理由:NVKE 管理 GPU 伺服器上的 Kubernetes 叢集,NVKR 負責建置相關映像檔與套件;文中也整理了預覽版的安全與維護缺口。

  6. PostgreSQL Official News62

    pg_fastload 1.0.0 用平行處理加快 PostgreSQL 大量資料載入

    大量資料載入 PostgreSQL 時,原本的工具會在單一工作程式裡讀取、解析和寫入,讓多核心電腦的其他核心閒著。pg_fastload 1.0.0 把讀取和解析分給背景工作者,再由原本的工作程式負責寫入;整次載入仍是一筆交易,遇到錯誤資料就會取消整次載入。文中的測試以 1 GiB CSV 資料進行,預設設定比 COPY 快 6.07 倍,比上游 pg_bulkload 最快的模式快 1.58 倍。部分設定不適用平行處理時,程式會自動改用單一工作程式。

    推薦理由:pg_fastload 把讀取和解析工作分給背景工作者,同時保留單一交易;文中也比較了它和上游工具及 COPY 的測試結果。

  7. Dev.to Top Tech79

    四大科技公司同週開源 AI 代理基礎設施套件

    GitHub 週榜顯示,Google、NVIDIA、阿里巴巴、騰訊四家公司在同一週釋出針對 AI 代理的基礎設施程式碼,分別負責知識、評估、審查與治理層。這些開源工具讓代理能自動檢查安全、評估技能效益、使用決策規則,並在團隊環境中加入審核流程,降低模型本身的限制,對想打造可控且可擴充套件 AI 代理的開發者提供了可直接套用的參考。

    推薦理由:原文說明四大企業同時開源代理框架基礎設施,凸顯基礎層標準化競爭,適合評估自家代理工具的治理與評估流程。

  8. Dev.to Top Tech82

    Anthropic 的 FlashProve 如何證明 API 回覆來自指定模型

    透過 API 使用模型時,回覆裡的模型名稱只是服務商的說法,無法直接證明實際是哪個模型產生內容。Anthropic 團隊推出開源研究原型 FlashProve,讓服務商先為模型權重做出隱藏內容的識別記號,再替每次回覆附上加密證明,讓別人確認指定模型確實產生了那些文字,而且不用取得模型權重或 GPU。以 Llama 4 Maverick 測試時,每 1,024 個 token 的證明約 19 MB,CPU 驗證約需 17 秒,但產生證明的 GPU 成本約是一般推論的 70–95 倍。它目前只支援特定整數模型與貪婪解碼,文章也提醒這仍是研究原型,尚有程式驗證與長上下文等限制。

    推薦理由:FlashProve以可驗證的加密證明確認回覆來自指定模型,文中也列出驗證速度、成本與解碼限制,呈現這種做法的實際取捨。