跳到正文

#開源生態

RSS
今日 0 則
11月16日週一
  1. PyTorch Core Releases35

    PyTorch FlyDSL 新增 gfx950 的 fused matmul 與 reduce-scatter 原型

    這次更新在 FlyDSL 的選用版本中加入一種把矩陣運算和資料分散合在一起處理的原型。它使用 bf16 和加總方式,沿第 0 維分散資料,支援 TP 2、4、8,並限定用在 gfx950;運算時也會在同一個核心裡加總這個處理單位負責的資料區塊。這項功能需要 FlyDSL 和 gfx950 才能測試。

11月15日週日
  1. llama.cpp Releases44

    llama.cpp 發布 b12398,改善 RDNA3、RDNA4 顯示卡的提示詞處理

    llama.cpp 的 b12398 版本調整了 Vulkan 的 Flash Attention,讓 RDNA3 和 RDNA4 顯示卡處理提示詞時能減少記憶體使用,並修正多項問題,包括 NVIDIA 顯示卡可能卡住,以及稀疏 Flash Attention 使用 FP16 時的數值錯誤。這次更新也列出多種作業系統和硬體平臺的下載版本,方便使用者依自己的裝置選擇。

11月14日週六
  1. PyTorch Core Releases55

    PyTorch 更新 NCCL Extensions 版本,並調整建置條件

    PyTorch 更新了 NCCL Extensions 的來源版本,並調整 NCCL-EP 的建置條件:沒有指定架構清單時,就不建置 NCCL-EP。更新說明也提到 NCCL-EP v0.3 已推出,加入 Vera Rubin 支援,並改善 NVLink 資料傳送與合併等功能。這次變更主要是更新 PyTorch 使用的來源版本,並讓建置依架構設定進行。

  2. PyTorch Core Releases52

    PyTorch 更新 NCCL Extensions 版本,調整 NCCL-EP 建置條件

    PyTorch 這次更新了 NCCL Extensions 的來源版本,也調整 NCCL-EP 的建置條件。新的版本是 NCCL-EP v0.3,加入 Vera Rubin 支援,並改善 NVLink 資料傳送與合併等功能;不過,PyTorch 只有在指定的架構清單為 sm_90 或更新架構時才會建置 NCCL-EP。這次更新也同步調整了套件來源版本,讓 PyTorch 使用新的 NCCL Extensions 版本。

  3. Databricks Blog39

    Apache Spark 和 Apache Flink 怎麼選?多數團隊用 Spark 就能兼顧批次處理和即時資料

    團隊要處理大量資料,又想快速看到新資料,常得在 Apache Spark 和 Apache Flink 之間做選擇,甚至同時維護兩套系統。Databricks 的文章認為,多數團隊用 Apache Spark 就夠了:它能處理批次工作、資料分析和串流資料;Real-Time Mode 也讓資料能在幾毫秒內一路處理完成,不必為了更快的串流另外架一套 Flink。文章的測試中,處理有狀態的資料整理時,Spark 的 p99 延遲是 14 ms,Flink 是 45 ms;不過測試由 Databricks 執行,實際表現仍要看自己的工作內容。若需要超大型狀態資料、複雜事件比對,或已經在使用 Flink,Flink 仍可能更適合。

  4. Meta Engineering75

    Meta 說明如何讓 Android Cuttlefish 在 Apple silicon 的 Mac 上執行

    Android 虛擬裝置原本只能在 Linux 上執行,使用 Mac 開發的人因此得在兩種模擬器之間切換,測試結果也可能和實際裝置有落差。Meta 調整 QEMU 和 Cuttlefish,讓它們能在 Apple silicon 的 macOS 上運作,也補上 Mac 原生畫面、觸控操作、建置與簽署支援。開發者因此能在 Mac 上使用較貼近實機的虛擬裝置,並與其他開發者及 CI 使用相同環境。Meta 已分享 QEMU 分支和 AOSP 修補檔供社群使用,也正在探索將改動送回上游。

    推薦理由:文章拆解 Cuttlefish 在 Apple silicon 上原生執行的主要改動,能幫助讀者理解 Linux 虛擬裝置框架移植到 macOS 時會遇到哪些工程問題。

  5. Hugging Face Blog65

    Hugging Face 發布 XYBench,測試 AI 助理能否看出問題問錯了

    有時候,人問的問題不是解決麻煩的好方法,例如蛋糕還太熱,卻一直想找讓糖霜黏住的方法。Hugging Face 與研究人員推出 XYBench,收錄 8,115 個程式和日常生活問題,用來測試 AI 助理能不能看出使用者真正想達成的目標,並把回答帶向更合適的解法。測試發現,受測模型常會回答使用者原本問的方法,較少把真正的目標放在回答重點;即使模型在選擇題中能挑出較好的建議,也不一定會在自己回答時這麼做。這項基準目前以英文和程式性問題為主。

    推薦理由:XYBench 比較模型回答字面問題與真正目標的差異,也呈現模型辨認出好建議後,仍未必能在作答時優先採用。

11月13日週五
  1. DeepSeek66

    想在自己的應用程式裡加入 DeepSeek App 的功能,現在可以透過 DeepSeek API 使用搜尋、檔案、連結、安全和語音功能。開發者可以用幾個引數開啟內建功能,也能單獨呼叫 OCR、ASR 和 TTS,打造更多元的對話,或重現完整的 DeepSeek App。DeepSeek 也提供開源前端示範,支援匯入 DeepSeek 對話紀錄。

    推薦理由:DeepSeek 將 App 的搜尋、檔案與語音等功能開放給 API 使用,並提供可匯入對話紀錄的前端示範,方便了解整合方式。

  2. OpenBMB39

    現場攝影機拍到畫面後,通常還需要人檢視、整理,才能用來處理工作。CamThink 把 NeoEyes 邊緣攝影機、NG4500 AI Box 和 NeoMind 平臺接在一起:攝影機拍下照片後,會觸發 AI 助理,讓內建的 MiniCPM-V 4.7 1B 依照提示詞清點人數、找出安全違規、檢視垃圾桶裝了多少,或讀取儀表數字。結果會整理成資料,顯示在儀錶板,也能用來發出異常提醒或連線其他系統。照片和分析結果會留在現場網路內;辨識效果則會受提示詞、照片清晰度和模型能力影響,重要工作仍應由人確認。

  3. llama.cpp Releases82

    llama.cpp 發布 v1.0.0,新增模型支援並加強伺服器防護

    使用本機模型時,開發者會遇到模型格式、硬體和伺服器安全等不同問題。llama.cpp v1.0.0 更新了公開 API,加入 FP8 KV 快取、CPU 專家快取和外部資料分片載入,也支援 Kimi-K3.1-Pro、Ripple、xing4_0 等模型,以及語音和視覺輸入。伺服器部分修正了 DNS rebinding、CORS 和 SSRF 等安全問題,也新增語音生成 API;網頁介面則加入聊天分組和 Markdown 編輯器。這次更新涵蓋模型執行、伺服器和操作介面,並同步升級 ggml 至 v1.0.0。

    推薦理由:這次更新同時調整 llama.cpp 的公開 API、模型支援與伺服器防護,能看出這個工具如何擴充套件本機多模態應用並處理常見網路風險。

  4. PyTorch Core Releases48

    PyTorch Inductor 加快 FakeTensor 資料更新,區域性修改最快快 54 倍

    PyTorch Inductor 原本每次更新 FakeTensor 資料時,都會掃描整張運算圖;如果只改了其中一小部分,連沒受影響的地方也得檢查,編譯就會花較多時間。這次新增的更新方式從已知的修改位置開始,只往受影響的地方檢查,資料沒有變化時就提早停下。測試中,對一張有 1,605 個節點的運算圖做 200 次區域性修改,更新時間從 25.4 秒降到 0.47 秒,快了 54 倍。結果顯示,若修改隻影響小範圍,就能少做很多不必要的檢查,讓更新更快。

  5. vLLM Official Blog85

    vLLM 如何在 Vera Rubin NVL72 上提升 DeepSeek-V4.1-Flash 推論效能

    vLLM 說明如何在 Vera Rubin NVL72 上部署 DeepSeek-V4.1-Flash,並透過核心最佳化與機架級記憶體池提升服務吞吐量與延遲表現。

    推薦理由:文章拆解 Vera Rubin NVL72 上的核心最佳化,並以 AgentX 資料呈現吞吐量、延遲與快取命中率的變化,可供評估大規模模型服務的部署取捨。

  6. Hugging Face Blog82

    Granite 4.1 3B 與 8B 推出 LLMON 實驗預覽模型

    Granite 4.1 3B 與 8B 推出 LLMON 實驗預覽模型,透過專用標記將指令、資料與要求分開表示,並以執行區塊指定彼此關係。 - 提示注入測試:在 OPI 基準上,LLMON 相較測試中的最佳前沿模型多避免 47% 的攻擊,相較最佳開源模型多避免 95%;在 ASB 與 StruQ 也觀察到類似趨勢。

    推薦理由:文章說明 LLMON 如何以明確的指令與資料分隔降低靜態間接提示注入成功率,並交代基準測試範圍與尚在改進的自適應攻擊。

  7. Browser Use Releases48

    browser-use 1.0.3 修正命令列錯誤並加快瀏覽器操作

    使用 browser-use 操作瀏覽器時,關閉連線可能讓命令列報錯,找不到瀏覽器也可能要等很久。browser-use 1.0.3 修正了這些情況:例如,連線提早關閉時,命令列會正常結束;如果 BU_CDP_URL 指向沒有回應的位址,系統會在 3 秒內顯示錯誤。取消雲端操作後,下載的檔案也會在 10 秒內複製完成。這些改動能減少等待,也讓錯誤訊息更清楚。

  8. Databricks Blog64

    Block 如何透過 Buzz 與 Unity Gateway 打造協作式 AI 助理

    Block 以開源協作空間 Buzz,讓員工與多個 AI 助理在同一環境中協作,並透過 Unity Gateway 存取不同模型。 - 協作方式:使用者可建立AI 助理、選擇其模型或 coding harness,並與同事在群組討論、專注對話或一對一交流中共同工作。

    推薦理由:文章以 Block 的 Buzz 為例,說明如何讓同事與多個 AI 助理在共享工作空間協作,並透過不同模型與 harness 配置探索任務效率與成本。

11月12日週四
  1. Hugging Face Diffusers Releases72

    Hugging Face Diffusers 0.43.0 整合五種生成與模擬模型

    Hugging Face Diffusers 0.43.0 新增五種模組化模型整合,涵蓋影像生成與編輯、影音生成、語音驅動動畫及世界模擬。具體包括 MiniMax-H3-Image、Pika H3 Flex、P-H3-Image、Kandinsky S2V 1.0 和 PAN 2。

    推薦理由:Diffusers 0.43.0 將五種生成與模擬模型整合為模組化流程,並補上平行化、注意力後端及 LoRA 等工程改進,呈現其應用範圍與部署變化。

  2. llama.cpp Releases36

    llama.cpp b12311 改善模型下載搜尋、進度顯示與跨使用者端同步

    llama.cpp b12311 更新 Discover 搜尋介面與下載狀態處理,改善搜尋期間下載專案的呈現、進度更新,以及不同使用者端之間的同步。 - 下載進度與狀態:改為分別節流每個檔案的進度更新,並確保每個檔案的首次更新會傳送;使用者端要求暫停或取消時,伺服器會回報停止狀態,避免被介面顯示為下載失敗。