跳到正文

全部動態

RSS
今日 4 則
11月21日週六
11月20日週五
  1. PyTorch Core Releases36

    PyTorch 修正 XPU 的 grouped_mm 遇到空張量時失敗的問題

    在 MoE 裡,有時一批資料不會分到任何專家,讓輸入的 token 數變成 0;這時 PyTorch 的 XPU 版 grouped_mm 會出錯。問題是底層 oneDNN 無法處理某些維度為 0 的分組資料。這次修正會在輸出沒有元素時直接結束;如果 K 維度是 0、但輸出仍有內容,就把輸出設為全 0,因為這時沒有任何數值可以加總。測試涵蓋這兩種情況,讓空輸入也能得到正確結果。

  2. Databricks Blog79

    Databricks 推出涵蓋 70 個產業的互動式參考架構

    規劃資料平臺時,通用架構圖常說不清各產業實際會用哪些系統和資料。Databricks 推出涵蓋 70 個產業的互動式架構圖,整理各行業的資料來源、格式、團隊和應用,也能切換雲端與檢查不同地區的產品供應狀況及發布階段。每張圖都能檢視說明、複製修改,或匯出成多種格式;如果要從業務描述開始,也可用 AI Architecture Assistant 找出接近的產業架構再編輯。這些圖適合作為規劃起點,仍要依各公司的系統和需求調整。

    推薦理由:這套架構把各產業常見的資料來源、團隊與應用放在同一張可編輯的圖上,也能查不同雲端和地區的產品供應情況。

  3. llama.cpp Releases36

    llama.cpp 修正 Inkling 2 的專家權過載入

    llama.cpp 原本會讀取 MoE 模型中各專家的部分縮放資料,卻漏掉合併在一起的 gate 和 up 權重。這會讓 Inkling 2 傳給運算流程的專家縮放資料不完整。這次更新補上載入方式:模型沒有分開的 up 權重時,會把合併權重的縮放資料交給 up 權重使用,讓 Inkling 2 像其他 MoE 模型一樣,把專家縮放資料傳進運算流程。

  4. DuckDB Official Blog80

    DuckDB 2.0.1 LTS 修正安全與資料問題,新增 GPU 查詢擴充功能

    DuckDB 2.0.0 有些情況會漏掉資料,也有設定可能讓外部存取沒有被擋住。DuckDB 2.0.1 LTS 修正這些問題,並修補 Linux 記憶體管理與 Brotli 解碼器相關漏洞;若暫時不能升級,Linux 使用者可設定 DUCKDB_JE_MALLOC_CONF=muzzy_decay_ms:0,降低其中一項記憶體問題的影響。這版也新增 Sirius,能在符合條件的 Linux 電腦上用 NVIDIA GPU 執行 DuckDB 查詢;第一次載入時會下載約 1 GB 的對應程式。升級前還要檢查 SECRET 許可權範圍,以及 UPDATE ... FROM 和 MERGE 的更新結果可能受到多筆符合資料影響。

    推薦理由:這次更新同時修正資料遺失與安全問題,也調整部分舊行為;文中列出升級前需檢查的設定與暫時緩解方式。

  5. Hugging Face Blog84

    Hugging Face 示範為 Qwen3.8-27B 訓練 AI 助理工具專用介面卡

    通用模型搭配不同 AI 助理工具時,可能會多花時間和 token,解程式問題的表現也不夠好。Hugging Face 團隊把強化學習直接放進 pi、Hermes Agent 和 OpenCode 這三種工具中,分別為 Qwen3.8-27B 訓練介面卡,也把三者合併成一個版本。測試顯示,各自的專用版本在對應工具和程式開發基準上都優於原模型,完成任務時也少用工具;合併版本則能在三種工具中使用。這套流程與訓練資料也公開,讓其他人能照著調整自己的模型和任務。

    推薦理由:這套流程把強化學習放進實際使用的 AI 助理工具中,並比較專用與合併介面卡的成效,可供重現與評估程式開發任務。

  6. OpenBMB58

    老師批改手寫英文作文時,得先辨認字跡,再逐句檢查拼字和文法。OpenBMB 推出的開源 app PaperReview 可匯入作文照片,辨認手寫內容,並把修改建議連回原文,讓老師對照學生寫的字和辨識結果。MiniCPM-OCR 1.0 負責辨識,MiniCPM5-2B 檢查拼字、文法、標點和大小寫;老師可以逐項接受或略過建議,也能保留進度、稍後接著改。下載模型和執行環境後,辨識與文字檢查會在 Apple Silicon Mac 本機進行,學生作文不必送到雲端模型。

  7. Anthropic Newsroom99

    Anthropic 完成 IPO,公開募股與同步私募合計募得約 $119.5 billion

    Anthropic 宣佈 IPO 已完成,並同步向多家公司私募股票。公開募股共售出 1,127,000,000 股,每股 $83.00,募得約 $93.5 billion,其中約 $91.6 billion 由 Anthropic 收取;另有約 $26.0 billion 的私募交易。兩部分合計約 $119.5 billion,以上金額均為扣除承銷折扣、佣金及其他費用前的總額。Anthropic 的 A 類普通股已在 Nasdaq Global Select Market 以「ANT」代號開始交易。

    推薦理由:公告列出 IPO 募資、公司實收金額與同步私募規模,可用來看出這次募資的組成與資金流向。

  8. PyTorch Core Releases74

    PyTorch 為 MPS 加入 segment_reduce 前向運算

    PyTorch 使用 MPS 做 segment_reduce 時,原本沒有這項運算的原生前向實作。這次更新加入加總、平均、最大值、最小值和乘積運算,支援 float32、float16 與 bfloat16;反向運算目前還未實作。在 M5 Pro 的測試中,使用 offsets 的多種資料形狀都有加速,依運算種類約為 13 到 101 倍;改用 lengths 時,共用前端每次呼叫會多出兩次主機同步,部分測試因此變慢。

    推薦理由:這次更新提供 MPS 上 segment_reduce 前向運算的實測比較,也顯示輸入方式會大幅影響速度,評估效能時可一併留意主機同步成本。

  9. 888Embody42

    每日論文雷達:19 篇具身 AI 研究,從電路板製作到機器人導航

    機器人要做精細工作,常得同時看懂環境、想好步驟,還要把動作控制得很準;只靠一個模型從頭包辦,可能不夠穩。這次整理了 19 篇具身 AI 研究,其中 JARVIS 讓機器人掃描工作區,先在虛擬環境預演設計和製作電路板,再實際動手;ROAM 則把環境理解和機器人的移動控制分開合作,讓四足或雙足機器人在高山、城市等環境中長距離導航。這些研究顯示,把「看懂、規劃」和「精準動作」分工,可能有助機器人處理更複雜的真實工作。

  10. llama.cpp Releases54

    llama.cpp b12561 加入 Vulkan 版 GATED_DELTA_NET 分段處理

    在不同顯示卡上執行同一種運算時,效能調整和相容性處理可能各不相同。llama.cpp b12561 更新 Vulkan 版 GATED_DELTA_NET,加入分段處理,並針對 RDNA4、Ampere 和 NVIDIA 顯示卡調整程式,也修正部分驗證錯誤與效能問題。這次更新還列出多種系統與硬體的下載版本,方便使用者依自己的裝置選用。

  11. PyTorch Core Releases42

    PyTorch 修正 ROCm 分析工具處理活動紀錄時的當機問題

    ROCm 分析工具處理紀錄時,背景工作可能同時新增資料,讓正在讀取資料的程式遇到問題而當機。這次修改會先把待處理的紀錄分批取出,再放開鎖來分類和處理;處理期間新來的紀錄會留到下一次處理或清理時再讀。修改也保留共用緩衝區的事件數量限制,並加入檢查這些情況的測試。不過,這項作法不保證每筆同時送來的紀錄都會被處理;新測試也尚未在 CI 工作中執行。

  12. llama.cpp Releases54

    llama.cpp 修正 Adreno 驅動算錯總和、長提示詞後亂吐字的問題

    部分 Qualcomm Adreno 顯示晶片使用的專有驅動,在程式走過不同分支後會算錯加總,讓 llama.cpp 在長提示詞後可能吐出不該有的文字。這次更新關閉該驅動的相關運算路徑,也一併停用依賴它的合併計算方式。在 Adreno 850 和 X2-90 的運算測試中,兩項測試都從未全數通過變成全數通過;Adreno 850 上的 llama 3B Q4_0 測試結果則維持不變。

  13. PyTorch Core Releases69

    PyTorch 為 ROCm 的 UALink GPU 加入 fabric handle 記憶體共享

    ROCm 原本用 POSIX 檔案描述符,讓不同 GPU 共享可擴充的記憶體區塊;區塊很多時,開啟的檔案描述符會碰到數量上限。這項 PyTorch 修改加入 fabric handle,讓支援 UALink 的 GPU 改用另一種共享方式,並修正 HIP 不接受特定主機存取設定的問題。作者在 MI450 和 ROCm 10.3 上測試,16,384 個區塊都能完成共享,而檔案描述符方式在上限較低時會提早失敗。測得的頻寬提升不大,這項修改主要改善大量區塊共享時的可靠性。

    推薦理由:這項修改主要改善 UALink GPU 間共享大型記憶體區塊時的穩定性,也避開檔案描述符數量上限;文中測試顯示傳輸頻寬提升有限。

  14. PyTorch Core Releases77

    PyTorch 修正 Inductor 長串資料寫入造成的效能問題

    PyTorch Inductor 把一長串資料寫入操作合併執行時,每個工作區塊都會讀取大量用不到的資料,拖慢了補零工作。這次修正調整了圖形最佳化方式,遇到較長的寫入鏈時,改成直接把資料寫進指定位置,避免重複讀取。在 GB300 的本機測試中,每輪工作約省下 25 毫秒;GB200 測試也觀察到每輪至少省下 44 毫秒。

    推薦理由:這項 PyTorch Inductor 修正說明,長鏈融合可能讓每個執行區塊重複讀取不需要的資料,並以實測呈現改用原地寫入後的效能差異。

  15. cloudflare blog91

    nginx 揭露五個可能導致伺服器遭入侵的漏洞,Cloudflare 說明代理防護範圍

    nginx 有五個新漏洞,攻擊者可能利用其中一些漏洞讓伺服器當機,或在特定條件下執行指令。Cloudflare 表示,透過自家 HTTP 代理連線的網站,HTTP/2 和 HTTP/3 攻擊會在 Cloudflare 邊緣節點終止,無法直接把攻擊用的連線資料送到網站的 nginx;但郵件代理、部分 DNS 查詢設定,以及能繞過 Cloudflare 直連來源伺服器的情況,不在這項防護範圍內。Cloudflare 建議更新至 nginx 1.30.7 或 1.31.9,並確認來源伺服器只能透過 Cloudflare 存取。文中也指出,截至 11 月 19 日,尚無這些漏洞在野外遭利用的通報;其中一項 Linux 核心漏洞當時還沒有修補程式。

    推薦理由:文章拆解五個 nginx 漏洞各自需要的設定與攻擊條件,並說明 Cloudflare 代理在哪些情況能擋住攻擊、哪些情況仍須直接修補。

  16. PyTorch Core Releases55

    PyTorch 為 ROCm 的可擴充套件記憶體加入 UALink 分享支援

    ROCm 原本用 POSIX 檔案描述符,讓不同 GPU 分享可擴充套件記憶體;但每個區塊都會佔用一個描述符,數量太多時就可能分享失敗。這次 PyTorch 改用 fabric handle,讓支援 UALink 的 GPU 能交換記憶體區塊,也避開檔案描述符上限。測試中,16,384 個區塊都能完成分享;POSIX 檔案描述符方式則在系統上限較低時提早失敗。改動也繞過一個 HIP 問題:從 fabric handle 匯入的記憶體只開放 GPU 存取。測試顯示,這項改動主要改善分享的穩定性,沒有帶來明顯頻寬提升。

  17. AWS Machine Learning Blog43

    Kimi Code CLI v2.7.0 可用 AWS 認證連線 Amazon Bedrock

    以前用 Kimi Code CLI 連線 Amazon Bedrock,要另外準備一組 API 金鑰,得多花心力管理。Moonshot AI 在 v2.7.0 加入原生 bedrock provider,讓 CLI 改用現有的 AWS 認證,也能選擇指定的帳號設定檔或透過 SSO 登入。以 Kimi K3.1 Pro Highspeed 為例,設定好模型後,就能在寫程式時串流接收回覆,並使用圖片輸入和工具呼叫功能。這讓連線設定更省事,但仍要妥善保護 AWS 認證,並只開放需要的許可權。

  18. AWS Machine Learning Blog71

    Amazon SageMaker Inference 回顧 2026 年後續 14 項更新

    模型上線後,團隊還得處理延遲變高、GPU 沒用滿、流量塞在單一區域等問題。這篇文章整理 Amazon SageMaker Inference 後續推出的 14 項更新,涵蓋效能建議、LoRA adapter 調校、GPU 分割、多節點模型服務、跨區域流量分配和持續監控。例如,跨區域路由能把請求送到其他已登記的端點,並限制哪些區域可以處理流量;原有端點也能用少量額外機器分批更新模型,再重複使用既有機器。文章透過一個客服 AI 助理團隊的假想案例,說明這些工具如何協助團隊管理模型上線後的工作。

    推薦理由:文章依照模型上線後常見的營運難題,整理 SageMaker Inference 的更新如何協助團隊調校效能、共用 GPU 資源並跨區域分流。

  19. PyTorch Core Releases53

    PyTorch 將舊版 ProcessGroupNCCL 移出開源版,改用 nccl2

    PyTorch 開源版原本還會建置舊版 ProcessGroupNCCL,這次更新把它移到內部程式碼,讓開源版的 ProcessGroupNCCL 改用 nccl2。舊版後端和部分 Python、C++ 介面也一併移除;需要使用相關 C++ 擴充功能的開發者,得改用新的 nccl2 標頭檔。直接建立 ProcessGroupNCCL 時,現在會依群組排名設定裝置並提早初始化通訊;若程式要使用其他裝置,就必須設定群組排名,或啟用延後初始化。

  20. Artificial Analysis45

    語言模型能不能做出比影片生成模型更好的影片?Artificial Analysis 讓 OpenAI 的 GPT-6.2 Astra 用 three.js 程式碼打造雪梨歌劇院、拆解中的機械錶,以及巨龍攻擊中古城鎮的場景,再用瀏覽器裡的虛擬攝影機拍成 15 秒、1080p、24 fps 的影片。ByteDance 的 Dreamina Seedance 2.5 則收到相同的攝影機路線,搭配路線參考圖作為文字提示詞。這場比較要看的是:語言模型寫程式做出的影片,能否和專門生成影片的模型競爭。

  21. Together AI Official Blog65

    Tencent Hy4 登上 Together AI,可讀圖片並用來寫瀏覽器遊戲

    想讓 AI 助理看懂圖表,還能照著要求做出簡單遊戲,可以試試 Tencent Hy4。Together AI 現在提供這個模型的雲端服務,可用文字和圖片輸入,也支援工具呼叫與 JSON 輸出。文章測試它讀取圖表數字並重畫成 HTML,也讓它用單一提示詞寫出瀏覽器遊戲;作者實際開啟遊戲,確認能玩到結束並重新開始。Together AI 列出的價格是每 1M 輸入 token $0.83、輸出 token $2.50,快取輸入 token $0.042。

    推薦理由:文章用讀取圖表、重畫圖表和製作瀏覽器遊戲的實測,呈現 Hy4 在 Together AI 上的圖文輸入與程式生成表現,並列出使用價格。