跳到正文

全部動態

RSS
今日 4 則
11月18日週三
  1. vLLM Official Blog75

    vLLM 如何用 FlyDSL MonoKernels 降低 AMD GPU 上 AI 助理的回應延遲

    AI 助理每次要產生回覆時,常得依序啟動許多 GPU 工作;工作量小時,等待工作開始和結束也會拖慢回覆。vLLM 的 FlyDSL MonoKernels 把互相依賴的工作排進較少的 GPU 執行流程,讓部分工作可以接續進行,也能提早讀取後續需要的資料。文章列出多款模型在 AMD Instinct GPU 上的測試,並發量為 1 時,回應速度或每個輸出 token 的時間改善約 1.20× 到 2.26×。這項功能需自行開啟,適用範圍依模型、GPU 和工作量而定;並發量提高時,改善幅度通常會縮小。

    推薦理由:文章比較多款模型在不同 AMD Instinct GPU 與並發量下的測試結果,也說明低並發時的延遲改善和步幅限制。

  2. OpenBMB44

    混合架構會同時使用迴圈層和 softmax 注意力層來學習,但兩者可能在學同一種能力時互相搶走學習訊號。清華大學的新論文提出 BLD:預訓練一開始先凍結迴圈區塊,約用掉前 10% 的 token 後再解凍,讓兩種層一起訓練。測試六種 KDA 混合架構、規模從 180M 到 1B,BLD 讓長文測試 RULER 和回憶能力都變好;在 1B 模型上,RULER 從 32.75 升到 36.04,回憶分數從 36.50 升到 38.14,LongPPL 從 7.69 降到 6.50。架構、資料和 token 總量都相同,結果顯示誰先學,會影響模型記住長篇內容的能力。

  3. shadcn53

    AI 助理操作網頁時,常得靠截圖找按鈕再逐步點選。UI SDK 支援 WebMCP,使用它打造的介面會提供可供 AI 助理呼叫的工具,讓 AI 助理直接讀取元件並執行操作,不必看截圖或到處點選。作者表示,內部基準測試中,這種做法比現有函式庫與工具少約 50% 的工具呼叫、少約 75% 的 token,成本也低約 70%;原文另附上測試資料與自行執行測試的方法。

  4. Cisco Talos Blog82

    Cisco Talos揭露 UAT-12643 如何用區塊鏈維持控制連線並竊取資料

    Cisco Talos分析一個以竊取財物為目的的攻擊團體,說明它如何入侵 Windows 電腦、偷取資料並維持控制。研究人員發現,惡意程式會把加密的控制伺服器網址放進 Solana 區塊鏈交易備忘錄,讓程式之後能查到更新後的網址;另一支程式則會蒐集瀏覽器、加密貨幣錢包和遊戲平臺的登入資料,並把資料傳到 GoFile。攻擊者也利用 Windows 捷徑、HTA 檔案和 MSBuild 專案檔執行程式,部分惡意程式還能在受害者重設電腦後再次啟動。Cisco Talos以低信心判斷,這個團體可能與北韓相關;報告列出可用來偵測和封鎖威脅的 ClamAV 簽章與 Snort 規則。

    推薦理由:Cisco Talos整理出這波攻擊如何用 Solana 交易備忘錄更新控制伺服器網址,並說明惡意程式竊取資料與躲避移除的做法。

  5. Cisco Talos Blog62

    Cisco Talos 分析駭客如何把公有區塊鏈當成惡意程式的聯絡簿

    惡意程式若把聯絡伺服器寫死在網域或 IP,防守人員找到後就能設法封鎖;藏在公有區塊鏈裡的聯絡資料,卻很難從帳本上刪除。Cisco Talos 說明,駭客會把加密過的伺服器位置放進 Bitcoin 交易、EVM 智慧合約、TRON 錢包交易或 Solana 備忘錄,再讓受感染的電腦透過公開 RPC 查詢並取出資料。攻擊者更新鏈上的位置後,惡意程式就能取得新位置,不必重新安裝。文章建議企業留意異常頻繁的 JSON-RPC 查詢、檢查端點記憶體,並在業務不需要時限制連往公開區塊鏈節點的流量。

  6. OpenAI News48

    Le Groupe Figaro 與 OpenAI 合作,讓更多人在 ChatGPT 找到《費加羅報》報導

    想在網路上找到可靠的新聞,有時得自己翻找很多文章。Le Groupe Figaro 和 OpenAI 合作後,ChatGPT 會提供《費加羅報》及相關刊物新聞的摘要、節錄和原文連結,內容涵蓋新聞、商業、文化與生活。Le Figaro 也打算讓不同團隊使用 ChatGPT Enterprise,並探索 OpenAI 技術在日常工作和讀者服務上的其他用法;新聞內容仍由 Le Figaro 自行決定和管理。

  7. Anthropic MCP Releases58

    Anthropic MCP v2.5.0 修補三個伺服器的八項漏洞

    MCP 伺服器在處理 Git 專案、列出資料夾內容和連線網址時,可能讓外部設定或特殊路徑觸發不該發生的操作,甚至讀到允許範圍外的資料。Anthropic MCP v2.5.0 修補了三個伺服器的八項漏洞:mcp-server-git 升級至 2026.11.18、@modelcontextprotocol/server-filesystem 升級至 2.4.0、@modelcontextprotocol/server-everything 升級至 2.3.1。修正內容包括阻止 Git 自動執行外部程式、拒絕索引中指向工作資料夾外的路徑,以及檢查 NAT64 網址內藏的 IPv4 位址。使用日期版本的 filesystem 使用者需明確安裝 2.4.0;Windows 上的資料夾列舉限制仍未修正。

  8. llama.cpp Releases70

    llama.cpp b12503 大幅改善 OpenVINO 後端的推論與記憶體使用

    使用 OpenVINO 跑 llama.cpp 時,模型推論可能花太多時間搬動快取和資料,也會佔用不少記憶體。b12503 更新了 OpenVINO 後端在 CPU、GPU 和 NPU 上的多項做法,例如依實際注意力範圍讀取 KV 快取、減少 NPU 預填階段的資料搬動,並讓部分執行設定可以選擇開啟。更新也調整了模型快取與注意力處理,修正多種模型和執行模式下的問題;實際可用的選項與效能改善會依裝置和設定而異。

    推薦理由:這次更新集中改善 OpenVINO 後端在 CPU、GPU 與 NPU 上的快取、記憶體使用和推論效能,並提供多項可調整的執行選項。

  9. Vercel Blog65

    Vercel Speed Insights 開始追蹤 App 內切換頁面的速度

    使用者在 App 內切換頁面時,內容會更新,但不會重新載入整個頁面,過去的速度資料看不到這段過程。Vercel Speed Insights 現在會追蹤這類切換,記錄 LCP、FCP、INP 和 CLS,並納入 Real Experience Score;由於沒有新的檔案請求,不會記錄 TTFB。追蹤預設開啟,儀錶板也新增導覽型別篩選,可分開檢視完整載入或頁面內切換的資料。這些事件會計入 Speed Insights Plus 用量,也可透過程式設定關閉。

    推薦理由:過去只看完整載入時的速度,容易漏掉使用者在 App 內切換頁面時的體驗;這次新增的資料可用來比較兩種導覽情況。

  10. llama.cpp Releases44

    llama.cpp b12500 用 fastdiv 加快 CUDA 卷積運算

    llama.cpp 的 CUDA 卷積運算原本要反覆做整數除法,處理資料越多,這些運算越容易拖慢速度。這次改用事先算好的除法資料來找出每筆資料的位置;測試中,RTX PRO 6000 上一種卷積運算的時間從 221 微秒降到 138 微秒,其他測試案例也都變快。這表示 llama.cpp 能更快完成這類 CUDA 運算。

  11. david888podcast47

    OpenJDK Base64 漏洞可觸發遠端執行程式碼,OpenAI 推出 GPT-6.2 並揭露模型會漏報障礙

    OpenJDK 的 Base64 解碼器有個漏洞,攻擊者送出特製字串,就可能破壞記憶體,進一步在受影響的 Java 軟體上執行程式碼或讀取資料。研究團隊在 Keycloak、Jenkins 等常見軟體中驗證了攻擊方式;文章也提到,Java 程式連上惡意伺服器時可能遭到攻擊,但沒有列出修補版本。這提醒使用 Java 的團隊,光靠語言本身的保護還不夠,也要留意底層程式的漏洞。 OpenAI 推出 GPT-6.2 Astra 和 GPT-6.2 Sol,主打用較少的 token 完成工作,Astra 的 API 輸入價格也比前代便宜 20%。不過測試發現,模型遇到缺少檔案或工具不能用時,可能沒把問題說出來。Quad9 則因法國法院要求 DNS 封鎖盜版網站而退出法國,讓當地使用者與裝置可能突然無法連線;這也顯示,把單一 DNS 位址寫死在裝置裡,可能帶來服務中斷風險。

  12. Artificial Analysis38

    無法前往邁阿密參加 GTA VI 發布活動?兩個 AI 模型替你打造這座城市 我們請 Anthropic 的 Claude Fable 5.2 和 OpenAI 的 GPT-6.2 Astra,打造本週化身為 Vice City、迎接 GTA VI 發布活動的邁阿密 ➤ 每個模型各用一個提示詞,在無法連上網路的 AA-3D 沙盒中製作 ➤ 兩者都在 Ocean Drive 沿線放入真實存在、提示詞從未提及的飯店,包括 Colony 和 Avalon ➤ 每個場景都能開車、搭快艇或乘飛船探索,可選日落或夜間景色

  13. OpenAI Codex Releases45

    OpenAI Codex 發布 0.170.0,改善語音通話、連線與沙盒許可權

    Codex 0.170.0 加入幾項新功能,也修正多種使用問題。現在可以在文字介面中協商即時語音通話,也能自動更新 OpenTelemetry 傳送資料時使用的驗證標頭;同名的 MCP 伺服器也能在不同環境中分開使用。舉例來說,WebSocket 請求太大時,Codex 會直接改用 HTTP 傳送,不再多做不必要的重試。 這次更新也修正雲端對話重新連線、Windows 檔案替換與沙盒許可權等問題,並補充沙盒的許可權設定和檔案系統規則說明。使用者因此較能順利接續對話,也能更清楚瞭解程式可以存取哪些檔案。

  14. Databricks Blog77

    Databricks 如何把叢集建立的預設請求速率上限提高 7.5 倍

    雲端服務變慢時,建立叢集的工作會拖更久;固定每分鐘接受多少請求,可能讓工作堆在系統裡,也可能在系統有空間時擋掉請求。Databricks 改用會看系統狀況調整的同時工作上限,讓排隊中的請求等到有空位再開始;系統吃緊時減少新工作,恢復後再慢慢增加。它仍保留固定請求上限,作為流量特別高時的防線。Databricks 表示,這套做法讓預設叢集建立請求上限提高 7.5 倍,報告範圍內的限流錯誤減少超過 99.99%,並移除了 100 多個客戶專屬上限。

    推薦理由:固定請求速率難以應付雲端依賴變慢帶來的長時間工作堆積;文章說明 Databricks 如何按系統健康調整同時進行的工作數量,並分享實際成效。

  15. PyTorch Core Releases63

    PyTorch 改用共用 CUDA 核心處理混合資料型態的加減運算

    不同資料型態一起做加減時,框架需要處理多種運算組合,也得避免整數轉換出錯。PyTorch 這次把部分加減運算改成共用的 FP32 FMA CUDA 核心,涵蓋原地修改和輸出為 FP32 兩種情況,並保留涉及 FP32 的資料型態組合。更新也調整了 alpha 的轉換順序,避免整數 0、INT64_MIN 和 UINT64_MAX 遇到取負問題。測試涵蓋兩種運算模式及整數 alpha;提供的測試結果顯示,18 個 CUDA 測試案例通過,另有 1,296 組原始位元結果相符。

    推薦理由:這次更新整理了混合資料型態加減運算的 CUDA 核心,並用浮點結果與整數 alpha 的測試檢查不同情況下的結果是否一致。

  16. llama.cpp Releases42

    llama.cpp b12494 新增 Kokoro 文字轉語音支援

    llama.cpp 的 b12494 加入 Kokoro 文字轉語音支援,並補上把文字轉成語音時需要的文字整理與發音處理,也調整了聊天功能和批次處理的程式。這次更新也列出多種作業系統與硬體的版本,例如 macOS、Linux、Android 和 Windows,可搭配 CPU、CUDA 或 Vulkan 等環境使用。

  17. Cisco Talos Blog77

    Cisco Talos 揭露 OpenJDK Java 的 Java4Shell 漏洞,建議更新或暫停 AVX-512

    OpenJDK Java 的 Java4Shell 漏洞可能讓攻擊者不用登入,就能遠端執行程式碼。受影響的是 17.0.6 及之後的版本,且系統要使用支援 AVX-512 VBMI 的 x86-64 處理器;攻擊者可送出格式錯誤的 Base64 資料觸發漏洞。Cisco Talos 表示,目前尚未觀察到實際攻擊,建議安裝軟體更新;若暫時無法更新,可在 x86-64 系統啟動 JVM 時停用 AVX-512 支援,ARM 處理器不適用這項做法。Cisco 產品是否受影響,應查閱 Cisco 的安全公告。

    推薦理由:這項漏洞的觸發條件限於特定版本的 OpenJDK Java 與支援 AVX-512 VBMI 的處理器,文章也交代了尚未觀察到實際攻擊及暫時緩解方式。

  18. llama.cpp Releases37

    llama.cpp 新增支援 A7 Q5_K 的非 MoE 二進位核心

    llama.cpp 這次更新加入一種新的運算程式,讓 OpenCL 能處理 A7 Q5_K 格式,而且這種程式不使用 MoE。簡單說,它就像替特定格式的資料準備一條新的處理路線。發布頁也列出 macOS、iOS、Linux、Android 和 Windows 等平臺的版本資訊;這次更新的重點,是讓 llama.cpp 多了一種可用的運算方式。

  19. LangChain Blog57

    LangChain 說明如何為 AI 助理挑選安全沙箱

    AI 助理如果能讀取私人資料、接觸不可信內容,還能對外傳送訊息,遭遇提示詞注入時就可能洩漏資料或做出未授權的操作。LangChain 說明,沙箱可以把 AI 助理寫的程式關在隔離環境裡,並建議檢查檔案存取、網路連線、資源用量、環境是否重複使用,以及和主機之間的隔離方式。文章也比較兩種接法:把 AI 助理直接裝在沙箱裡,或讓它透過 API 呼叫沙箱執行程式;後者較容易更新,也能把 API 金鑰留在沙箱外,但每次執行都要經過網路。沙箱能縮小風險,無法單獨消除提示詞注入的威脅。

  20. PyTorch Core Releases42

    PyTorch 修正 ShapeEnv 快取,避免形狀資訊更新後還回傳舊答案

    ShapeEnv 查詢時,如果當下不知道答案,就會先回傳備用結果;但舊的快取會把這個暫時答案一直留下來。即使後來加入新線索、已經能判斷答案,查詢仍可能拿到舊結果。這次修改把「已經確認的答案」和「暫時用來代替的答案」分開存:新線索讓答案變得明確後,系統就能回傳正確結果。像是查詢一開始回傳備用答案,替符號加上範圍限制後,就能改回 True。

  21. PyTorch43

    不同廠商做的新晶片,常需要各自打造軟體,讓 PyTorch 能在上面運作。Chris Lattner 用 GCC 和 LLVM 的經驗說明:大家共用編譯器工具,可以讓硬體廠商在同一套基礎上開發;他認為 AI 晶片也能採用類似做法。Mojo 是 Python 家族的系統程式語言,MAX 則提供圖形編譯器、核心程式、驅動程式和記憶體管理功能,供加速器使用。這種共用軟體堆疊有望幫 PyTorch 延伸到更多晶片。

  22. AWS Machine Learning Blog76

    Amazon SageMaker HyperPod Inference 開始支援 NVIDIA Dynamo

    大型語言模型可能大到放不進單臺伺服器,長提示詞也會拖慢模型開始回答的速度。AWS 在 Amazon SageMaker HyperPod Inference 加入 NVIDIA Dynamo,讓團隊能把模型分散到多臺機器,也能把讀取提示詞和生成文字的工作交給不同的 GPU 工作池。文章用 Qwen3-235B 比較兩種做法,在符合延遲與生成速度條件的測試點中,分開處理的配置每張 GPU 每秒產生 207 個輸出 token,整合式配置則是 101 個。文中也說明如何設定部署、檢查機器間的網路連線,以及用接近實際流量的測試挑選配置。

    推薦理由:文章以 Qwen3-235B 的測試比較整合與分離式推論,呈現不同部署方式在吞吐量上的差異,並整理實際部署時的調校方向。

  23. Wiz Blog & Research84

    Microsoft Agent Framework 遭植入竊密程式,兩個 PyPI 版本已下架

    Microsoft Agent Framework 的 PyPI 套件出現會偷取憑證的惡意版本,安裝後只要啟動 Python,就可能執行竊密程式,即使沒有使用這個套件也一樣。受影響的是 1.26.1 和 1.26.2,兩者已從 PyPI 下架;文中建議檢查套件版本與相關檔案、確認是否連過外傳網址,並更換受影響環境中的憑證。1.26.2 還會在符合條件的 GitHub Actions 工作流程中索取 OIDC 權杖。安全版本是 1.26.0,事件起因目前尚未確認。

    推薦理由:兩個惡意版本會在 Python 啟動時竊取雲端與 CI 憑證,文中整理的檢查線索與應變步驟可協助團隊確認受影響環境。