PyTorch Inductor 重整切分軸處理,為更多維度的運算鋪路
PyTorch Inductor 原本把運算切分軸的數量寫死在三個,讓部分超過三個維度的運算無法使用這種切分方式。這次更新改用輸入資料的維度來產生軸名稱,並依設定限制可用的切分數量;區塊大小的既有規則則保留下來。這是支援更多維度切分的前置重整,後續的更新才會啟用更完整的多維切分。
推薦理由:這項重構移除 Inductor 對三個切分軸的固定限制,並保留區塊大小等既有規則,讓後續支援更多維度的切分有了基礎。
PyTorch Inductor 原本把運算切分軸的數量寫死在三個,讓部分超過三個維度的運算無法使用這種切分方式。這次更新改用輸入資料的維度來產生軸名稱,並依設定限制可用的切分數量;區塊大小的既有規則則保留下來。這是支援更多維度切分的前置重整,後續的更新才會啟用更完整的多維切分。
推薦理由:這項重構移除 Inductor 對三個切分軸的固定限制,並保留區塊大小等既有規則,讓後續支援更多維度的切分有了基礎。
PyTorch Inductor 原本把可切分的軸寫死,最多隻能處理三個軸,讓更高維度的切分不容易加入。這次改動改成依輸入資料的維度產生軸名稱,並依設定限制挑選切分方式,也調整了自動調校和資料描述子的處理。它為後續支援更多維度的點元素與歸約切分打下基礎;原有的區塊大小限制仍保留。作者也回報了多組主機與 Hopper 測試結果。
研究人員常得排隊等共用 GPU 叢集,才能測試大型模型或科學模擬。NVIDIA 推出 DGX Spark Developer Kit,把四臺 DGX Spark 直接連成一組,不必另外購買或設定網路交換器;四臺合計有 512GB 記憶體和 20TB 儲存空間,可在桌邊分配模型與科學運算工作。研究團隊能先在本地開發、除錯,再把成熟的工作放大到更大的系統,也能讓未公開成果和專有資料留在自己的裝置上。套件已在 SC26 展示並開放購買。
推薦理由:四臺 DGX Spark 可組成桌邊運算叢集,讓研究團隊先在本地測試多節點工作,再決定如何擴充套件到大型系統。
Claude Code v2.1.326 加入多項操作提示,也修正了設定、登入、MCP 連線和遠端操作等問題。像是設定了不完整的工具規則時,啟動時會提醒你;如果背景工作還在執行,用手機或網頁按下停止,也會一併結束這些工作。這次更新也修正了部分情況下,舊檔案可能蓋掉 Claude 修改過的檔案。整體來說,這版讓錯誤比較容易被發現,也讓工作紀錄和檔案處理更可靠。
模型推論要跑得快,常得針對不同模型、硬體和工作量調整程式;把所有運算塞進一個大型 GPU 核心,雖然有時很快,卻難以套用到不同情況。Together AI 推出 Together Compiler,讓 AI 助理直接修改模型執行流程,並用真實資料測量速度,再反覆嘗試不同做法。文章提到,這套系統在不到 24 小時內、使用不超過兩臺運算節點,於多種模型和其他程式專案中取得加速;作者也提醒,測試資料不貼近實際使用情況,可能讓最佳化方向出錯。
推薦理由:文章拆解 Together Compiler 的設計取捨,說明實際資料、測量方式與 AI 助理的搜尋流程如何影響推論最佳化。
使用 WebGPU 執行模型時,可能遇到運算元不支援、運算不穩或不同 ORT 版本無法搭配的問題。ONNX Runtime WebGPU Plugin EP v0.6.0 新增多種運算支援,也改善部分運算的速度與數值穩定性,並加入設定選項和著色器快取功能。升級時要留意 ORT 版本:最低需求是 1.24.4;部分版本支援不同工作階段同時執行,其他版本則要讓同一裝置上的 WebGPU 操作依序進行。即使能同時執行,也不能在同一個工作階段重疊進行 I/O 繫結和 Run。
想用文字或現有素材生成影片時,Seedance 2.5 Flash 現在可透過 Vercel AI Gateway 使用。它是 Seedance 2.5 的較快、較低成本版本,可生成帶同步音訊的影片,也能參考圖片、影片或音訊,或編輯和延長既有影片。影片長度為 4 到 30 秒,最高 720p、每秒 24 格,並支援橫向、方形和直向畫面。使用者可透過 AI SDK 7 呼叫這個模型。
企業使用自行微調、自架或尚未正式推出的模型時,過去得另外管理金鑰、程式碼和紀錄。Vercel AI Gateway 現在能把這些模型接到團隊自己的端點,並沿用相同的驗證方式、SDK、API 和監控工具;呼叫時只要更換模型 ID,也能在私有模型和目錄模型間切換。私有模型只供團隊檢視與呼叫,憑證會加密儲存,也可為各家服務商啟用零資料保留。團隊還能檢視用量、設定端點故障時改用目錄模型,或在連線 AI Gateway 的程式開發工具中使用私有模型。
推薦理由:原文說明私有模型如何沿用 AI Gateway 的介面與監控,方便團隊把自架模型和目錄模型放在同一處管理。
Vercel 的 Spend Management 現在能分別設定專案和產品的預算,也能檢視目前帳單週期的花費。以專案預算為例,達到上限時可以選擇暫停該專案的正式環境部署,不會影響其他專案;產品預算則能追蹤整個團隊在 Fast Data Transfer 等單一產品上的花費。預算用到 50%、75% 和 100% 時,Vercel 會發出通知;團隊與專案預算也能設定自動暫停部署,產品預算則不支援。Pro 團隊與採用 Flexible Commitment 方案的 Enterprise 團隊可免費使用這項功能。
推薦理由:Lux 已開放科學研究人員使用,並把 AI 與高效能運算整合在同一臺超級電腦中,支援聚變能源、新材料與地球系統預測研究。
AI 助理分散在不同工具和平臺上,工程師難以接續開發,管理團隊也不容易看出誰負責、花了多少錢或表現如何。LangChain 把 LangSmith 改以每個 AI 助理的一筆紀錄串起建置、執行、評估和管理;不同環境的追蹤資料會放在同一筆紀錄下,也能依助理型別顯示合適的指標。團隊可以連線已在其他平臺執行的助理,不必改動原有流程。LangSmith 目前提供一般用途和程式開發兩種助理型別,語音助理型別則仍在規劃中。
推薦理由:LangSmith 把追蹤、評估、部署與管理資料放到同一筆 AI 助理紀錄下,文中也說明不同型別的助理如何採用相應指標。
用表格資料預測客戶會不會流失、商品需求有多少,通常得為每種工作各自訓練和維護模型,既花時間,也得處理 GPU 設定和管理。表格基礎模型(TFM)先用大量合成資料預訓練,拿到新資料時,就能參考已知答案來預測,不必從頭訓練;例如 TabICLv2 約有 28M 個引數,商用授權較寬鬆,但不同模型在效能、成本和授權上各有取捨。 Databricks AI Runtime 提供代管 GPU,並整合實驗追蹤、資料治理和模型部署,讓團隊能在資料所在的平臺測試或微調 TFM,再把模型用於批次工作或即時預測。這類模型有機會省下建置和維護專用模型的時間,但每次預測都要把資料交給模型處理,GPU 用量可能隨資料列數和欄位增加;企業仍得用自己的資料評估準確度與運算成本。
企業可選的 AI 模型越來越多,光看模型表現或每個 token 的價格,很難知道哪種選擇最適合手上的工作。Databricks 推出公開的 AI Index,整理企業使用模型的情況與花費,也用實際程式開發任務比較不同模型和 AI 助理工具組合的成功率與每項任務成本,並計畫每週更新。資料顯示,開放權重模型在企業流量中的佔比從 7 月的 7.3% 升到 11 月的 30.9%;有些模型 token 單價較低,完成任務卻可能花更多錢。Index 也提醒企業按自己的工作內容比較品質和成本,因為測試結果不一定適用所有團隊。
推薦理由:Databricks AI Index 把企業採用情況和程式任務的品質、成本放在一起比較,呈現模型選擇如何隨工作需求改變。
醫療機構想在其他平臺分析 AWS HealthLake 的臨床資料,過去得先把資料匯出、複製,還要分別管理許可權。Databricks 透過 OpenSharing 直接讀取 HealthLake 的資料,讓資料留在原處,也能交由 Unity Catalog 管理誰可以檢視和查詢。使用者還能透過 Genie One 用日常語言提問,例如檢視平均 A1C 每月的變化;系統會整理答案並提供表格和圖表。這讓不熟悉 SQL 的醫療與營運人員也能探索資料。
推薦理由:這套整合讓 HealthLake 的 FHIR 資料能在不另存副本的情況下供 Databricks 查詢,並由 Unity Catalog 管理許可權,呈現臨床資料跨平臺使用的做法。
只看雲端設定或程式碼,都可能漏掉 AI 助理被攻擊後會造成什麼影響。Wiz 推出 AI Security Agent 公開預覽版,可從程式碼儲存庫、支援的 PaaS 平臺和自架環境找出 AI 應用程式,分析它的用途、工具和許可權,再把結果連到 Wiz Security Graph 的雲端資訊。文中的案例顯示,原本看似普通的內部 AI 助理,可能因為可從網路連線的入口、過大的服務帳號許可權和未受阻擋的儲存資料,形成一路通往敏感資料的攻擊路徑。Wiz 表示,這項工具在部分客戶環境中找出的 AI 助理數量,最高是傳統探索工具的五倍。
推薦理由:Wiz 將 AI 應用程式的程式碼分析與雲端許可權、網路暴露及敏感資料串在一起,能從文中案例看出這種做法如何還原完整攻擊路徑。
使用大型語言模型時,功能和費用常要一起考量。Vercel AI Gateway 現在提供 Tencent 的 Hy4 Flash,這是 Hy4 系列中價格較低的模型,保留推理、工具呼叫、結構化輸出、提示詞快取和圖片輸入,也有相同的 1M-token 上下文視窗;不需要推理的請求則可關閉這項功能。透過 AI Gateway 使用時,輸入、快取輸入和輸出 token 到 2026 年 11 月 29 日都有 5 折優惠,適合留意大量程式開發、AI 助理或檔案處理工作所需的成本。
推薦理由:Hy4 Flash 保留 Hy4 系列功能並大幅降低每個 token 的價格,文中也交代限時折扣,能看出成本與功能之間的取捨。
llama.cpp 的 b12443 修正了 Nvidia 顯示卡使用 Vulkan 時,FP32 快速注意力功能可能讓共享記憶體用量超出上限的問題。如果暫存資料需要佔用太多記憶體,程式也會停用這種暫存方式。這次版本還列出多種作業系統與硬體的下載專案,例如 Linux、Windows、macOS、Android,以及使用 CPU、CUDA、Vulkan 等方式的版本。
同一個聊天模型可能由多家服務商提供,遇到速度變慢或故障時,請求也可能卡住。現在 Hugging Face Inference Providers 透過 OpenRouter 為聊天模型挑選服務商,會依即時價格、速度和可靠度分流,服務商出錯時也會在同一次呼叫中改試其他家;原有的 Hugging Face 權杖和程式碼仍可使用。OpenRouter 的測試中,容量錯誤減少 46%、第一個 token 到達時間快 16.9%、處理量增加 16.3%,每次請求成本則高出 6.0%。開發者也能把請求與回答紀錄存進自己的 Hugging Face Storage Bucket,供日後評估或微調模型;圖片和其他媒體不會存入。
推薦理由:這次整合把模型路由和請求紀錄接到同一套工作流程,並提供價格、速度與可靠度的取捨資訊,方便開發者依需求選擇服務提供者。
網路上的兒少性虐待影像可能是新出現的圖片,也可能由 AI 生成,讓安全團隊難以找出並處理。OpenAI 推出新的影像分類器,協助辨認疑似影像並排序審查優先順序,經審核的組織可透過 OpenAI API 免費申請使用。早期測試估計,在找到約相同數量的虐童影像時,新工具可讓需要人工檢查的圖片減少 48%。OpenAI 也會在 ChatGPT 對尋找虐童材料的行為顯示警告、暫停使用 24 小時,並提供開發者指引和調查工具。
推薦理由:新分類器提供的早期測試資料,可看出它如何減少審查量並協助辨認新型態虐童影像,也呈現不同合作單位的測試結果。
研究團隊想用 AI 協助研究,可能需要工具、訓練和經費支援。OpenAI 擴大 ChatGPT for Academic Researchers 計畫,下一輪將提供 50,000 份補助,符合資格的申請者依送件先後取得名額;每份補助讓研究者和最多兩位合作夥伴免費使用 ChatGPT Plus。參與者也能使用 OpenAI 的前沿模型並接受研究用途訓練,透過計畫分享的資料預設不會用來訓練模型。OpenAI 表示,試辦期間有 20,000 位研究者加入,問卷參與者估計,沒有 AI 時,同樣品質的研究工作幾乎要花兩倍時間。
推薦理由:新一輪名額改採符合資格者先到先得,並把每份補助調整為最多三人使用 Plus,呈現 OpenAI 如何依試辦回饋擴大研究團隊的使用機會。
使用開放權重模型時,同一個模型可能由不同服務供應商提供,速度、價格和穩定度也不一樣。Hugging Face 現在透過 OpenRouter 處理語言模型請求,依即時價格、速度與可靠度挑選供應商;遇到錯誤時,還會在同一次請求中改試其他供應商,程式碼不用更動。文章提到,新路由讓容量錯誤減少 46%,首次收到模型輸出的時間改善 16.9%。切換後,語言模型請求會向 Hugging Face 帳戶或組織請款,不能再使用自己的供應商 API 金鑰;圖片、影片和音訊生成則維持原本方式。
推薦理由:Hugging Face 改用 OpenRouter 替語言模型挑選服務供應商,文中比較了價格、速度與可靠性,也列出路由改善幅度和切換後的金鑰限制。
PyTorch 這次更新替 lu_factor 做了效能改善,目標是一次處理多個矩形矩陣時,讓運算跑得更快。發布資訊沒有說明提升多少,也沒有列出其他細節;可以確認的是,這項更新針對批次矩形矩陣的處理效能。
多個請求同時產生內容時,逐一檢查草稿可能拖慢速度。Ollama v0.40.17-rc1 的 mlxrunner 改成批次檢查,讓不同請求共用目標模型的驗證工作,同時保留各自的抽樣方式和快取回復。它也會分別學習同時處理多個請求時該寫多長的草稿,並處理取消請求、不同生成方式混用等情況,讓並行生成時的草稿和檢查更能配合。
Autotorino 每月會接到約 100,000 通電話,過去的錄音留言只能處理少部分來電。現在,ElevenAgents 會接聽電話、瞭解顧客需求並建立銷售線索,也能全天候接電話。電話內容經整理後,Autotorino 發現約 70% 的需求和售後服務有關,常見的是預約保養或安排交車;新系統處理的來電量也超過舊系統的 2 倍。Eleven v4 讓同一個聲音聽起來更自然,顧客也比較容易得到服務,Autotorino 因此計畫從 11 月起,先在第一間分店用 ElevenLabs 語音 AI 助理取代 IVR 系統。
研究人員要讓模型處理化學、生物等專門問題,得準備合適的資料,還要確認模型能不能做好。NVIDIA 推出 Nemotron for Science,整合 Nemotron 3.5 Super VL、新的化學資料集和微調配方,讓研究人員能調整模型、打造科學用 AI 助理。資料集 LitmusBench v0.2 收錄近 50,000 個化學問題,可用來訓練和評估模型;研究人員也能讓 AI 助理解讀科學資訊、撰寫程式碼並使用計算工具。Nemotron 3.5 Super VL 和資料集目前已可在 Hugging Face 取得。
推薦理由:LitmusBench v0.2 同時提供化學推理的評估資料與訓練用途,搭配微調配方,讓研究人員能檢查模型能力並調整模型來處理科學任務。
氣候和分子模擬需要處理大量資料,處理器也得長時間維持運算速度。NVIDIA 推出 Vera CPU 機架平臺,把 192 顆 Vera CPU、高速網路和液冷系統整合在一起,供超級電腦執行科學模擬與 AI 工作。NVIDIA 表示,在 OpenFOAM 的氣流模擬測試中,Vera 的效能是 x86 系統的 1.9 倍,每瓦效能是 2.4 倍;這些數字來自 NVIDIA 自行測試。德國氣候運算中心已選用 Vera CPU,預計用於 HLRE-5 超級電腦。Vera 機架預計從 2027 年初起由 Dell Technologies、HPE、Lenovo 和 Supermicro 供應。
推薦理由:Vera 把處理器、記憶體與高速網路整合成超級電腦平臺,文中也列出流體模擬測試結果與氣候研究用途,可瞭解它的設計方向。
量子電腦容易受錯誤影響,研究者也需要更快測試錯誤修正方法,並把量子處理器接進超級電腦工作流程。NVIDIA、IBM 與 Fermilab 計畫合作打造模組化研究平臺,結合 NVIDIA DGX B200 系統與 IBM 量子電腦,供研究者測試錯誤修正碼、解碼演演算法和量子與傳統運算應用。NVIDIA 也推出 TCBP-JOBS 解碼演演算法,供 CUDA-Q QEC 0.9.0 使用;原文表示,它在研究工作中最快可比既有領先演演算法快 13,000 倍,將一項設計研究的計算時間從 12 週縮短到 45 分鐘。另一項 Slurm 整合則讓研究中心能用熟悉的工具安排量子處理器與 CPU、GPU 一起工作。
推薦理由:合作平臺把量子電腦、加速運算與超級電腦工作流程放在一起,呈現研究者如何探索錯誤修正與模組化架構。