跳到正文

#產品更新

RSS
今日 1 則
11月17日週二
  1. PyTorch Core Releases60

    PyTorch Inductor 重整切分軸處理,為更多維度的運算鋪路

    PyTorch Inductor 原本把運算切分軸的數量寫死在三個,讓部分超過三個維度的運算無法使用這種切分方式。這次更新改用輸入資料的維度來產生軸名稱,並依設定限制可用的切分數量;區塊大小的既有規則則保留下來。這是支援更多維度切分的前置重整,後續的更新才會啟用更完整的多維切分。

    推薦理由:這項重構移除 Inductor 對三個切分軸的固定限制,並保留區塊大小等既有規則,讓後續支援更多維度的切分有了基礎。

  2. PyTorch Core Releases55

    PyTorch Inductor 改用依維度處理的切分方式

    PyTorch Inductor 原本把可切分的軸寫死,最多隻能處理三個軸,讓更高維度的切分不容易加入。這次改動改成依輸入資料的維度產生軸名稱,並依設定限制挑選切分方式,也調整了自動調校和資料描述子的處理。它為後續支援更多維度的點元素與歸約切分打下基礎;原有的區塊大小限制仍保留。作者也回報了多組主機與 Hopper 測試結果。

  3. OpenAI53

    醫療團隊常要在不同系統間查資料、處理轉診和出院安排,花掉不少照顧病人的時間。OpenAI 表示,ChatGPT for Healthcare 加強了操作電腦的 AI 助理能力與臨床回答,並新增 20 多個醫療外掛。AbridgeHQ、AmbienceAI、Cigna、CVSHealth 等醫療機構正把 OpenAI 的模型用在事前授權、轉診、出院規劃和聯絡病人等工作,讓醫療證據更容易接上團隊原本使用的工具。

  4. NVIDIA Newsroom Press Releases72

    NVIDIA 推出 DGX Spark Developer Kit,讓研究人員在桌邊使用四臺系統

    研究人員常得排隊等共用 GPU 叢集,才能測試大型模型或科學模擬。NVIDIA 推出 DGX Spark Developer Kit,把四臺 DGX Spark 直接連成一組,不必另外購買或設定網路交換器;四臺合計有 512GB 記憶體和 20TB 儲存空間,可在桌邊分配模型與科學運算工作。研究團隊能先在本地開發、除錯,再把成熟的工作放大到更大的系統,也能讓未公開成果和專有資料留在自己的裝置上。套件已在 SC26 展示並開放購買。

    推薦理由:四臺 DGX Spark 可組成桌邊運算叢集,讓研究團隊先在本地測試多節點工作,再決定如何擴充套件到大型系統。

  5. Together AI41

    兩週前,我們宣佈推出 Together Compiler:可依據你的模型、晶片和流量調校推論的 AI 助理,吞吐量最高可提升 2.6 倍。 今天,我們分享背後的開發歷程:挑戰我們對 megakernels 假設的實驗、Torch Compile 出乎意料的優勢,以及促成我們開發新一代推論最佳化系統的經驗。 感謝 @dylan__lim @reyna_abhyankar @simran_s_arora 和團隊! 閱讀更多:https://t.co/9Yb1toI5jq

  6. Claude Code Releases40

    Claude Code 發布 v2.1.326,改善 AI 助理操作與修正多項問題

    Claude Code v2.1.326 加入多項操作提示,也修正了設定、登入、MCP 連線和遠端操作等問題。像是設定了不完整的工具規則時,啟動時會提醒你;如果背景工作還在執行,用手機或網頁按下停止,也會一併結束這些工作。這次更新也修正了部分情況下,舊檔案可能蓋掉 Claude 修改過的檔案。整體來說,這版讓錯誤比較容易被發現,也讓工作紀錄和檔案處理更可靠。

  7. Together AI Official Blog64

    Together AI 推出 Together Compiler,用 AI 助理加快模型推論

    模型推論要跑得快,常得針對不同模型、硬體和工作量調整程式;把所有運算塞進一個大型 GPU 核心,雖然有時很快,卻難以套用到不同情況。Together AI 推出 Together Compiler,讓 AI 助理直接修改模型執行流程,並用真實資料測量速度,再反覆嘗試不同做法。文章提到,這套系統在不到 24 小時內、使用不超過兩臺運算節點,於多種模型和其他程式專案中取得加速;作者也提醒,測試資料不貼近實際使用情況,可能讓最佳化方向出錯。

    推薦理由:文章拆解 Together Compiler 的設計取捨,說明實際資料、測量方式與 AI 助理的搜尋流程如何影響推論最佳化。

  8. Microsoft ONNX Runtime Releases55

    ONNX Runtime WebGPU Plugin EP v0.6.0 擴充模型支援並改善效能

    使用 WebGPU 執行模型時,可能遇到運算元不支援、運算不穩或不同 ORT 版本無法搭配的問題。ONNX Runtime WebGPU Plugin EP v0.6.0 新增多種運算支援,也改善部分運算的速度與數值穩定性,並加入設定選項和著色器快取功能。升級時要留意 ORT 版本:最低需求是 1.24.4;部分版本支援不同工作階段同時執行,其他版本則要讓同一裝置上的 WebGPU 操作依序進行。即使能同時執行,也不能在同一個工作階段重疊進行 I/O 繫結和 Run。

  9. Vercel Blog58

    Vercel AI Gateway 開放使用 Seedance 2.5 Flash 生成影片

    想用文字或現有素材生成影片時,Seedance 2.5 Flash 現在可透過 Vercel AI Gateway 使用。它是 Seedance 2.5 的較快、較低成本版本,可生成帶同步音訊的影片,也能參考圖片、影片或音訊,或編輯和延長既有影片。影片長度為 4 到 30 秒,最高 720p、每秒 24 格,並支援橫向、方形和直向畫面。使用者可透過 AI SDK 7 呼叫這個模型。

  10. Vercel Blog72

    Vercel AI Gateway 支援連線團隊的私有模型

    企業使用自行微調、自架或尚未正式推出的模型時,過去得另外管理金鑰、程式碼和紀錄。Vercel AI Gateway 現在能把這些模型接到團隊自己的端點,並沿用相同的驗證方式、SDK、API 和監控工具;呼叫時只要更換模型 ID,也能在私有模型和目錄模型間切換。私有模型只供團隊檢視與呼叫,憑證會加密儲存,也可為各家服務商啟用零資料保留。團隊還能檢視用量、設定端點故障時改用目錄模型,或在連線 AI Gateway 的程式開發工具中使用私有模型。

    推薦理由:原文說明私有模型如何沿用 AI Gateway 的介面與監控,方便團隊把自架模型和目錄模型放在同一處管理。

  11. Vercel Blog46

    Vercel Spend Management 開放專案與產品預算管理

    Vercel 的 Spend Management 現在能分別設定專案和產品的預算,也能檢視目前帳單週期的花費。以專案預算為例,達到上限時可以選擇暫停該專案的正式環境部署,不會影響其他專案;產品預算則能追蹤整個團隊在 Fast Data Transfer 等單一產品上的花費。預算用到 50%、75% 和 100% 時,Vercel 會發出通知;團隊與專案預算也能設定自動暫停部署,產品預算則不支援。Pro 團隊與採用 Flexible Commitment 方案的 Enterprise 團隊可免費使用這項功能。

  12. OpenAI44

    醫療團隊常得在不同系統間切換,處理事前授權、轉診、出院規劃和聯絡病人等工作。ChatGPT for Healthcare 加強了 AI 助理操作電腦的能力,讓臨床回答更完整,並新增 20 多個醫療外掛。Abridge、Ambience Health、Cigna、CVS Health 等機構正把 OpenAI 的模型用在這些工作上,讓醫療團隊能在熟悉的工具中取得醫療資料與實際協助,少花時間作業系統,多花時間照顧病人。

  13. Tavily49

    團隊人數和專案變多時,API 金鑰、許可權和用量容易難以管理。Tavily 的 Workspaces 可依團隊或專案建立不同工作區,讓各組自行管理更多事項,同時由管理員統一掌握整個組織。管理者也能按工作區整理 API 金鑰、設定成員角色、信用額度和用量提醒,並集中管理帳單。這讓每組的資料歸屬和用量更清楚,也能減少每件事都得請中央管理員處理的情況。

  14. Baseten48

    推出 Baseten Voice Agent Stack:專為執行和自訂語音 AI 助理打造的最佳化基礎架構。所有模型和協調器都託管於此,以降低端到端延遲;各元件可獨立擴充套件,也能替換或後訓練任何模型。 我們用開放權重模型在此打造 Baseten Realtime Voice:在 τ²-Bench Voice 得分 73.5%,超過串接式基準的兩倍,對話輪次延遲不到 1 秒,成本約為 $0.01/min。 兩者目前都在私人預覽階段:https://t.co/Rqgk9lAHcA

  15. AMD67

    科學研究需要大量運算能力,AMD 宣佈 Lux 超級電腦已在 Oak Ridge National Laboratory 開放給科學研究人員使用。這臺由 HPE 建置的超級電腦整合 AMD EPYC 處理器、AMD Instinct MI355X GPU、AMD Pensando 網路裝置與 AMD ROCm 軟體,結合 AI 和高效能運算,支援聚變能源、新材料與地球系統預測研究,也參與美國能源部的 Genesis Mission。

    推薦理由:Lux 已開放科學研究人員使用,並把 AI 與高效能運算整合在同一臺超級電腦中,支援聚變能源、新材料與地球系統預測研究。

  16. LangChain Blog70

    LangChain 重整 LangSmith,讓團隊在同一處管理 AI 助理

    AI 助理分散在不同工具和平臺上,工程師難以接續開發,管理團隊也不容易看出誰負責、花了多少錢或表現如何。LangChain 把 LangSmith 改以每個 AI 助理的一筆紀錄串起建置、執行、評估和管理;不同環境的追蹤資料會放在同一筆紀錄下,也能依助理型別顯示合適的指標。團隊可以連線已在其他平臺執行的助理,不必改動原有流程。LangSmith 目前提供一般用途和程式開發兩種助理型別,語音助理型別則仍在規劃中。

    推薦理由:LangSmith 把追蹤、評估、部署與管理資料放到同一筆 AI 助理紀錄下,文中也說明不同型別的助理如何採用相應指標。

  17. Databricks Blog45

    Databricks AI Runtime 如何協助企業使用表格資料 AI 模型

    用表格資料預測客戶會不會流失、商品需求有多少,通常得為每種工作各自訓練和維護模型,既花時間,也得處理 GPU 設定和管理。表格基礎模型(TFM)先用大量合成資料預訓練,拿到新資料時,就能參考已知答案來預測,不必從頭訓練;例如 TabICLv2 約有 28M 個引數,商用授權較寬鬆,但不同模型在效能、成本和授權上各有取捨。 Databricks AI Runtime 提供代管 GPU,並整合實驗追蹤、資料治理和模型部署,讓團隊能在資料所在的平臺測試或微調 TFM,再把模型用於批次工作或即時預測。這類模型有機會省下建置和維護專用模型的時間,但每次預測都要把資料交給模型處理,GPU 用量可能隨資料列數和欄位增加;企業仍得用自己的資料評估準確度與運算成本。

  18. Databricks Blog68

    Databricks 推出 AI Index,追蹤企業採用哪些 AI 模型及其成本

    企業可選的 AI 模型越來越多,光看模型表現或每個 token 的價格,很難知道哪種選擇最適合手上的工作。Databricks 推出公開的 AI Index,整理企業使用模型的情況與花費,也用實際程式開發任務比較不同模型和 AI 助理工具組合的成功率與每項任務成本,並計畫每週更新。資料顯示,開放權重模型在企業流量中的佔比從 7 月的 7.3% 升到 11 月的 30.9%;有些模型 token 單價較低,完成任務卻可能花更多錢。Index 也提醒企業按自己的工作內容比較品質和成本,因為測試結果不一定適用所有團隊。

    推薦理由:Databricks AI Index 把企業採用情況和程式任務的品質、成本放在一起比較,呈現模型選擇如何隨工作需求改變。

  19. Databricks Blog64

    Databricks 串接 AWS HealthLake,讓臨床資料能直接分析與查詢

    醫療機構想在其他平臺分析 AWS HealthLake 的臨床資料,過去得先把資料匯出、複製,還要分別管理許可權。Databricks 透過 OpenSharing 直接讀取 HealthLake 的資料,讓資料留在原處,也能交由 Unity Catalog 管理誰可以檢視和查詢。使用者還能透過 Genie One 用日常語言提問,例如檢視平均 A1C 每月的變化;系統會整理答案並提供表格和圖表。這讓不熟悉 SQL 的醫療與營運人員也能探索資料。

    推薦理由:這套整合讓 HealthLake 的 FHIR 資料能在不另存副本的情況下供 Databricks 查詢,並由 Unity Catalog 管理許可權,呈現臨床資料跨平臺使用的做法。

  20. Wiz Blog & Research72

    Wiz 推出 AI Security Agent,串連 AI 應用程式與雲端風險

    只看雲端設定或程式碼,都可能漏掉 AI 助理被攻擊後會造成什麼影響。Wiz 推出 AI Security Agent 公開預覽版,可從程式碼儲存庫、支援的 PaaS 平臺和自架環境找出 AI 應用程式,分析它的用途、工具和許可權,再把結果連到 Wiz Security Graph 的雲端資訊。文中的案例顯示,原本看似普通的內部 AI 助理,可能因為可從網路連線的入口、過大的服務帳號許可權和未受阻擋的儲存資料,形成一路通往敏感資料的攻擊路徑。Wiz 表示,這項工具在部分客戶環境中找出的 AI 助理數量,最高是傳統探索工具的五倍。

    推薦理由:Wiz 將 AI 應用程式的程式碼分析與雲端許可權、網路暴露及敏感資料串在一起,能從文中案例看出這種做法如何還原完整攻擊路徑。

  21. clem 🤗47

    使用開放模型時,找模型和執行推論可能分散在不同服務。Hugging Face 與 OpenRouter 展開合作,讓兩邊的服務可以互通:使用者能直接在 Hugging Face 執行 OpenRouter 推論,也能從 OpenRouter 取得 Hugging Face 上的開放模型權重,還能把 OpenRouter 的 AI 助理操作紀錄存到 Hugging Face,用來檢查、分享或訓練更好的模型。這次公佈的是合作的第一部分,希望讓開發者更容易使用開放模型,也能一起合作打造 AI 工具。

  22. Vercel Blog66

    Vercel AI Gateway 開放使用 Hy4 Flash,限時享 5 折

    使用大型語言模型時,功能和費用常要一起考量。Vercel AI Gateway 現在提供 Tencent 的 Hy4 Flash,這是 Hy4 系列中價格較低的模型,保留推理、工具呼叫、結構化輸出、提示詞快取和圖片輸入,也有相同的 1M-token 上下文視窗;不需要推理的請求則可關閉這項功能。透過 AI Gateway 使用時,輸入、快取輸入和輸出 token 到 2026 年 11 月 29 日都有 5 折優惠,適合留意大量程式開發、AI 助理或檔案處理工作所需的成本。

    推薦理由:Hy4 Flash 保留 Hy4 系列功能並大幅降低每個 token 的價格,文中也交代限時折扣,能看出成本與功能之間的取捨。

  23. llama.cpp Releases35

    llama.cpp 發布 b12443,修正 Nvidia Vulkan 的記憶體溢位問題

    llama.cpp 的 b12443 修正了 Nvidia 顯示卡使用 Vulkan 時,FP32 快速注意力功能可能讓共享記憶體用量超出上限的問題。如果暫存資料需要佔用太多記憶體,程式也會停用這種暫存方式。這次版本還列出多種作業系統與硬體的下載專案,例如 Linux、Windows、macOS、Android,以及使用 CPU、CUDA、Vulkan 等方式的版本。

  24. openrouter blog81

    OpenRouter 為 Hugging Face 的聊天模型提供跨服務商路由

    同一個聊天模型可能由多家服務商提供,遇到速度變慢或故障時,請求也可能卡住。現在 Hugging Face Inference Providers 透過 OpenRouter 為聊天模型挑選服務商,會依即時價格、速度和可靠度分流,服務商出錯時也會在同一次呼叫中改試其他家;原有的 Hugging Face 權杖和程式碼仍可使用。OpenRouter 的測試中,容量錯誤減少 46%、第一個 token 到達時間快 16.9%、處理量增加 16.3%,每次請求成本則高出 6.0%。開發者也能把請求與回答紀錄存進自己的 Hugging Face Storage Bucket,供日後評估或微調模型;圖片和其他媒體不會存入。

    推薦理由:這次整合把模型路由和請求紀錄接到同一套工作流程,並提供價格、速度與可靠度的取捨資訊,方便開發者依需求選擇服務提供者。

  25. OpenAI News76

    OpenAI 推出兒少安全工具,協助辨識虐童影像並打斷有害行為

    網路上的兒少性虐待影像可能是新出現的圖片,也可能由 AI 生成,讓安全團隊難以找出並處理。OpenAI 推出新的影像分類器,協助辨認疑似影像並排序審查優先順序,經審核的組織可透過 OpenAI API 免費申請使用。早期測試估計,在找到約相同數量的虐童影像時,新工具可讓需要人工檢查的圖片減少 48%。OpenAI 也會在 ChatGPT 對尋找虐童材料的行為顯示警告、暫停使用 24 小時,並提供開發者指引和調查工具。

    推薦理由:新分類器提供的早期測試資料,可看出它如何減少審查量並協助辨認新型態虐童影像,也呈現不同合作單位的測試結果。

  26. OpenAI News72

    OpenAI 擴大學術研究計畫,提供 50,000 份 ChatGPT Plus 補助

    研究團隊想用 AI 協助研究,可能需要工具、訓練和經費支援。OpenAI 擴大 ChatGPT for Academic Researchers 計畫,下一輪將提供 50,000 份補助,符合資格的申請者依送件先後取得名額;每份補助讓研究者和最多兩位合作夥伴免費使用 ChatGPT Plus。參與者也能使用 OpenAI 的前沿模型並接受研究用途訓練,透過計畫分享的資料預設不會用來訓練模型。OpenAI 表示,試辦期間有 20,000 位研究者加入,問卷參與者估計,沒有 AI 時,同樣品質的研究工作幾乎要花兩倍時間。

    推薦理由:新一輪名額改採符合資格者先到先得,並把每份補助調整為最多三人使用 Plus,呈現 OpenAI 如何依試辦回饋擴大研究團隊的使用機會。

  27. Hugging Face Blog82

    Hugging Face 改用 OpenRouter,替開放權重模型挑選服務供應商

    使用開放權重模型時,同一個模型可能由不同服務供應商提供,速度、價格和穩定度也不一樣。Hugging Face 現在透過 OpenRouter 處理語言模型請求,依即時價格、速度與可靠度挑選供應商;遇到錯誤時,還會在同一次請求中改試其他供應商,程式碼不用更動。文章提到,新路由讓容量錯誤減少 46%,首次收到模型輸出的時間改善 16.9%。切換後,語言模型請求會向 Hugging Face 帳戶或組織請款,不能再使用自己的供應商 API 金鑰;圖片、影片和音訊生成則維持原本方式。

    推薦理由:Hugging Face 改用 OpenRouter 替語言模型挑選服務供應商,文中比較了價格、速度與可靠性,也列出路由改善幅度和切換後的金鑰限制。

  28. Replit ⠕42

    上週推出的功能: • 使用 AI 助理啟動 Google Ads 廣告活動,從廣告文案、圖片到轉換追蹤 • 使用 AI 助理購物:比較商品,再透過 Link(Stripe 的數位錢包)核准結帳 • 使用 Performance Agent 找出程式碼和記錄檔中的效能變慢問題 • Enterprise 版可與個別 Viewer 分享專案,並為 Microsoft Fabric 建置資料庫應用程式 更多內容請見更新紀錄: https://t.co/VHcDLwS3lI

  29. ollama release44

    Ollama v0.40.17-rc1 加入批次式推測驗證

    多個請求同時產生內容時,逐一檢查草稿可能拖慢速度。Ollama v0.40.17-rc1 的 mlxrunner 改成批次檢查,讓不同請求共用目標模型的驗證工作,同時保留各自的抽樣方式和快取回復。它也會分別學習同時處理多個請求時該寫多長的草稿,並處理取消請求、不同生成方式混用等情況,讓並行生成時的草稿和檢查更能配合。

  30. ElevenLabs Official Blog35

    Autotorino 用 ElevenAgents 接聽汽車經銷商來電,24 小時服務顧客

    Autotorino 每月會接到約 100,000 通電話,過去的錄音留言只能處理少部分來電。現在,ElevenAgents 會接聽電話、瞭解顧客需求並建立銷售線索,也能全天候接電話。電話內容經整理後,Autotorino 發現約 70% 的需求和售後服務有關,常見的是預約保養或安排交車;新系統處理的來電量也超過舊系統的 2 倍。Eleven v4 讓同一個聲音聽起來更自然,顧客也比較容易得到服務,Autotorino 因此計畫從 11 月起,先在第一間分店用 ElevenLabs 語音 AI 助理取代 IVR 系統。

  31. NVIDIA Newsroom Press Releases78

    NVIDIA 推出 Nemotron for Science,協助研究人員打造科學用 AI 助理

    研究人員要讓模型處理化學、生物等專門問題,得準備合適的資料,還要確認模型能不能做好。NVIDIA 推出 Nemotron for Science,整合 Nemotron 3.5 Super VL、新的化學資料集和微調配方,讓研究人員能調整模型、打造科學用 AI 助理。資料集 LitmusBench v0.2 收錄近 50,000 個化學問題,可用來訓練和評估模型;研究人員也能讓 AI 助理解讀科學資訊、撰寫程式碼並使用計算工具。Nemotron 3.5 Super VL 和資料集目前已可在 Hugging Face 取得。

    推薦理由:LitmusBench v0.2 同時提供化學推理的評估資料與訓練用途,搭配微調配方,讓研究人員能檢查模型能力並調整模型來處理科學任務。

  32. NVIDIA Newsroom Press Releases77

    NVIDIA 推出 Vera CPU 平臺,為科學模擬加速

    氣候和分子模擬需要處理大量資料,處理器也得長時間維持運算速度。NVIDIA 推出 Vera CPU 機架平臺,把 192 顆 Vera CPU、高速網路和液冷系統整合在一起,供超級電腦執行科學模擬與 AI 工作。NVIDIA 表示,在 OpenFOAM 的氣流模擬測試中,Vera 的效能是 x86 系統的 1.9 倍,每瓦效能是 2.4 倍;這些數字來自 NVIDIA 自行測試。德國氣候運算中心已選用 Vera CPU,預計用於 HLRE-5 超級電腦。Vera 機架預計從 2027 年初起由 Dell Technologies、HPE、Lenovo 和 Supermicro 供應。

    推薦理由:Vera 把處理器、記憶體與高速網路整合成超級電腦平臺,文中也列出流體模擬測試結果與氣候研究用途,可瞭解它的設計方向。

  33. NVIDIA Newsroom Press Releases82

    NVIDIA、IBM 與 Fermilab 合作打造量子運算研究平臺

    量子電腦容易受錯誤影響,研究者也需要更快測試錯誤修正方法,並把量子處理器接進超級電腦工作流程。NVIDIA、IBM 與 Fermilab 計畫合作打造模組化研究平臺,結合 NVIDIA DGX B200 系統與 IBM 量子電腦,供研究者測試錯誤修正碼、解碼演演算法和量子與傳統運算應用。NVIDIA 也推出 TCBP-JOBS 解碼演演算法,供 CUDA-Q QEC 0.9.0 使用;原文表示,它在研究工作中最快可比既有領先演演算法快 13,000 倍,將一項設計研究的計算時間從 12 週縮短到 45 分鐘。另一項 Slurm 整合則讓研究中心能用熟悉的工具安排量子處理器與 CPU、GPU 一起工作。

    推薦理由:合作平臺把量子電腦、加速運算與超級電腦工作流程放在一起,呈現研究者如何探索錯誤修正與模組化架構。