跳到正文

#產品更新

RSS
今日 1 則
11月18日週三
  1. AWS Machine Learning Blog76

    Amazon SageMaker HyperPod Inference 開始支援 NVIDIA Dynamo

    大型語言模型可能大到放不進單臺伺服器,長提示詞也會拖慢模型開始回答的速度。AWS 在 Amazon SageMaker HyperPod Inference 加入 NVIDIA Dynamo,讓團隊能把模型分散到多臺機器,也能把讀取提示詞和生成文字的工作交給不同的 GPU 工作池。文章用 Qwen3-235B 比較兩種做法,在符合延遲與生成速度條件的測試點中,分開處理的配置每張 GPU 每秒產生 207 個輸出 token,整合式配置則是 101 個。文中也說明如何設定部署、檢查機器間的網路連線,以及用接近實際流量的測試挑選配置。

    推薦理由:文章以 Qwen3-235B 的測試比較整合與分離式推論,呈現不同部署方式在吞吐量上的差異,並整理實際部署時的調校方向。

  2. Claude Code Releases57

    Claude Code 發布 v2.1.327,改善檔案保護與工作階段穩定性

    Claude Code 使用者可能遇到檔案被意外覆蓋、工作階段恢復後資料遺失,或操作時畫面卡住等問題。Anthropic 在 v2.1.327 加入多項保護與修正,例如更改 GitHub App 設定前會先確認,匯出檔案若已存在也會先詢問;工作階段復原、許可權提示、MCP 連線和終端機畫面也有多項修正。這次更新還改善 Bash 指令啟動速度,並讓 Claude Code 在讀取大型圖片時更快。

  3. Pydantic AI Releases57

    Pydantic AI 發布 v2.70.0,修補兩項高風險漏洞並加入多項功能

    Pydantic AI v2.70.0 修補兩項高風險漏洞:特定文字格式可能讓事件迴圈卡住數十秒到數分鐘。若使用者開啟 ANSI 清理功能,並處理攻擊者能影響的工具輸出,可能受第一項漏洞影響;使用預設 JWT 遮蔽規則處理這類文字,則可能受第二項影響。兩項漏洞都已在 pydantic-ai-harness 0.70.0 修正。這次更新也加入串流內容檢查、工具結果摘要等功能,並支援 OpenAI gpt-6.2-sol 和 gpt-6.2-astra。

  4. OpenAI News70

    OpenAI 推出 ChatGPT for Sales,協助銷售團隊整理客戶資訊與推進交易

    銷售團隊常要從客戶關係管理系統、通話紀錄和其他工具拼湊客戶資訊,準備會議與追蹤後續也得花不少時間。OpenAI 推出 ChatGPT for Sales,內含銷售專用外掛和超過 30 個新增或強化的合作夥伴外掛,可把團隊現有工具中的資料帶進 ChatGPT,協助準備客戶會議、整理買方需求、草擬後續訊息和追蹤交易進度。團隊也能檢查並確認建議的客戶紀錄更新;部分工作還可交由 ChatGPT 中持續運作的 dot 處理,再檢視它提出的變化與下一步建議。外掛和功能是否提供,會依方案、地區和工作區設定而異。

    推薦理由:ChatGPT for Sales 把客戶資料、銷售工具與日常工作流程放在同一處,原文列出從準備會議到追蹤後續的用法,呈現它如何串起銷售流程。

  5. Vercel Blog55

    Vercel 單秒靜態部署現在也支援 CSS、圖片和其他檔案

    靜態網站以前用 Vercel 單秒部署時,只能帶 HTML 和 Markdown,樣式、圖片等檔案還不在支援範圍內。現在符合條件的網站可以連同 CSS、圖片、字型、檔案和音訊等檔案一起部署,也能透過 Vercel CLI 或 REST API 操作,不需要另外設定。每次部署最多可有 100 個檔案,總大小不超過 25 MB;含 JavaScript、由 Git 觸發,或使用框架預設和特定建置設定的專案,仍會照原本方式建置。

  6. AWS Machine Learning Blog78

    Amazon SageMaker AI 推出 KV-aware routing,讓長對話更容易用到快取

    大型語言模型處理長對話時,常要重算已經看過的內容;如果請求被送到沒有這份快取的執行個體,就會多花時間。Amazon SageMaker AI 推出 KV-aware routing,讓模型容器回報各執行個體目前保留的快取,再把請求送到有最多相符內容、而且不太忙的地方。AWS 在一組長提示詞測試中,相較隨機路由,首個 token 的中位等待時間最多降低 97%,但結果會依流量而異。這項功能目前要求使用支援的 vLLM 容器,且至少有兩個執行個體或模型副本;新對話第一次送出時仍沒有快取可用。

    推薦理由:文章比較 KV-aware routing 與固定字首路由的差異,並提供長對話負載下的延遲與快取命中率資料,方便判斷是否適合自己的流量。

  7. ClaudeDevs72

    Claude Code 使用多種工具時,逐一操作可能不夠靈活。Anthropic 推出實驗性的 Code Mode,讓 Claude 撰寫指令碼,把多個工具串在一起完成較複雜的工作;長指令還在執行時,它也能先回答使用者。這項功能需要自行選擇啟用,設定方式是 CLAUDE_CODE_EXPERIMENTAL_CODE_MODE=1。

    推薦理由:Code Mode 讓 Claude Code 用指令碼串接多種工具,也能在長指令執行時先回答,呈現一種新的工具協作方式。

  8. Vercel Blog50

    Vercel Sandbox Python SDK 1.0 正式推出,能在隔離環境執行程式碼

    用 Python 執行 AI 產生的程式、測試修改或分析資料時,若想避免程式直接影響其他工作,就需要隔離的執行環境。Vercel Sandbox Python SDK 1.0 已穩定公開介面,功能也追上 TypeScript SDK;它能在隔離的沙盒裡執行工作,並在工作結束後自動清理環境。例如,可以從 Git 分支建立沙盒、執行測試,完成後自動清理。從 0.x 升級的人要留意,指令輸入和輸出已改用 bytes。

  9. Vercel Blog52

    Vercel 新增只為有開啟中 pull request 的分支建置預覽

    分支沒有開啟中的 pull request 時,預覽建置可能會消耗建置資源。Vercel 在 Ignored Build Step 新增預設選項,可略過這類分支的預覽建置;有開啟中 pull request 的分支仍會建置預覽,正式環境部署也照常進行。GitHub 和 GitLab 專案中,被略過的預覽部署會在消耗 Build CPU Minutes 前取消。到專案的 Deployments > Configuration,在 Ignored Build Step 選擇 Only build previews for pull requests 並儲存,就能啟用這項設定。

  10. Vercel Blog38

    Vercel 調整新團隊 Standard builds 計費方式,改按使用量收費

    新加入的 Pro 和 Enterprise 團隊不再免費包含 Standard build 時段,Standard builds 改和其他建置機器一樣按使用量收費。Pro 每使用 1 分鐘收 $0.014,團隊每月的使用額度也能用來支付建置費用;Enterprise 則依合約計價。受這次調整影響的團隊,即使從 Elastic 切換到 Standard,Standard builds 仍會繼續收費。

  11. ElevenLabs Official Blog47

    ElevenLabs AI 零售助理:從回答問題到完成訂單

    客人訂房或買東西時,常會臨時改日期、預算或需求;一般表單和篩選條件不夠靈活,改一次就可能得重頭來過。ElevenLabs 用 ElevenAgents 做出能用語音對話的 AI 助理,會一邊查即時資料、一邊調整選項,最後直接完成訂房或結帳。像 Rohlik 的 AI 助理 Maia,已能接手 90% 的客服專線來電,也能幫客人找商品、列購物清單並用語音結帳。這類助理能讓客人少繞路、讓商家接住更多訂單;不過效果也和模型、聲音及設定方式有關。

  12. Replit ⠕61

    要把電腦裡的資料做成工具或報告,常得先想辦法讓開發工具讀到檔案。Replit Desktop 的 AI 助理可以處理使用者分享的資料夾,在本機建置並執行應用程式,再把整理好的報告透過 Replit 雲端分享。每次建置都會在獨立的沙盒中執行,沙盒使用 Microsoft Execution Containers 和 NVIDIA OpenShell。

    推薦理由:Replit Desktop 可讀取使用者分享的資料夾,在本機製作並執行工具,再把資料整理成可透過雲端分享的報告。

  13. Aravind Srinivas75

    不同任務需要的模型能力和回應速度不一樣,挑選時也得考慮模型是否有足夠可用量。Perplexity 推出 Orchestrator API,會依任務在模型能力、可用量和延遲之間做選擇,也讓使用者能從 45+ 個開放權重與閉源模型中挑選。

    推薦理由:Orchestrator API 會依任務在能力、可用量與速度間挑選模型,也讓使用者能從 45+ 個開放權重與閉源模型中選擇。

  14. Google Developers Blog81

    Google AI Studio 用 Gemini 打造可連線資料庫的 Android App

    從想法做出 Android App,常得分別處理資料儲存、登入、AI 功能和手機測試。Google AI Studio 現在能依照提示詞建立 Kotlin App,並設定 Cloud Firestore、Google 登入及安全呼叫 Gemini 的功能;資料也能在不同裝置間接續使用。開發者還能在瀏覽器裡用高畫質模擬器測試畫面和聲音,截圖交給 AI 助理修改介面,最後把 App 發布到自己的 Google Play 個人資料庫,再安裝到手機上。

    推薦理由:Google AI Studio 把資料儲存、帳號登入、Gemini 呼叫和手機測試串進 Android 開發流程,可瞭解從提示詞到可安裝 App 的做法。

  15. PyTorch67

    想讓模型學會特定領域的內容,開發者常得先處理模型格式轉換。PyTorch 官方表示,現在可用 NVIDIA NeMo AutoModel 在領域資料上微調 Meta 的 Muse Spark Open,並直接使用 Hugging Face 的模型檔,不必轉換格式。工具也能直接進行 SFT 和 LoRA 微調,方便快速嘗試不同產業的用法。Muse Spark Open 是推理模型,也能理解音訊、影片、圖片和檔案;文中另提供可下載的 NVIDIA NIM。

    推薦理由:Muse Spark Open 可直接用 NVIDIA NeMo AutoModel 進行領域資料微調,並支援 SFT 與 LoRA,呈現模型訓練工具如何減少轉換步驟。

  16. AWS Machine Learning Blog64

    AWS 擴大 FDE 服務,協助企業把 AI 專案帶進正式營運

    AI 原型在展示時看起來可行,真正放進公司使用後,卻會遇到資料混亂、規模變大和稽核等問題。AWS 表示,Forward Deployed Engineering(FDE)服務現已在 15 個國家提供,工程團隊會和客戶一起,在客戶自己的 AWS 帳號中打造 AI 系統,並把基礎建設、工作流程和治理控制一開始就納入設計。文章舉例,Marsh 的第一個應用約兩個月後進入正式營運,部分流程處理時間從數小時縮短到數秒;AWS 也表示,目標是讓客戶團隊能在合作結束後自行維護和擴充系統。

    推薦理由:文章整理企業把 AI 從展示原型帶進正式營運時,基礎建設、工作流程與治理三方面的難題,並以客戶案例說明 FDE 的做法。

  17. AWS Machine Learning Blog67

    Amazon SageMaker AI 推出資料準備功能,協助整理訓練資料

    訓練和評估模型時,整理出夠用又可靠的資料常常很花時間,標籤錯誤、重複內容也可能拖到訓練後才被發現。Amazon SageMaker AI 推出一組資料準備功能,可自動標註資料、產生合成資料、檢查資料品質,也能依訓練方法整理資料格式;信心較低的標註還能交給人在 SageMaker Studio 檢查。團隊可用 Python SDK 或 AI-ML skill 操作,並檢視、修改產生的規格和程式碼。這些功能已在美東(維吉尼亞北部)和美西(奧勒岡)正式推出。

    推薦理由:原文說明如何把自動標註、人工檢查、合成資料與品質檢查串成準備流程,可瞭解資料整理如何接上模型訓練與評估。

  18. llama.cpp Releases36

    llama.cpp 修正 Qwen4exp 的 FP8 模型檔轉換問題

    更新修正了 llama.cpp 轉換 Qwen4exp 模型檔時,FP8 n-gram 表格的縮放設定與區塊縮放權重處理問題,也補上從 ModelOpt 模型檔還原區塊縮放權重的處理。這讓相關模型檔能更正確地轉換;更新也列出 macOS、Linux、Android、Windows 等平臺的下載版本。

  19. Vercel Blog57

    Vercel AI Gateway 開放使用 Microsoft Decision-1.1

    把客服問題分給合適團隊、替工作流程選下一步,或評分 AI 的回答,都需要清楚、方便程式處理的結果。Vercel AI Gateway 現在提供 Microsoft Decision-1.1,能回傳真假判斷、分類選項及各選項的機率,或依自訂尺度給分;同一個請求也能用同一份輸入回答多個問題。它沿用 Decision-1 的請求格式,開發者可透過 AI SDK、相容 OpenAI 的 Decisions API 或 AI CLI 呼叫。

  20. Vercel Blog83

    Vercel 推出 eve 1.0,開源框架助你快速打造多租戶 AI 助理

    Vercel 近日正式釋出 eve 1.0,這是一套開源框架,讓開發者能在同一個「harness」裡管理模型、工具與子代理,並支援多租戶、多人協作與安全審核。框架內建的 Workflow SDK 能自動儲存進度,支援 Slack、Teams、Discord 等多個通訊管道,並且在 Vercel 上可即時部署。新版把回應延遲從 3 秒降到 0.4 秒,工作流程成本降低 76%,還提供 OpenTelemetry 追蹤與多種記憶體供應商。對想快速落地 AI 助理或軟體工廠的團隊來說,eve 1.0 提供了完整的工具箱與即時部署環境。

    推薦理由:此公告說明 eve 1.0 讓開發者以單一框架構建多租戶 AI 助理,對快速落地代理系統的團隊具實務參考價值。

  21. Vercel Blog60

    Vercel Blob 新增 TTL 自動刪除功能,簡化暫存資料管理

    開發者常遇到暫存檔案需要手動刪除的麻煩,Vercel Blob 近期推出 TTL (Time‑to‑Live) 功能,允許在上傳時指定保留天數,系統會自動在到期時刪除。你只要在 put、copy 或 presign 時加入 ttlDays,回傳的 expiresAt 會告訴你何時會被清除;CLI 也支援 --ttl-days 引數,並可用 set‑ttl 來延長或清除 TTL。這項功能不僅省去手動清理,還能在觀測面板追蹤 TTL 操作,讓資料管理更輕鬆。

  22. llama.cpp Releases56

    llama.cpp b12480 把 Llama Chat 的共用介面整理成 UI 函式庫

    Llama Chat 原本把不少介面元件、顏色設定和字型留在自己的程式碼裡,與共用版本重複維護。這次 b12480 把這些內容整理進新的 @ggml-org/llama-ui 套件,聊天介面改從套件取用元件、模型資訊和樣式,建置流程也會在函式庫內容變動時重新建置。更新還修正子選單被選單邊界裁切,以及切換對話時可能把回覆節點寫到錯誤對話的問題。

  23. OpenAI News73

    OpenAI 更新 Astra for Law,提升法律研究與檔案撰寫表現

    法律工作需要查詢判例、整理資料並寫出有根據的答案,引用錯誤可能造成嚴重影響。OpenAI 更新了 Astra for Law,將 GPT‑6.2 Astra 搭配更大的法律搜尋資料庫與法律研究指引,協助模型查法規、衡量不同依據並撰寫答案。在一項測試中,它有 20.8% 的作業拿到滿分;在另一項法律研究測試中,滿分比例從約 46% 升到 53.8%。搜尋資料庫也增加超過 80 million 個網址。ChatGPT Enterprise 客戶現在可申請使用,也可申請 API 存取權。

    推薦理由:原文比較 Astra for Law 在多項法律測試中的表現,也說明法律搜尋資料庫擴充後,研究答案的完整得分比例有所提升。

  24. AWS Machine Learning Blog63

    AWS SageMaker JumpStart 開放部署 OpenTSLM 時間序列模型

    只看大量裝置數字,很難及早看出問題從哪裡來。OpenTSLM 能把 CPU 使用量、磁碟空間等數值,和維修紀錄或文字說明放在一起分析,再整理可能的狀況、建議檢查方式和預期結果。文中以 Nexthink 的 IT 支援為例,Spark 會先確認磁碟空間是否不足,經員工同意後才進行清理,並確認問題是否改善。AWS 也示範如何在 SageMaker JumpStart 部署模型,以及用 ARFBench 資料微調;這提供了把時間序列資料接進實際工作流程的做法。

    推薦理由:OpenTSLM把數值變化和文字背景放在一起分析,文中也示範如何部署與微調,呈現從資料到實際 IT 支援的做法。

  25. ElevenLabs Official Blog65

    ElevenLabs 推出 Scribe v3 Live Medical,讓醫療電話更聽得懂藥名

    醫療電話裡的藥名、劑量和病情細節容易被聽錯,可能讓後續處理出問題。ElevenLabs 推出 Scribe v3 Live Medical,讓 ElevenAgents 能即時轉錄看診和醫療服務電話;醫療團隊也能加入最多 10,000 個自訂詞彙,並支援超過 90 種語言。PriMock57 測試中,它的字詞錯誤率是 12.8%,比測試中最接近的醫療模型少 17% 錯誤。這些結果來自 ElevenLabs 對部分模型的內部測試。

    推薦理由:原文以兩組醫療對話測試比較轉錄結果,可瞭解這款即時語音模型在藥名、症狀等臨床內容上的表現。