跳到正文

#產品更新

RSS
今日 1 則
11月20日週五
  1. PyTorch Core Releases53

    PyTorch 將舊版 ProcessGroupNCCL 移出開源版,改用 nccl2

    PyTorch 開源版原本還會建置舊版 ProcessGroupNCCL,這次更新把它移到內部程式碼,讓開源版的 ProcessGroupNCCL 改用 nccl2。舊版後端和部分 Python、C++ 介面也一併移除;需要使用相關 C++ 擴充功能的開發者,得改用新的 nccl2 標頭檔。直接建立 ProcessGroupNCCL 時,現在會依群組排名設定裝置並提早初始化通訊;若程式要使用其他裝置,就必須設定群組排名,或啟用延後初始化。

  2. Together AI Official Blog65

    Tencent Hy4 登上 Together AI,可讀圖片並用來寫瀏覽器遊戲

    想讓 AI 助理看懂圖表,還能照著要求做出簡單遊戲,可以試試 Tencent Hy4。Together AI 現在提供這個模型的雲端服務,可用文字和圖片輸入,也支援工具呼叫與 JSON 輸出。文章測試它讀取圖表數字並重畫成 HTML,也讓它用單一提示詞寫出瀏覽器遊戲;作者實際開啟遊戲,確認能玩到結束並重新開始。Together AI 列出的價格是每 1M 輸入 token $0.83、輸出 token $2.50,快取輸入 token $0.042。

    推薦理由:文章用讀取圖表、重畫圖表和製作瀏覽器遊戲的實測,呈現 Hy4 在 Together AI 上的圖文輸入與程式生成表現,並列出使用價格。

  3. Databricks Blog75

    PostgreSQL 19 已在 Lakebase 上線

    資料庫升級常要等託管服務跟上,還得處理查詢變慢、資料表膨脹或讀取副本落後等問題。Databricks 宣佈 PostgreSQL 19 已可在 Lakebase 使用,並介紹這版新增的實用功能:例如整理資料表時,大多數過程仍可讓讀寫繼續;讀取副本也能等到指定的資料更新後再回應,減少剛寫入卻讀不到的情況。升級前應先測試自己的工作負載,並確認依賴的擴充套件已支援 PostgreSQL 19;新版本也調整了部分預設值。

    推薦理由:PostgreSQL 19 把資料表整理、查詢計畫調整和副本讀取同步等工具納入核心,文章也說明瞭升級前要留意的限制與相容性變更。

  4. OpenAI Codex Releases68

    OpenAI Codex 推出 0.171.0,加入 GPT-6.2 Sol 和 Astra

    Codex 使用者在切換工作或遠端連線時,可能會遇到進度中斷、內容不好檢視的問題。OpenAI 的 Codex 0.171.0 把 TUI 工作區預設開啟,新增可搜尋的檔案預覽、圖片預覽和 AI 助理對話紀錄,也加入 GPT-6.2 Sol 和 Astra,並預設選用 Sol。這次更新還能用 codex exec --remote <ADDR> 在既有的 app server 上開始或接續工作,也為提示詞編輯器加入復原與重做,並保留附件和大量貼上的內容。

    推薦理由:這次更新把工作區、遠端連線與編輯操作整合進 Codex,能從日常使用流程看出它如何讓工作接續與管理更方便。

  5. ollama release39

    Ollama v0.40.17-rc2 調整 mlxrunner,讓已存的對話紀錄因應記憶體壓力

    mlxrunner 以前會固定保留 8 GiB 記憶體給 Metal 字首紀錄,現在改看系統還剩多少空間,以及程式執行時需要多少工作空間,再決定保留多少紀錄。系統開始壓縮記憶體時,它會釋放用不到的緩衝區和較久沒用的紀錄,同時保留可重用的路徑與正在處理的請求,讓記憶體吃緊時仍能繼續處理工作。

  6. AWS Machine Learning Blog74

    Amazon Bedrock AgentCore 讓 AI 助理透過 AWS 帳單購買 Marketplace 產品

    AI 助理要使用付費搜尋或其他線上服務,開發者過去得先處理付款方式和 API 金鑰。Amazon Bedrock AgentCore payments 現在可讓 AI 助理透過 AWS 帳單,按次購買 AWS Marketplace 上支援 x402 的軟體、API、資料和內容;開發者也能設定每次工作可花的金額和核準賣家。文中示範的研究助理會先搜尋並挑選工具,收到價格報價後確認預算,再付款取得搜尋結果;交易會記錄在 AWS CloudTrail 和 AWS Cost Explorer。

    推薦理由:這項更新把 AWS Marketplace 的付費流程接進 AI 助理工作流程,文章也示範如何用支出上限、核准賣家與交易紀錄管理採購。

  7. Tibo43

    ChatGPT 正在測試新的手機版介面,讓常用功能更容易找到,也方便探索其他功能。測試先從 Pro 使用者開始,物件是已有 dot 或符合建立 dot 資格的人;每個 dot 都會有自己的分頁,還能把 Codex、Projects、Images 等功能釘選到分頁列。部分使用者會預設看到新介面,也可以到 Settings > New ChatGPT Design 隨時開啟或關閉。OpenAI 想先收集使用者意見,再擴大推出。

  8. Claude Code Releases57

    Claude Code 推出 v2.1.329,更新 Code Mode 並修正多項問題

    Claude Code 在長時間工作、工具重新連線和編輯檔案時,可能遇到記憶體增加、內容遺失或工作卡住的問題。v2.1.329 加入資料夾 hooks 的信任警告,並讓 /tasks 顯示排程工作、背景工作和其他執行中的任務;Code Mode 也改善了工具呼叫、記憶體使用和中斷後的結果顯示。這版還修正 VS Code 設定檔可能受損、檔案缺少結尾換行,以及 MCP 伺服器重新連線後沒有工具等問題,並調整部分電腦操作的安全規則。

  9. Together AI Official Blog74

    Together AI 推出免費資料快取工具,讓 GPU 叢集更快讀取資料

    GPU 叢集如果每次都要從遠端下載模型或資料集,運算工作就得等資料到齊,還可能遇上費用和流量限制。Together AI 推出 Together Storage Accelerator(TSA),會把首次讀取的資料放在叢集節點的 NVMe 儲存裝置中,之後由叢集內的快取供其他節點讀取,原有程式也不必改寫。官方在 H100 節點測試,從 Cloudflare R2 讀取 2 GiB 資料,快取後約需 0.6–0.7 秒;200 臺節點下載同一份 70 GB 檢查點,來源只需傳送一次。TSA 現已免費提供給 Together GPU Cluster,實際速度會依資料來源和網路路徑而不同。

    推薦理由:實測比較冷資料與快取讀取速度,也呈現多臺 GPU 共用同一份檢查點時,快取如何減少重複下載與資料傳輸。

  10. Together AI65

    GPU 叢集從雲端物件儲存讀取資料時,下載速度可能拖慢工作。Together AI 推出免費的儲存加速器,會把 S3 相容儲存空間和 Hugging Face 的資料快取到叢集的 NVMe。每個叢集只需從來源下載一次,之後暖讀取速度最高可達 3.4 GB/s,約比跨雲端下載快 20 倍;原文也表示不用修改程式碼。

    推薦理由:原文提供了暖讀取速度與跨雲端下載的比較,可用來瞭解快取對 GPU 叢集讀取資料速度的影響。

  11. AWS Machine Learning Blog51

    AWS Quick 推出 Selling Partner plugin,讓賣家用對話檢視銷售與庫存

    賣家常要在不同工具間切換、匯出報表再整理試算表,才能看懂銷售和庫存出了什麼問題。AWS Quick 的 Selling Partner plugin 以一次登入連線 Seller Central,讓賣家用日常語言查詢即時商品、庫存和銷售資料,也能搭配其他業務工具一起分析;每類資料的存取權可分別設為 None、View 或 Edit,之後也能縮小或撤銷。文中示範的 AI 助理會比較新商品的進貨與配送選項,或根據流量、銷售和庫存訊號找出商品表現下滑的原因,提出修正建議,並在建立內容前請賣家確認。plugin 目前在美國商店進入 beta;AWS Quick Plus 的免費 12 個月方案可由主要銷售帳戶持有人在 2026 年 12 月 31 日前申請,並可讓 10 位受委派使用者加入。

  12. llama.cpp Releases43

    llama.cpp b12552 改善 OpenVINO 效能並修正模型相容問題

    llama.cpp 的 OpenVINO 支援在不同提示詞長度或輸出數量改變時,可能得重新編譯模型,或重用不合適的舊模型,造成速度變慢甚至執行失敗。這次更新調整 GPU 的 KV 長度、改善提示詞處理階段的模型重用方式,也讓系統確認輸出數量相符才沿用編譯結果;模型快取也會把輸出設定納入檢查。更新還修正多種模型在 GPU、NPU 和靜態形狀設定下的問題,並加入 Falcon-H1 的 OpenVINO 驗證資料。

  13. Replit ⠕61

    使用線上 AI 助理時,聊天紀錄、記憶和登入資訊可能都放在服務商的伺服器上。Replit 用 Missions 挑戰製作一款 AI 助理,3 天後完成 Amuse。它免費、開放原始碼,可在自己的電腦上研究資料、瀏覽網頁、設定提醒和製作小型應用程式;採取行動前會先詢問使用者。Replit 也用 Security Scanner 找出並修補漏洞,並檢查成品是否安全。

    推薦理由:Amuse 把研究、瀏覽、提醒和製作小型應用程式放在自家電腦執行,也讓使用者保留自己的資料與登入資訊,呈現了個人 AI 助理的另一種使用方式。

  14. AWS Machine Learning Blog39

    Amazon Connect Talent 如何用 AI 助理進行有根據的結構化面試

    大量招募時,每位面試官問法和評分方式可能不同,候選人也可能第一次回答時漏掉重要細節。Amazon Connect Talent 會依職務設計問題和評分表,並在答案不夠清楚時追問;面試時的 AI 助理負責蒐集回答,之後再由另一個流程找出候選人展現的行為、引用對話內容並計分。資料不足時,系統會標出來,不會直接給分。 例如,候選人說自己改善了緩慢的系統,AI 助理可以接著問他做了哪些事、如何衡量改善。研究中,系統的評分有 89.3% 和獨立專家的判斷一致。它也不會用影片、聲音或外表來算分。這種做法讓候選人有機會補充經驗,也讓招募團隊能根據實際回答來評估。

  15. AWS Machine Learning Blog64

    Amazon SageMaker AI 開始監控推論端點,找出延遲上升與閒置 GPU

    AI 推論端點上線時調好的設定,可能會因流量和模型改變而不再合適,讓回應變慢或 GPU 閒置。Amazon SageMaker AI 現在會自動檢視端點的延遲、GPU 使用情況和服務設定,找出延遲變高、容量沒用滿,或可用但尚未開啟的效能改善;它不會讀取請求或回應內容。收到通知後,團隊可以在 SageMaker Studio 用實際流量測試其他設定,比較回應時間、吞吐量和每百萬個 token 的費用。測試在另一組運算資源上進行,端點不會自行變更,團隊確認結果後才決定是否套用。

    推薦理由:端點的流量和模型需求會隨時間改變,這項功能用實際流量測試替代方案,協助團隊比較速度、吞吐量與費用,再自行決定是否調整。

  16. Databricks Blog76

    Databricks 推出 Genie ZeroOps 公開測試版,自動找出資料管線問題並提出修正

    資料管線出錯時,工程師常得花好幾個小時翻查紀錄和相關資料,安靜發生的問題還可能拖到報表出錯才被發現。Databricks 的 Genie ZeroOps 現已開放公開測試版,會監看管線、查詢可能原因、在安全環境測試修正方式,再通知團隊;對使用 Git 的工作流程,也能建立附上問題資訊的 PR。它不會未經人員同意就更動程式碼或正式資料。Databricks 表示,私下測試期間觀察了超過 80,000 起客戶問題,發現超過一半需要了解各公司的做事方式,因此新增自訂指示等功能,協助團隊依自己的流程判斷問題。

    推薦理由:這次公開測試讓團隊可從告警、查詢原因一路看到修正提案,並依 80,000 多起客戶問題說明自訂公司知識對判斷的重要性。

  17. Google Gemini65

    用電腦做事時,人還需要繼續使用自己的螢幕和滑鼠。Gemini Mac App 現在可以在背景視窗中操作資料夾、App 和網頁,點選、捲動畫面與輸入文字;示範中,它把一張簡單草圖轉成 Blender 裡設定好骨架的 3D 模型。這讓人能把部分電腦操作交給 Gemini,同時繼續使用自己的螢幕。

    推薦理由:Gemini 可在背景視窗操作 Blender,示範把手繪草圖轉成設定好骨架的 3D 模型,呈現電腦操作功能的實際用途。

  18. AWS Machine Learning Blog66

    Amazon Polly 開放語音複製,幾分鐘錄音就能建立品牌聲音

    客服、教材或廣告常需要同一種聲音,改稿時若要重新錄音也很花時間。Amazon Polly 現在提供語音複製功能,取得說話者同意後,使用 1 到 10 段錄音就能建立克隆語音,通常需要 5 到 10 分鐘,之後可用來朗讀新文字。功能支援英文、西班牙文、德文、法文、義大利文、葡萄牙文和印地語,每個聲音只會說錄音使用的語言。語音會加密並限制帳戶存取,合成音訊也會加上浮水印;建立語音免費,使用時按量收費。目前須先取得帳戶使用許可權。

    推薦理由:Amazon Polly 可用幾分鐘錄音建立指定語言的克隆語音,並透過 API 用於客服、教材與遊戲等情境;文章也交代同意確認、許可權控管和刪除方式。

  19. AWS Machine Learning Blog78

    Amazon Bedrock AgentCore harness 加入 Strands 預設設定與生命週期檢查

    AI 助理接到長任務時,光有模型還不夠,還得管理上下文、使用工具,也要避免未經核准就執行退款等重要操作。AWS 更新 Amazon Bedrock AgentCore harness,加入任務規劃、網頁擷取、檔案讀寫和工作委派等內建工具,也會整理較早的對話內容,減少上下文用量。開發者還能在執行前後設定生命週期檢查,例如用 Lambda 檢查退款金額,超過 $500 就擋下操作,並讓 AI 助理通知顧客案件已升級處理。這些檢查也會套用到受委派的工作;模型、提示詞和工具許可權仍可自行設定。

    推薦理由:文章說明 AgentCore 如何用生命週期檢查攔下超出核准額度的退款,並讓相同規則套用到 AI 助理委派的工作。

  20. Together AI70

    Together AI 宣佈 Qwen4 Max 已可在平臺上使用,並提供 30% 折扣。這款模型是 Alibaba 的旗艦 Qwen 模型,採用 MoE 架構,總引數量為 2.4T、活躍引數量為 71B;原文表示它適合長時間執行的 AI 助理工作、程式開發和視覺任務,並有 1m 上下文視窗。

    推薦理由:Qwen4 Max 在 Together AI 上提供 30% 折扣,原文也列出活躍引數量與上下文視窗,可瞭解這次上架的價格優惠和模型規格。

  21. NVIDIA Blog71

    NVIDIA 與 Microsoft 擴大 AI 運算,從 Azure 延伸到 Windows 電腦

    企業想把 AI 用在工作上,得先決定模型要放在哪裡、如何配合自家資料。NVIDIA 和 Microsoft 擴大合作,讓企業能在 Azure 使用 NVIDIA Vera Rubin NVL72 系統,也能透過 Microsoft Foundry 調整 NVIDIA Nemotron 開放模型,再部署到雲端或企業自己的裝置。EY 用這種方式調整模型來分類採購紀錄,在自己的評估資料上準確率提高 55%,成本比專有前沿模型低 15 倍。合作也把 AI 部署選項延伸到 Azure Local、工業用邊緣裝置和 Windows 電腦,讓企業能依資料位置與工作需求選擇執行方式。

    推薦理由:NVIDIA 與 Microsoft 把雲端、企業內部和個人電腦的 AI 部署選項串在一起,也展示企業如何用自家資料調整開放模型。

  22. Google AI Official Blog63

    Google 在 Gemini API 推出 Tool Retrieval,按需求載入工具設定

    AI 助理連線很多工具時,每次都送上所有工具的完整設定,會增加輸入 token,也可能讓工具選擇變得不準。Google 在 Gemini Interactions API 預覽推出 Tool Retrieval,讓模型先看到工具名稱和說明,等需要某項工具時才載入完整設定,並在同一次請求中完成搜尋與呼叫。開發者可以把常用工具先載入,其他工具延後載入;也能讓 Gemini 在伺服器端搜尋,或由自己的程式查詢工具清單。這項功能沒有額外費用,但載入的設定仍會按一般輸入 token 計費;官方表示,Gemini 3.6 及之後的模型都可使用。

    推薦理由:工具很多時,每次把完整設定都送進提示詞會增加 token 用量並拖慢選擇;Tool Retrieval 改為需要時才載入,適合瞭解大型工具庫的取用方式。

  23. Artificial Analysis57

    比較模型時,評測專案和權重不同,算出的分數也會不同。Artificial Analysis Data Playground 現在可讓使用者挑選多項基準、調整權重,再把結果畫成圖表;只有在指數內每項評測都有成績的模型才會取得分數,計分方式沿用 Intelligence Index 的方法。平臺也提供公式指標、依模型發布日期播放圖表、熱圖、分組箱形圖,以及可用工作表和儀錶板整理資料的工作區。這項功能提供給 Artificial Analysis Pro 使用者。

  24. CrewAI Releases43

    CrewAI 發布 1.15.44,新增可分享的版本化檔案

    CrewAI 1.15.44 新增一項功能,能把檔案存成有版本紀錄、可以分享的檔案。這次更新也修正多個問題,例如讓 AI 助理和團隊在流程檔案中的動作參照更正確,並限制 Pillow 開啟圖片時只接受 PNG、JPEG、GIF 和 WEBP。這些改動能讓檔案更方便儲存與分享,也改善了部分流程和圖片處理問題。

  25. Vercel Blog60

    Vercel AI Gateway 上線 Liquid AI 的 d1.2 與 d1.2-ultra

    需要從音訊或圖片中找出特定資訊時,單靠生成文字不一定方便整理答案。Vercel AI Gateway 現在提供 Liquid AI 的 d1.2 和 d1.2-ultra,這兩個決策模型會直接回傳結構化結果,可回答是或否、選出類別、依規準評分,也能辨認音訊內容或找出圖片物件的位置。d1.2 速度較快、成本較低;d1.2-ultra 則是 Liquid AI 準確度最高的決策模型。使用者可在同一個請求中提出多個問題,請求也會記錄在 AI Gateway 的紀錄中並計入預算。

  26. ElevenLabs Official Blog50

    Candid Health 用 ElevenAgents 自動打電話查保險理賠問題

    保險理賠被拒時,醫院的帳務人員得打電話查原因,一通可能花上 10 分鐘到 1 小時。Candid Health 用 ElevenAgents 打電話詢問保險公司,找出拒賠原因和接下來該怎麼處理;一開始就處理了 12,860 通電話,替員工省下超過 850 小時,並成功解決 59% 的試辦電話。像是查出醫療人員在看診當天沒有完成保險公司的資格登記,修正這類問題就能避免後續理賠再被拒。客服和帳務團隊也能自己調整、測試 AI 助理,讓工程師專心處理系統穩定和擴充。

  27. AWS Machine Learning Blog58

    PolyAI Dialog-RSN-1 登上 Amazon SageMaker JumpStart,可部署到自己的 AWS 帳戶

    處理即時客服電話時,模型要聽懂來電者的話,也得及時回答。PolyAI 的 Dialog-RSN-1 現在可透過 AWS Marketplace 或 Amazon SageMaker JumpStart 部署到自己的 AWS 帳戶,直接聽取電話音訊並即時回應,不必先轉成文字再交給另一個模型處理。部署後,通話音訊和逐字稿留在使用者控制的環境中;團隊也能依需求選擇偏重回應速度、處理量、成本或平衡的設定檔。模型目前只支援英文,連線最長為 30 分鐘。

  28. AWS Machine Learning Blog80

    Amazon SageMaker AI 推出跨區域推論路由,區域容量不足時自動轉送請求

    某個 AWS 區域的 GPU 容量不夠時,模型請求可能逾時,即使其他區域還有空間也用不上。Amazon SageMaker AI 推出跨區域推論路由,讓應用程式透過同一個入口呼叫已經部署在不同區域或帳號的端點;本地端點狀況不佳時,路由器會把新請求送到其他可用端點,恢復後再逐步切回。端點擁有者也能設定跨區流量上限,避免外地請求擠壓本地服務。這項功能不支援串流回應,路由器本身不另收費,端點和 CloudWatch 指標仍依標準費率計費。

    推薦理由:SageMaker AI 會依端點健康狀態把新請求轉往其他區域,並在恢復後逐步切回;文中也說明重試條件與跨區流量上限。

  29. Databricks Blog54

    Databricks 說明合作夥伴如何用 Genie 免費額度在 Azure Databricks 推廣 AI

    企業想讓更多員工使用 AI,常會擔心人數增加後費用難以掌握。Databricks 說明,Azure Databricks 每位使用者每月有 $10 的 Genie 免費額度,並可設定預算門檻,超額使用時發出提醒或擋下新請求。Genie One 和 Genie Agents 對使用者免費至 2027 年 1 月 31 日;之後每月 $10 額度會由三種 Genie 服務共用。預算追蹤接近即時,但只是估算,實際費用可能略高或略低,進行中的請求也會完成;SQL 倉儲運算費另計。文章也介紹 Genie 如何連線 Microsoft Teams、Microsoft 365 Copilot、Excel 和 Copilot Studio,並沿用 Unity Catalog 的資料存取許可權。

  30. Vercel Blog47

    Vercel CLI 現在能查帳單、下載發票和預覽費用

    想查團隊用了多少服務、發票在哪裡,或下期可能要付多少錢,現在可以用 Vercel CLI 處理。帳單相關指令統一放在 vercel billing 底下,可以檢視帳單概況、檢視和下載發票,也能預覽下一期帳單及各項費用。所有方案都能檢視帳單概況和發票紀錄;預覽下期費用則需要有效的付費訂閱,而且金額可能在帳單週期結束前改變。這些功能讓人可以直接在命令列整理帳務;更新 Vercel CLI 後就能開始使用。

  31. AWS Machine Learning Blog75

    Amazon SageMaker HyperPod 推出訓練問題診斷與監控功能

    大型模型分散在許多 GPU 上訓練時,只要一張 GPU 或網路出問題,整個工作就可能變慢,找出原因也得翻查多套監控工具。Amazon SageMaker HyperPod 新增監控與診斷功能,會比較同一訓練工作中的 GPU 使用率、溫度和耗電等狀況,找出和其他 GPU 不同的裝置,也會標示硬體錯誤、網路變慢、過熱或降速等問題,並列出受影響的工作與裝置。功能支援 EKS 和 Slurm,可將資料送到 CloudWatch 或 Prometheus;進階指標可自行開啟,但會增加資料量與相關費用。

    推薦理由:新功能把 GPU、網路和主機的狀況放在同一處檢查,並標出異常裝置與可能原因,呈現大型訓練排查問題的做法。

  32. llama.cpp Releases61

    llama.cpp b12543 加快 Apple Silicon 上的 CONV_2D 運算

    在 Apple Silicon 上執行卷積運算時,部分 GPU 運算單元可能閒置,讓某些工作跑得較慢。llama.cpp b12543 為支援 tensor API 的裝置加入新的 CONV_2D 核心,也調整工作切分方式,並改善資料位置計算;不支援 tensor API 的裝置仍使用原本的核心。發布資料列出 M5 Max 上多種輸入尺寸的測試結果,顯示部分測試的每次運算時間縮短。對超過 4 GiB 的影像資料則會改用通用核心。

    推薦理由:llama.cpp 這次更新針對 Metal 上的 CONV_2D 卷積運算調整核心與工作切分方式,並提供 M5 Max 多種輸入尺寸的耗時比較,可用來瞭解效能變化。

  33. Databricks Blog71

    Databricks Genie Code 可一次把整個資料夾的 Tableau 和 Power BI 報表搬到 AI/BI

    把多年累積的 Tableau 或 Power BI 報表逐份搬家,可能得花上好幾個月。Databricks 現在讓 Genie Code 一次處理整個資料夾:先把報表放進 Unity Catalog volume,再從草稿儀錶板執行 /importBI,選好目錄和資料表綱要後,系統就會在背景逐份轉成 AI/BI 儀錶板。每份報表都有進度可追蹤,也能個別檢查和修改。完成不代表數字一定相同;切換使用者前,仍要比對原報表的數字、篩選條件和圖表。

    推薦理由:Databricks 說明如何把整個資料夾的 Tableau 或 Power BI 報表一次匯入 AI/BI,也提醒遷移後要逐份核對數字與篩選條件。