跳到正文

#產品更新

RSS
今日 1 則
11月21日週六
  1. AWS Machine Learning Blog61

    Amazon Textract Insights 上線,從混合檔案擷取資料並標出來源

    處理一疊格式各異的檔案時,團隊常得自己串起辨識、分類和資料擷取流程,也難判斷哪些答案可以直接採用。AWS 推出 Amazon Textract Insights,讓使用者用白話描述要找的欄位,再把單份檔案或混合檔案交給同一個 API 處理。它能把最多 3,000 頁的檔案拆成不同檔案、配對欄位範本,並為每個結果附上信心分數、來源頁面和位置。這些線索可供人工核對,團隊也能把信心較低的欄位交由人員複查。

    推薦理由:它把混合檔案的拆分、分類與欄位擷取放進同一個 API,並附上來源頁面和信心分數,讓團隊能依結果安排人工複查。

  2. Browser Use Releases58

    browser-use 1.0.7 讓長時間瀏覽器操作先回傳部分結果

    瀏覽器操作如果超過使用者端的等待時間,呼叫就可能逾時,使用者拿不到結果。browser-use 1.0.7 調整了 MCP 呼叫的回覆方式:長時間執行的 browser_exec 會在 50 秒內先回傳目前輸出,工作仍會繼續;之後再次呼叫 browser_exec 並留空程式碼,就能取回剩下的結果。原本 50 秒內完成的呼叫則維持原樣。這項調整讓有 60 秒限制的 Cursor 等使用者端也能先收到回覆。

  3. vLLM Official Blog75

    vLLM 支援 Thinking Machines 的 Inkling 2 Mini 迴圈模型

    模型把部分中間層重複運算,會讓推論時的快取和訊息傳遞更難處理。vLLM 宣佈支援 Thinking Machines 的 Inkling 2 Mini,並在 NVIDIA Blackwell、Hopper 和 DGX Spark 上提供 Day-0 支援。Inkling 2 Mini 的 12 個核心層會對每個 token 運算三次,每次各自保留 KV cache,並讀取前一次運算傳來的訊息;模型有 26B 總引數、3.5B 啟用引數,支援最多 1M tokens 的上下文。vLLM 也支援可調整運算次數的研究檢查點,讓團隊能測試速度、記憶體用量和品質之間的取捨。

    推薦理由:Inkling 2 Mini 的迴圈層會讓每個核心層重複運算三次,vLLM 透過分開管理快取並融合訊息讀取來支援這種架構。

  4. Google Developers Blog55

    Google 擴大 Agent Anomaly Detection 監看其他雲端的 AI 助理

    AI 助理在不同雲端執行時,異常操作可能藏在一連串看似正常的工具呼叫裡。Google 的 Agent Anomaly Detection 現已開放私人預覽,可讀取送到 Google Cloud 的追蹤紀錄和日誌,分析 AI 助理的整段對話,不必接觸它實際運作的環境。測試中,它找出 AWS Lambda 上大量翻查商品目錄的行為,也標記出 Microsoft Foundry 上受訂單備註影響、退還 $999 款項的操作。分析會另外執行,不會拖慢 AI 助理;目前支援以 ADK for Python 建置的 AI 助理。

  5. Vercel Blog49

    Vercel Functions 開放接收最大 20MiB 的請求資料

    Vercel Functions 現在在 Public Beta 中可接收最大 20MiB 的請求資料,原本上限是 4.5MB。要使用較大的上限,必須設定環境變數 VERCEL_SUPPORT_LARGE_REQUEST_BODY=1,並讓專案的函式使用 4GB 效能記憶體設定;功能適用於 Node.js、Python、Bun 和 Routing Middleware。Edge runtime 仍維持 4.5MB 上限,超過會回傳 413。啟用後,Routing Middleware 看得到請求標頭和其他資料,但收不到請求本文;處理大檔案時也要盡快讀取,避免記憶體和傳輸壓力。

  6. Unsloth AI Releases66

    Unsloth 更新加入 Inkling 2 Mini,並加快圖片生成與 MCP 對話

    圖片生成慢、MCP 對話每次都重讀整段內容,會增加等待時間和 token 用量。Unsloth 這次更新推出 Inkling 2 Mini,標示為 26B(5.4 active)、支援 1M context;圖片生成也有加速,例如 MiniMax-H3-Image 在 8GB GPU 上生成新提示詞的圖片,從 82.7 秒降到 36.7 秒。使用 MCP 工具的聊天在測試中少處理 83% 到 87% 的提示詞 token,Apple Silicon Mac 也能替影片整段換風格。更新還加入掃描 PDF 的 OCR 辨識,並改善多項訓練與圖片、影片處理速度。

    推薦理由:這次更新同時改善圖片生成、影片改風格與 MCP 對話,並列出速度和用量變化,可看出 Unsloth 正在擴大桌面工具的使用範圍。

  7. ollama release46

    Ollama 發布 v0.40.17-rc3,改善多個 AI 工具的使用方式

    Ollama v0.40.17-rc3 加入多項更新:Claude Code 需要工具時才載入 MCP 工具;Apple silicon 上的 Ollama 現在能同時處理多個請求。更新也修正了部分顯示卡載入模型或配置記憶體失敗的問題,並讓 API 傳遞工具設定時保留原有的 JSON 格式規則。這次更新還調整了多行輸入、模型推理設定和 ChatGPT 設定檔切換等操作,讓使用過程少一些卡關。

  8. Vercel Blog57

    Vercel CLI 可讓 AI 助理用白話描述任務來找指令

    找 Vercel CLI 指令時,光記得要做什麼,卻不清楚指令名稱或 API 路徑,可能讓人和 AI 助理都得猜。Vercel 新增 vercel help search,可以用日常語句搜尋符合任務的指令;加上 --with-help,還能在同一次搜尋中看到第一個結果的說明和範例。例如搜尋「roll back production」,就會找到 vercel rollback 的選項與範例。搜尋也能提供符合任務的 API 指令及必填欄位,並支援 JSON 結果。Vercel 表示不會記錄搜尋文字。

  9. OpenHands (All-Hands AI) Releases45

    OpenHands Agent Canvas 發布 v1.43.0,加入對話反應與自動化設定

    OpenHands Agent Canvas 的 v1.43.0 加入多項新功能,例如在設定精靈中建立自動化、對話反應,以及顯示 AI 助理修改過的訊息。實驗性功能可從設定頁面檢視;聊天訊息清單也改成只載入目前需要顯示的內容,讓操作更順。這次更新還修正切換對話時自動化設定表單會消失的問題。macOS 下載版尚未取得 Apple Developer ID 簽章,系統可能會把它標示為「已損毀」;說明指出,這是 Gatekeeper 的隔離標記,移到「應用程式」後可用提供的指令清除。

  10. llama.cpp Releases50

    llama.cpp b12590 加入 drama3 聲音複製支援

    llama.cpp 這次更新讓 fish_s2_spkenc 也能用在 drama3,把參考音訊轉成模型可使用的資料,並透過 drama3 的語音流程產生聲音。使用者提供參考音訊時,系統會把其中的音訊資料送進模型;呼叫端提供下一段音訊的程式碼時,也能用來引導生成。這讓 llama.cpp 能處理 drama3 的聲音複製流程,並新增讀取生成狀態中參考音訊程式碼的方式。

  11. Vercel Blog61

    Vercel Priority Projects 開放公開測試,增加流量辨識與網頁安全管控

    網站管理者常需要分辨可疑流量,也要知道網頁載入了哪些指令碼。Vercel 開放 Priority Projects 公開測試,供 Pro 和 Enterprise 團隊按專案加購,每個專案每月 $200。它能標示來自 Tor、VPN 和代理伺服器等流量,提供更多機器人資訊、防火牆警示,也能透過 Page Integrity 檢視並封鎖未核准的網頁資源。流量來源規則可用來記錄、要求驗證或封鎖請求,但 Vercel 提醒,分類中也可能包含正常使用者;Page Integrity 和 OWASP 檢查另行計費。

  12. ElevenLabs Official Blog58

    ElevenLabs Ads Engine 新增影片廣告改版與多語在地化功能

    影片廣告製作又慢又花錢,換個開場或進入新市場,往往得重新拍攝。ElevenLabs 的 Ads Engine 現在能連線 Google、Meta、LinkedIn 和 TikTok 的廣告帳戶,參考現有素材與成效,替影片更換開場或配樂,也能翻譯字幕、調整圖片並配上其他語言的配音。團隊可以先請真人檢查,再自行核准或送到廣告平臺;系統也會留意成效開始下滑的素材,提醒團隊更新。

  13. Together AI Official Blog73

    Together AI 開放使用 Qwen3 TTS,可調整語氣並串流生成語音

    把文字變成語音時,開發者可能希望調整說話情緒、維持熟悉的聲音,也讓語音更快開始播放。Together AI 現在提供 Qwen3 TTS,可從 9 種預設聲音中挑選,再用簡短文字改變說話方式;每種聲音都支援 10 種語言。串流時,第一段音訊最快可在 97ms 後送出,文字若還在逐步產生,也能透過 WebSocket 分段送入。服務費用是每 1M 個字元 $20;Qwen 建議使用聲音原本的語言,以取得較好的品質。

    推薦理由:文章整理了 Qwen3 TTS 在 Together AI 的語音控制與串流方式,並說明不同語言的聲音品質可能因預設聲音而異。

11月20日週五
  1. Databricks Blog79

    Databricks 推出涵蓋 70 個產業的互動式參考架構

    規劃資料平臺時,通用架構圖常說不清各產業實際會用哪些系統和資料。Databricks 推出涵蓋 70 個產業的互動式架構圖,整理各行業的資料來源、格式、團隊和應用,也能切換雲端與檢查不同地區的產品供應狀況及發布階段。每張圖都能檢視說明、複製修改,或匯出成多種格式;如果要從業務描述開始,也可用 AI Architecture Assistant 找出接近的產業架構再編輯。這些圖適合作為規劃起點,仍要依各公司的系統和需求調整。

    推薦理由:這套架構把各產業常見的資料來源、團隊與應用放在同一張可編輯的圖上,也能查不同雲端和地區的產品供應情況。

  2. DuckDB Official Blog80

    DuckDB 2.0.1 LTS 修正安全與資料問題,新增 GPU 查詢擴充功能

    DuckDB 2.0.0 有些情況會漏掉資料,也有設定可能讓外部存取沒有被擋住。DuckDB 2.0.1 LTS 修正這些問題,並修補 Linux 記憶體管理與 Brotli 解碼器相關漏洞;若暫時不能升級,Linux 使用者可設定 DUCKDB_JE_MALLOC_CONF=muzzy_decay_ms:0,降低其中一項記憶體問題的影響。這版也新增 Sirius,能在符合條件的 Linux 電腦上用 NVIDIA GPU 執行 DuckDB 查詢;第一次載入時會下載約 1 GB 的對應程式。升級前還要檢查 SECRET 許可權範圍,以及 UPDATE ... FROM 和 MERGE 的更新結果可能受到多筆符合資料影響。

    推薦理由:這次更新同時修正資料遺失與安全問題,也調整部分舊行為;文中列出升級前需檢查的設定與暫時緩解方式。

  3. OpenBMB58

    老師批改手寫英文作文時,得先辨認字跡,再逐句檢查拼字和文法。OpenBMB 推出的開源 app PaperReview 可匯入作文照片,辨認手寫內容,並把修改建議連回原文,讓老師對照學生寫的字和辨識結果。MiniCPM-OCR 1.0 負責辨識,MiniCPM5-2B 檢查拼字、文法、標點和大小寫;老師可以逐項接受或略過建議,也能保留進度、稍後接著改。下載模型和執行環境後,辨識與文字檢查會在 Apple Silicon Mac 本機進行,學生作文不必送到雲端模型。

  4. PyTorch Core Releases74

    PyTorch 為 MPS 加入 segment_reduce 前向運算

    PyTorch 使用 MPS 做 segment_reduce 時,原本沒有這項運算的原生前向實作。這次更新加入加總、平均、最大值、最小值和乘積運算,支援 float32、float16 與 bfloat16;反向運算目前還未實作。在 M5 Pro 的測試中,使用 offsets 的多種資料形狀都有加速,依運算種類約為 13 到 101 倍;改用 lengths 時,共用前端每次呼叫會多出兩次主機同步,部分測試因此變慢。

    推薦理由:這次更新提供 MPS 上 segment_reduce 前向運算的實測比較,也顯示輸入方式會大幅影響速度,評估效能時可一併留意主機同步成本。

  5. llama.cpp Releases54

    llama.cpp b12561 加入 Vulkan 版 GATED_DELTA_NET 分段處理

    在不同顯示卡上執行同一種運算時,效能調整和相容性處理可能各不相同。llama.cpp b12561 更新 Vulkan 版 GATED_DELTA_NET,加入分段處理,並針對 RDNA4、Ampere 和 NVIDIA 顯示卡調整程式,也修正部分驗證錯誤與效能問題。這次更新還列出多種系統與硬體的下載版本,方便使用者依自己的裝置選用。

  6. PyTorch Core Releases69

    PyTorch 為 ROCm 的 UALink GPU 加入 fabric handle 記憶體共享

    ROCm 原本用 POSIX 檔案描述符,讓不同 GPU 共享可擴充的記憶體區塊;區塊很多時,開啟的檔案描述符會碰到數量上限。這項 PyTorch 修改加入 fabric handle,讓支援 UALink 的 GPU 改用另一種共享方式,並修正 HIP 不接受特定主機存取設定的問題。作者在 MI450 和 ROCm 10.3 上測試,16,384 個區塊都能完成共享,而檔案描述符方式在上限較低時會提早失敗。測得的頻寬提升不大,這項修改主要改善大量區塊共享時的可靠性。

    推薦理由:這項修改主要改善 UALink GPU 間共享大型記憶體區塊時的穩定性,也避開檔案描述符數量上限;文中測試顯示傳輸頻寬提升有限。

  7. PyTorch Core Releases77

    PyTorch 修正 Inductor 長串資料寫入造成的效能問題

    PyTorch Inductor 把一長串資料寫入操作合併執行時,每個工作區塊都會讀取大量用不到的資料,拖慢了補零工作。這次修正調整了圖形最佳化方式,遇到較長的寫入鏈時,改成直接把資料寫進指定位置,避免重複讀取。在 GB300 的本機測試中,每輪工作約省下 25 毫秒;GB200 測試也觀察到每輪至少省下 44 毫秒。

    推薦理由:這項 PyTorch Inductor 修正說明,長鏈融合可能讓每個執行區塊重複讀取不需要的資料,並以實測呈現改用原地寫入後的效能差異。

  8. PyTorch Core Releases55

    PyTorch 為 ROCm 的可擴充套件記憶體加入 UALink 分享支援

    ROCm 原本用 POSIX 檔案描述符,讓不同 GPU 分享可擴充套件記憶體;但每個區塊都會佔用一個描述符,數量太多時就可能分享失敗。這次 PyTorch 改用 fabric handle,讓支援 UALink 的 GPU 能交換記憶體區塊,也避開檔案描述符上限。測試中,16,384 個區塊都能完成分享;POSIX 檔案描述符方式則在系統上限較低時提早失敗。改動也繞過一個 HIP 問題:從 fabric handle 匯入的記憶體只開放 GPU 存取。測試顯示,這項改動主要改善分享的穩定性,沒有帶來明顯頻寬提升。

  9. AWS Machine Learning Blog43

    Kimi Code CLI v2.7.0 可用 AWS 認證連線 Amazon Bedrock

    以前用 Kimi Code CLI 連線 Amazon Bedrock,要另外準備一組 API 金鑰,得多花心力管理。Moonshot AI 在 v2.7.0 加入原生 bedrock provider,讓 CLI 改用現有的 AWS 認證,也能選擇指定的帳號設定檔或透過 SSO 登入。以 Kimi K3.1 Pro Highspeed 為例,設定好模型後,就能在寫程式時串流接收回覆,並使用圖片輸入和工具呼叫功能。這讓連線設定更省事,但仍要妥善保護 AWS 認證,並只開放需要的許可權。

  10. AWS Machine Learning Blog71

    Amazon SageMaker Inference 回顧 2026 年後續 14 項更新

    模型上線後,團隊還得處理延遲變高、GPU 沒用滿、流量塞在單一區域等問題。這篇文章整理 Amazon SageMaker Inference 後續推出的 14 項更新,涵蓋效能建議、LoRA adapter 調校、GPU 分割、多節點模型服務、跨區域流量分配和持續監控。例如,跨區域路由能把請求送到其他已登記的端點,並限制哪些區域可以處理流量;原有端點也能用少量額外機器分批更新模型,再重複使用既有機器。文章透過一個客服 AI 助理團隊的假想案例,說明這些工具如何協助團隊管理模型上線後的工作。

    推薦理由:文章依照模型上線後常見的營運難題,整理 SageMaker Inference 的更新如何協助團隊調校效能、共用 GPU 資源並跨區域分流。