跳到正文

全部動態

RSS
今日 4 則
11月14日週六
  1. Next.js Releases54

    Next.js 發布 v16.5.0-canary.50,更新 Turbopack 與開發伺服器

    Next.js 的 canary 版本更新了多項建置和開發功能,涵蓋 Turbopack、路由預先載入與錯誤回報。這次更新預設啟用 Turbopack 的分塊前縮小程式碼功能和記憶體回收,也調整使用者端參照清單,並修正開發伺服器的路由處理與結束方式。這些改動主要影響使用 Next.js canary 版的開發者。

  2. PyTorch Core Releases55

    PyTorch 更新 NCCL Extensions 版本,並調整建置條件

    PyTorch 更新了 NCCL Extensions 的來源版本,並調整 NCCL-EP 的建置條件:沒有指定架構清單時,就不建置 NCCL-EP。更新說明也提到 NCCL-EP v0.3 已推出,加入 Vera Rubin 支援,並改善 NVLink 資料傳送與合併等功能。這次變更主要是更新 PyTorch 使用的來源版本,並讓建置依架構設定進行。

  3. Microsoft ONNX Runtime Releases73

    ONNX Runtime CUDA Plugin EP 0.4.0 加入 CPU 與 GPU 混合執行 MoE 模型

    大型 MoE 模型的專家層可能超出 GPU 記憶體容量,讓模型難以執行。ONNX Runtime CUDA Plugin EP 0.4.0 新增 CPU 與 GPU 混合解除安裝功能:放得下的專家留在 GPU,其他專家改由 CPU 處理,也能在執行過程中把常用專家移到 GPU。這項功能需要搭配 ONNX Runtime 1.32.0;版本或運算元格式不相符時,可能造成執行錯誤或程式崩潰。更新也加入直接執行 GGUF 等區塊量化權重的運算元,以及長上下文和推測解碼加速。

    推薦理由:這次更新把 MoE 模型的專家層分散到 CPU 與 GPU 執行,也補上多種量化格式支援,能協助評估 GPU 記憶體不足時的部署選項。

  4. PyTorch Core Releases39

    PyTorch Dynamo 修正字典的順序、型別與長度檢查

    Python 字典的專案順序、實際型別或長度改變時,PyTorch Dynamo 可能需要重新檢查原本建立的運算圖。這項修改會記住這些字典資訊;如果呼叫函式時,關鍵字的順序不影響結果,就能沿用原本的運算圖。遇到無法確定的情況,仍會保守檢查順序。這次修改只處理字典檢查,沒有更動公開介面;它也通過部分 Python 3.15.2 CPU 測試,但其他平臺和環境的測試仍有未完成專案。

  5. PyTorch Core Releases52

    PyTorch 更新 NCCL Extensions 版本,調整 NCCL-EP 建置條件

    PyTorch 這次更新了 NCCL Extensions 的來源版本,也調整 NCCL-EP 的建置條件。新的版本是 NCCL-EP v0.3,加入 Vera Rubin 支援,並改善 NVLink 資料傳送與合併等功能;不過,PyTorch 只有在指定的架構清單為 sm_90 或更新架構時才會建置 NCCL-EP。這次更新也同步調整了套件來源版本,讓 PyTorch 使用新的 NCCL Extensions 版本。

  6. PyTorch Core Releases59

    PyTorch 支援設定 NCCL 2.32.3 的 TCP 加密金鑰

    NCCL 2.32.3 能替 TCP 連線加密,但 PyTorch 原本沒有設定這把金鑰的方式。這次更新讓使用者在建立 ProcessGroupNCCL 群組時設定加密金鑰,也能用環境變數提供;金鑰不會寫進記錄或除錯資料。後續群組只能沿用同一把金鑰,或不再設定,若各個運算節點的金鑰不同,連線可能卡住。這項功能需要支援 TLS 的 NCCL;不支援的版本、ROCm,以及不含 TLS 的 NCCL,會在不同階段報錯或無法啟用。

  7. ElevenLabs Official Blog45

    開源 TTS 和付費 API 怎麼選?先看需求和團隊能不能維護

    把文字變成語音,可以自己架設開源 TTS,也可以付費使用 API;兩種方式都能做出不錯的語音,適合的情況不同。自己架設不用按字數付費,資料也能留在自家裝置裡,但要另外準備運算裝置,還得有人維護。付費 API 比較省事,接上應用程式就能使用,費用則會依使用量計算。 例如,智慧音箱等裝置需要反應快,或醫療、金融單位要求資料留在特定地方,自己架設可能比較合適;如果想快速推出服務,付費 API 可能更方便。挑選時也要實際測試語音好不好懂、反應速度、語言口音和大量使用時是否穩定,並把裝置和人力費用一起算進去。

  8. Artificial Analysis61

    用 AI 助理寫程式時,分數高不一定代表不同工具在同一套測試裡都能公平比較。Artificial Analysis 更新 Coding Agent Index,改用新版 FrontierCode 和 Terminal-Bench 評分;前者看程式修改是否值得專案維護者合併,後者更新了檢查答案的方式,讓評分更可靠,也較不容易被鑽漏洞。新版中 Claude Fable 5.2 和 Claude Opus 5.5 都拿下 58 分;整體分數平均比舊版低 5 分。得分 48 分以上的配置,每項任務成本約差 30 倍,從 $1.51 到 $44.22,顯示比較表現時也要留意花費。

    推薦理由:新版基準讓模型分數平均下降 5 分,並列出不同配置的單項任務成本,方便比較分數與花費之間的差異。

  9. Artificial Analysis49

    Subquadratic 推出決策模型 SubQ Snap 1.2,在 Artificial Analysis Decision Index v2.1 得到 73 分,比前一版 SubQ Snap 1.1 的 68 分高 5 分,並與 Drex Max v1.1、GLiDE v1.2 並列領先。每 1M 個輸入 token 仍收費 $0.04,也支援 384K token 的上下文視窗。進步最大的是 AA-Paperclip 和 AA-Symmetry,各增加 8 分;在 AA-Paperclip 上,檔案全部答對的比例從 46% 升到 62%。不過,AA-Omniscience-Decision 和 HLE-MultiChoice 的改善來自模型更常不確定時選擇不回答,正確率並沒有提高。這表示總分變好,不代表每種題目都答得更準。

  10. OpenAI News47

    Shield 用 OpenAI GPT‑6 Astra 讓 AI 助理接手舊系統的 IT 工作

    中小企業的 IT 問題常得靠外包技術人員登入各種舊網站處理;有些系統沒有 API,AI 助理也因此卡住,只能等人接手。Shield 把 GPT‑6 Astra 接進 Forge,讓 AI 助理像技術人員一樣看著畫面操作,在支援的工作中登入入口網站、處理工單、裝置或軟體授權。哪些動作能自動做、哪些要由技術人員檢查或核准,仍由技術人員決定。 Shield 表示,這些流程每月已執行數千次,GPT‑6 Astra 平均比他們先前使用的模型快 35–40%,使用 AI 的工單也有較高的客戶滿意度。不過,電話、到府服務和遠端桌面工作仍需要人員參與;Shield 正在測試讓 AI 助理直接操作電腦桌面的流程。

  11. PyTorch Core Releases62

    PyTorch Inductor 重整分塊軸處理,為支援更多維度做準備

    PyTorch Inductor 原本把分塊軸固定在少數幾種名稱和最多三軸,讓後續擴充多維度分塊前,得先移除這些限制。這次更新改用輸入資料的維度產生軸名稱,並讓分塊選擇依設定的上限處理;同時調整區塊大小限制、描述子和指標位移的配合方式。作者回報,多軸分塊、描述子、區塊指標與自動調校的相關測試通過。這項重構本身為後續支援更多維度的分塊鋪路,區塊大小的既有限制則仍保留。

    推薦理由:這項重構整理了 Inductor 對分塊軸數量的假設,並以多軸測試檢查描述子、指標位移和自動調校能否正確配合。

  12. PyTorch Core Releases72

    PyTorch Inductor 擴大支援更多維度的切分

    PyTorch Inductor 原本把切分軸的數量寫死,讓點狀運算難以使用超過三個維度。這次改動改用輸入資料的維度來產生軸名稱,並依設定和區塊限制選擇切分方式,也整理了相關的自動調整與描述資料處理。改動本身是後續支援更多維度切分的準備;發布紀錄列出的測試涵蓋多種軸數、描述資料和區塊指標情況。

    推薦理由:這次改動移除 Inductor 對切分軸數量的固定限制,也整理了區塊大小的選擇方式,可瞭解後續支援更多維度切分的基礎。

  13. PyTorch Core Releases48

    PyTorch Inductor 移除分塊處理的三軸限制

    PyTorch Inductor 原本把分塊處理寫死為最多三個方向,讓超過三個方向的運算無法使用更多分塊方式。這次修改改成依照輸入資料的方向數自動產生名稱,並由設定決定分塊數量;例如,系統可處理四個方向的點對點運算,也能搭配不同方向的資料縮減。這讓後續支援更多方向的分塊有了基礎,也保留原有的區塊大小限制。

  14. Vercel Blog58

    Vercel Sandbox 支援代管 npm 憑證,可安裝團隊私有套件

    安裝團隊的私有 npm 套件時,AI 助理需要憑證,但憑證不該直接交給它。Vercel Sandbox 現在可以使用存放在團隊共用環境變數中的 npm 憑證,也支援 GitHub Packages 和 JFrog Artifactory 等自訂套件庫。建立沙盒時加入 credentials: { npm: true },防火牆就會替送往套件庫的安裝請求加上驗證,憑證則留在沙盒外。這讓 AI 助理能安裝所需套件,同時不必看到憑證。使用前需更新 Sandbox SDK 或 CLI。

  15. Vercel Blog76

    Vercel Token Pass 開放使用 Kimi K3.1 Pro

    團隊使用 AI 助理寫程式時,可能需要切換不同模型或工具。Vercel 的 Token Pass 現在加入 Moonshot AI 的 Kimi K3.1 Pro,可用於寫程式和 AI 助理工作流程,也支援看圖、使用工具,並提供 1M 上下文視窗。這項早期訂閱每隊每月 $30,會提供每月 $80 額度,可用於連線 AI Gateway 的程式開發工具或用 AI SDK 建立的 AI 助理;透過 Token Pass 處理的請求不會保留資料。

    推薦理由:Token Pass 把 Kimi K3.1 Pro 加入團隊訂閱,並列出月費、可用額度與資料保留方式,方便評估是否符合開發需求。

  16. Vercel Blog73

    Vercel Token Pass 每月 $30 可用的代幣額度提高到 $150

    Vercel Token Pass 每月收費 $30,現在提供的代幣額度從 $80 提高到 $150,可用於透過 AI Gateway 提供的指定開放權重模型。額度會在每個計費週期重設,不能累積到下個月;用完後,使用一般 AI Gateway 金鑰或 OIDC 權杖的請求會改用團隊的 AI Gateway 餘額,使用 Token Pass 專用金鑰的請求則會停止,也不會產生超額費用。這項加購服務目前開放給 Pro 團隊,名額有限,額滿後會列入候補。

    推薦理由:每月抵用額從 $80 提高到 $150,費用維持 $30;用量到期後,不同金鑰的處理方式也有所不同。

  17. Vercel Blog53

    Vercel Daemons 可將背景工作追蹤資料送到 Vercel Tracing

    背景工作程式出了狀況時,開發者需要檢視它做了哪些事,才能和專案其他追蹤資料一起排查。Vercel Daemons 現在可把 OpenTelemetry 追蹤資料送到 Vercel Tracing;Node.js Daemons 使用 @vercel/otel 2.3.0 以上版本和預設設定,就能自動送出追蹤資料。之後可透過 Vercel CLI 按服務名稱搜尋,並以 JSON 取得結果,讓開發者和 AI 助理檢視背景工作的執行情況。

  18. AWS Machine Learning Blog74

    AWS 教你用 NVIDIA NeMo Switchyard 替寫程式的 AI 助理選模型

    寫程式的 AI 助理完成一件工作時,可能要呼叫模型很多次,也可能重試後仍沒通過測試,所以只看每個 token 的價格,算不出這件工作的實際成本。AWS 示範如何在 Amazon Bedrock 上部署 LiteLLM 和 NVIDIA NeMo Switchyard,讓它依對話中的工具使用結果,在較省錢和能力較強的模型間選擇,也能用隨機分流比較模型。範例程式會讓 AI 助理修小型程式,再跑測試,並比較路由組和各單一模型成功解題的成本。作者提醒,少量測試不能代表日常工作;要用自己的程式任務多跑幾次,並把失敗的花費也算進去。

    推薦理由:文章用可重跑的任務測試比較模型路由與單一模型,並說明為何要看每個成功解題任務的成本,適合評估自己的程式工作流程。

  19. AWS Machine Learning Blog60

    GS Caltex 如何用 SageMaker Canvas 和 Pipelines 部署模型

    模型在開發時能正常使用,接到正式工作流程時卻常要工程師重新串接資料和設定,花上不少時間。GS Caltex 讓流程工程師在 SageMaker Canvas 建立並檢查模型,再由機器學習工程師把模型和資料處理流程接到 SageMaker Pipelines,定期執行批次推論。文章也說明如何確認訓練資料和推論資料格式一致、避免重複處理,並檢查每次執行的結果。GS Caltex 表示,部署模型從約一週縮短到幾小時,並以每 30 分鐘執行一次批次推論,降低持續開著推論端點的需求與成本。

    推薦理由:文章拆解 SageMaker Canvas 模型轉入定期批次推論的流程,也提醒資料格式、執行重疊與成本都要納入上線檢查。

  20. Baseten75

    部署 DeepSeek V4.1-Flash 時,推論速度會受到使用的硬體配置影響。Baseten 宣佈用 Rust 和 CUDA 從頭打造了一套推論引擎,並將它開源。Baseten 表示,使用 4xB300 時,解碼速度約為 1,740 TPS;使用 8xB300 時,約為 2,060 TPS,而處理 1M-token 的預填約需 12 秒。

    推薦理由:Baseten 公開這套以 Rust 和 CUDA 從頭打造的推論引擎,並列出不同 B300 配置下的解碼速度與 1M-token 預填時間。