ChatGPT Work 讓 The Den 每週節省 10‑15 小時
summary_zh: ChatGPT Work 讓 The Den 每週節省 10‑15 小時,主要透過加速檔案準備流程。 - 授權檔案:從 3 天縮短至 2 小時。
summary_zh: ChatGPT Work 讓 The Den 每週節省 10‑15 小時,主要透過加速檔案準備流程。 - 授權檔案:從 3 天縮短至 2 小時。
本文說明如何在 AWS 上使用情境多臂賽局,提升獲客漏斗轉換率,並提供完整程式碼與架構示例。 - 核心成效:在七週 A/B 測試中,部分客群最終漏斗轉換率提升高單位數字,另一客群無提升。
推薦理由:本文說明如何在 AWS 上運用情境多臂賽局提升轉換率,並提供完整程式碼與架構示例,適合想落實個性化推廣的工程師。
導語:uniopen 透過 LoRA 微調與提示最佳化,將 Amazon Nova 2 Lite 定製為符合其零售審核政策的模型,並在生產環境中落地。
Albertsons Companies 正在使用 ChatGPT Enterprise 及 OpenAI API,協助團隊更快工作,並為數百萬顧客提供更便捷的雜貨購物體驗。 團隊效率提升:ChatGPT Enterprise 讓內部團隊能更迅速完成任務。 顧客購物便利:OpenAI API 為顧客帶來更順暢的購物流程。
Context Language Models 透過將上下文視為檔案並允許模型自由更新,實現在多工場景下的高效上下文管理。
(https://x.com/OpenAI) 上週,Vamsi Boppana 和 @udayruddarraju 加入團隊參觀實驗室,我們一起繼續推進 AI 基礎設施的前沿。
summary_zh: Cloudflare 正在舉辦比賽,邀請開發者利用 Workers 與 Artifacts 建構下一代 Git 平臺。 - Artifacts:一個可版本化、支援 Git 操作的檔案系統,已進入開放測試版,能擴充至數百萬個倉庫,並提供程式化的倉庫建立、fork、檔案與提交檢查等功能。
summary_zh: Cloudflare OS 讓組織內每位成員擁有了解公司運作並連線資料與系統的代理工作空間,並於今日開放完全管理版的候補名單。 - 完全管理部署:可在 Cloudflare Dashboard 一鍵啟動,設定自訂域名、Cloudflare Access 政策與 AI Gateway,剩餘運維由 Cloudflare 代管。
Modal Clusters 正式上線,透過單行程式碼 @modal.clustered 立即在 Modal 平臺上啟動多節點叢集,支援秒級啟動、按秒計費、RDMA 6.4 Tbps 互聯以及自動 GPU 健康檢查。
推薦理由:Modal Clusters 以秒級啟動與按秒計費,解決多節點訓練與推理的資源排程難題,對需大規模模型開發者與推理服務商具有實際價值。
OCP Global Summit 以開幕主題演講「打造 AI 基礎建設新時代」開場 📅 10 月 12 日 ⏰ 4:15 p.m. PT
Modal Runtime 亮點回顧 - VM 沙盒:提供完整 Linux 環境,支援 Docker、資料庫、圖形介面等,已被 Linear、Legora、Snorkel 使用於編碼代理與測試。
AWS 介紹瞭如何使用 Amazon Bedrock AgentCore Runtime Instances 部署一個三AI 助理協作的音樂製作管線,實現 GPU 音樂生成、音訊處理與合規篩查。文章詳細講解了容量提供者配置、共享會話的多AI 助理同機協作、多日持久化儲存以及各AI 助理的獨立部署流程。
Amazon Textract 通過將介面卡 ID 外部化到 AWS Systems Manager Parameter Store,實現跨賬戶推廣與零停機更新。文中提供 CloudFormation 與 Terraform 模板、預分類路由流程以及網路隔離、IAM 最小許可權等安全措施,幫助企業在受監管環境下快速落地。
本文介紹瞭如何在 Amazon SageMaker AI 上使用 vLLM-Omni Deep Learning Container 部署 FLUX.2-klein-4B 即時影像生成端點與 Wan2.1-VACE-1.3B 非同步影片生成端點。工作流通過傳送文本提示詞生成靜態影像,隨後將其作為條件輸入並結合運動提示詞傳輸至影片端點,最終從 Amazon S3 獲取生成的 MP4 影片。
Ollama 發布 v0.35.0 版本,新增決策模型 API,支援結構化輸出,提升工作流程自動化。 - 決策模型功能:透過 /v1/systemone 端點,模型如 Nimble、Tev1 可回傳選項、機率與分數,適用於工單分類、模型路由等。
Ollama v0.35.1-rc0 釋出模型能力宣告與建立請求擴充功能。 - Modelfiles 允許明確宣告模型能力,並可在建立請求時指定。
Cloudflare 團隊通過讓 LLM 模擬駭客進行動態測試,評估了自身 WAF 在六個攻擊類別下對 1,107 次嘗試的防護表現。測試表明,絕大多數攻擊均被 Cloudflare WAF 成功攔截,未被攔截的請求則幫助團隊建立了新的檢測機制以強化安全性。
Jev 是 TypeSafe AI 推出的 System One 模型,能以純英文條件直接回傳布林值、列舉或排序分數,配合 DuckDB 擴充套件即可在 SQL 中即時篩選、分組與排序。
Cloudflare 推出 Vinext 1.0,幫助開發者將 Next.js 應用遷移到 Vite,並在 Cloudflare Workers、Netlify、AWS Lambda 等平臺部署。新版相容率超過 99%,支援 App Router 與 Pages Router、ISR、快取、觀察等功能,並提供自動化測試與社群驅動的持續改進。
OpenRouter 推出了新的 Security Center,讓使用者能集中管理 API 金鑰,並可批次設定消費上限與 IP 白名單,降低洩漏風險。 - 功能概覽:三個分頁(Overview、Key safety、IP allowlist),提供金鑰統計、風險評分、批次停用/存檔、設定消費上限等。
本文介紹瞭如何利用 Amazon EKS、EFA 與 DeepEP 在大規模 MoE RL 訓練中實現 40% 以上吞吐提升。
推薦理由:本文詳細闡述瞭如何利用 Amazon EKS、EFA 與 DeepEP 在大規模 MoE RL 訓練中實現 40% 以上吞吐提升,幫助讀者快速搭建高效、成本友好的分散式 RL 基礎設施。
本文介紹瞭如何在 Amazon SageMaker HyperPod 上使用開源強化學習框架 SkyRL,配合 GRPO 演算法對 Qwen3-VL-8B 視覺語言模型進行多模態強化學習後訓練。
AWS 團隊詳細介紹了面向生產環境的大語言模型質量保障架構,通過自適應管道編排、跨賬戶多模型故障轉移、即時流式評估、複合評估框架以及資料準確性驗證五項技術,在 Amazon Bedrock 上實現了約 99% 的數值準確率並支援即時流式響應。文章重點闡述瞭如何通過三階段自適應處理、獨立配額空間網格、生產者消費者併發模式及兩階段級聯驗證來解決模型幻覺、API 限流和驗證延遲等工程挑戰。
阿里雲千問團隊開發的 Qwen3-TTS-12Hz-1.7B-Base 語音模型現已上線 Amazon SageMaker JumpStart,支援通過託管的即時推理端點實現語音克隆與流式生成。該模型僅需數秒的使用者音訊片段與文本,即可在保持說話人聲音特徵的同時跨語言合成目標語音,並允許使用者在 AWS 環境中控制成本與資料安全。
本文介紹瞭如何使用 Amazon SageMaker HyperPod 與 Qumulo 的 Cloud Native 解決方案,在不同 AWS 區域間進行大規模 AI 模型訓練,並給出了跨區域訓練的效能驗證結果。
TEEs 與 MPC 的結合雖能提升安全,但若未正確驗證與防禦,仍可能被回滾攻擊與測試失效等漏洞利用。 - 安全模型:在 TEE 內執行的 MPC 可將半誠實模型提升為惡意安全,但前提是 attestation 能驗證正確實作。
推薦理由:本文深入剖析 TEE 與 MPC 組合的安全陷阱,並提供實務防禦建議,對安全工程師設計可信系統具有指導意義。
AI 助理要從多個動作中選一個時,系統可以先替每個選項打分,但重複處理相同背景會拖慢速度。這篇文章介紹 SGLang 的 Score API,讓程式明確要求 Yes 或 No 等標籤分數,也說明 MIS 如何在評估多個選項時共用相同背景。測試中,選項從 2 個增加到 16 個時,MIS 在部分模型上的延遲增加不多,但不同模型和負載下結果不一。文章也提醒,部署前要在預定流量下檢視實際處理量和較慢請求的延遲。
推薦理由:文章比較 SGLang 在不同評分方式下的延遲表現,並提醒負載升高時要同時檢視實際吞吐量與尾端延遲。
summary_zh: mlxrunner v0.34.4-rc1 更新 XGrammar 至 0.2.7,支援結構化輸出。 - 更新內容:將 XGrammar 升級至 0.2.7,新增結構化輸出功能。
GitHub Copilot app 重構了 pull request 檢視,通過將文件高度拆分為確定性的程式碼高度與動態塊高度,並在極端負載下最佳化資料管道和虛擬化渲染,實現了在處理包含 2,200 個檔案、逾百萬改行及超過 400 條行內評論的巨大 pull request 時,依然保持快速流暢的審查體驗。
Vercel 公開測試版推出了 Drives 功能,允許在 Sandbox 中掛載持久化儲存目錄。Drives 可跨沙箱實例共享,支援讀寫掛載和只讀快照,最大容量可配置至 16 TiB。每個 Sandbox 可掛載四個 Drives,Hobby 計劃包含 15 GB 儲存、30 GB 讀寫配額。價格按儲存、讀寫計費,Hobby 計劃免費提供。
Jev 是一款快速且低成本的分類模型,本文示範如何以約 $17 的成本在 Together AI 上訓練並部署自己的 Jev 版本。 • 基礎模型採用 Qwen3.5 4B,搭配 38,340 個來自 Hugging Face 的多類別資料集。
Ollama v0.34.3 釋出思考控制、Apple Silicon 支援及 HuggingFace 模型拉取修復,提升跨平臺使用體驗。\n- 思考控制:CLI 與 API 可設定 thinking 引數,預設值為 max,可選 low、high、max。
OpenRouter 推出新的 Batch API,允許使用者以批次提交請求並以 50% 以上折扣完成推理。 - 折扣:大多數供應商在 24 小時內完成請求時收費 50% 或更少。
透過在 Docker 建構階段設定 UV_COMPILE_BYTECODE=1,vLLM 可在 H100 上節省約 18 秒啟動時間,Qwen3-8B 與 Qwen3-32B 亦分別節省 17.6 秒與 17.8 秒。
vLLM 在 GB300 NVL72 叢集上針對 Qwen3.8‑2.4T 進行 PD 服務,實現每 GPU 5,000 個總 token 吞吐量以及每使用者 180 個生成 token 的低延遲表現。
推薦理由:本篇詳盡說明如何在 vLLM 上針對 Qwen3.8-2.4T 進行 PD 服務調優,並提供可執行的 srt-slurm 配方,讓讀者能直接套用於其他模型。
vLLM 透過整合 NVIDIA GPU 的硬體解碼(PyNvVideoCodec)\,將影片字幕任務的解碼工作從 CPU 移至 GPU,實現多 GPU 伺服器的吞吐量提升。
推薦理由:本次更新將硬體解碼與多 GPU 伺服器結合,提升影片字幕任務吞吐量,對 AV 研發與資料標註流程有直接效益。
曼徹斯特大學聯合 NVIDIA 團隊,利用 NVIDIA Earth-2 生成式降尺度模型 CorrDiff 在 Isambard-AI 超算上僅用兩天時間完成了英國全境空氣汙染模型的訓練。該模型基於一年的小時級模擬資料構建,空間解析度達 2 至 3 平方公里,未來還將整合更多開源資料以實現街道級別的預測。
Together 提供了一套從封閉模型快速遷移至開源模型的實務策略,縮短遷移週期至數週至數月。 - 遷移時程:由傳統的數月到數年縮短為數週至數月,並可透過 Managed Service 減少技術複雜度。
NVIDIA 推出旨在最佳化 AI 工廠每兆瓦 token 吞吐量的技術套件 NVIDIA DSX,涵蓋動態功耗分配、網格協同排程及生命週期管理等功能。Lambda 的實測結果顯示,在固定電源預算下利用 NVIDIA DSX MaxLPS 執行叢集可提升 24% 的 token 吞吐量。該平臺通過智慧化排程與即時監控,有效釋放了傳統靜態配置下的閒置算力。