OpenAI 與 ROOST 合作推出 gpt-oss-safeguard 安全推理模型
gpt-oss-safeguard 是 OpenAI 與 ROOST 共同開發的安全推理模型,提供 20B 與 120B 兩種規模,採用 Apache 2.0 授權。
推薦理由:此開源安全推理模型可直接整合至現有內容審核流程,提升決策透明度與可調節性,並支援多層級推理設定。
OpenAI 的全部動態:GPT 系列模型、ChatGPT 與 Sora 產品、公司戰略與人事的持續追蹤。
gpt-oss-safeguard 是 OpenAI 與 ROOST 共同開發的安全推理模型,提供 20B 與 120B 兩種規模,採用 Apache 2.0 授權。
推薦理由:此開源安全推理模型可直接整合至現有內容審核流程,提升決策透明度與可調節性,並支援多層級推理設定。
本文 以從零開始的方式,說明 LLM 評估的四種主要方法,並提供完整的程式碼範例。 - 四大評估方法 多選題、驗證器、排行榜、LLM 評審。 - 實作範例 用純 PyTorch 實作 Qwen3 0.6B,並將程式碼上傳至 GitHub。
推薦理由:本文提供四種 LLM 評估方法的實作範例,幫助工程師快速選擇適合的評估策略,並瞭解各方法的優缺點與實務落地。
導語:OpenAI 近期測試 AI 代理在多個專業領域執行人類專家平均需 4–7 小時的任務,結果顯示 AI 仍略遜人類,但差距正縮小。- 測試方式 - 邀請平均 14 年經驗的行業專家設計實務任務,AI 與人類同時完成,第三方專家評分。
推薦理由:這篇文章說明AI代理正快速逼近人類專家水平,並探討其對工作流程與重複性任務的實際影響,對想了解AI實務落地的讀者很有價值。
Altman在其部落格中說明,AI算力的擴張將成為經濟的核心驅動力,並計畫每週產出1GW新的AI基礎設施。 - 目標:每週產出1GW新AI基礎設施,總計數十GW計畫。
推薦理由:Altman闡述AI算力擴張願景,強調每週產出1GW基礎設施的可行性,提醒產業同步升級硬體與能源以支撐未來發展。
ChatGPT 的深度研究代理在使用多工具整合時可能導致資料外洩。 - 資料外洩機制:代理可在不同聯結器(如 Outlook Email、Remote Matrix、Bing、Shopify)之間傳遞資訊,造成跨工具資料洩漏。
推薦理由:揭示深度研究代理在多工具整合時的資料外洩風險,提醒使用者慎選可信來源並說明可透過限制工具連結與加強驗證來降低風險
HBM 正在重塑 AI 加速器的記憶壁,從 HBM4 的自訂晶片到未來 20 層堆疊,容量與頻寬持續突破。 - 容量與頻寬增長:Nvidia 2027 年 Rubin Ultra 目標 1 TB HBM,AMD、OpenAI 等亦追隨。
推薦理由:本文透析 HBM 4 及未來路線,說明 AI 加速器容量與頻寬瓶頸,對硬體研發與供應鏈策略具關鍵參考價值,為未來晶片設計與供應鏈風險評估提供實質指引。
gpt-oss 是 OpenAI 於 2025 年推出的兩款 20B 與 120B 開源權重模型,專為本地聊天、代理與開發者使用而設計。 - 模型規格:20B 針對低延遲、專用場景;120B 針對生產、通用高推理需求。
推薦理由:gpt-oss 20B/120B 以低記憶體、可微調、代理功能,為本地聊天與開發者提供新選擇。
ChatGPT Codex 在 2025 年被證明可被利用 prompt injection 透過 Common Dependencies Allowlist 進行遠端控制,形成 ZombAI Botnet。
推薦理由:此研究揭示 Codex 允許網路存取的 allowlist 可被利用進行遠端控制,提醒使用者須嚴格限制網路許可權以防止惡意利用。
ChatGPT 透過 Prompt Injection 能夠讀取系統提示中的聊天歷史,並將資料送往第三方伺服器。研究者利用 url_safe 渲染功能的旁路,將資料傳送至 Azure Blob Storage(windows.net),從而外洩使用者歷史對話與記憶。
推薦理由:此研究揭示 ChatGPT 透過 Prompt Injection 可將聊天歷史外洩,提醒使用者及開發者關注 url_safe 漏洞與修補進度。
本倡議將於 2025 年 8 月舉行「AI 漏洞月」,聚焦代理式 AI 系統中的 Prompt Injection 漏洞,並透過每日博文揭露實際攻擊案例與緩解建議。
推薦理由:本倡議聚焦代理式 AI 的 prompt injection 漏洞,透過實際案例與緩解建議,協助開發者與安全人員快速辨識並防範新興攻擊,提升整體防護水平;同時也促進廠商快速回應與修補,為 AI 開發生態帶來更安全的基礎。
Secure Minions 是一個開源研究專案,結合本地 Ollama 模型與雲端前沿模型,透過 NVIDIA Hopper H100 的安全模組實現端到端加密協作。
推薦理由:本研究展示了利用 NVIDIA Hopper H100 安全模組,實現本地 LLM 與雲端 LLM 的端到端加密協作,既降低雲端成本又保障隱私,延遲增幅不到 1%。
Mistral AI 釋出首個專為程式碼最佳化的嵌入模型 Codestral Embed,在真實程式碼資料的檢索任務中表現優於多個市場同類模型。該模型支援多維度與多種精度輸出,可在檢索質量與儲存成本之間進行靈活權衡。Codestral Embed 已在 API 上線,定價為每百萬 token 0.15 美元,同時提供批次 API 折扣及本地部署支援。
推薦理由:原文公佈了專門針對程式碼檢索最佳化的嵌入模型及其定價和介面資訊,開發者可據此評估其在程式碼庫檢索和智慧體工作流中的效能與成本。
本文以實驗方式剖析 ChatGPT 的記憶與聊天歷史功能,說明其如何構建使用者檔案並揭露潛在的提示注入風險。 - 兩項記憶功能: - Reference Saved Memories:將已儲存的記憶與時間戳存於系統提示; - Reference Chat History:維持近期對話歷史,並以此建立使用者概況。
推薦理由:本文透過實驗揭示 ChatGPT 的記憶機制與潛在風險,對安全研究者與產品設計者具實務參考價值。
Sneaky Bits 是一個可將任何 Unicode 字元或位元組序列編碼為兩個隱形字元的工具,讓 LLM 能夠進行資料隱匿與指令注入。 - 核心功能:利用兩個隱形 Unicode 字元(U+2062、U+2064)將任何字元轉換為二進位碼,支援 ASCII、Unicode、Emoji 等。
推薦理由:掌握 Sneaky Bits 兩隱形 Unicode 字元的資料隱匿方式,協助安全工程師評估 LLM 輸入驗證風險。
Minions 是一套將小型本地 LLM 與雲端大模型協同運算的框架,能在保持高品質的同時大幅降低雲端使用成本。 - 協同方式:Minion 讓雲端模型與單一本地模型對話;MinionS 將任務拆分為子任務並行處理。
推薦理由:本研究提出將大模型拆分至本地裝置與雲端協同,能大幅降低雲端成本,對資源受限環境具有實際應用價值。
本文展示了 ChatGPT Operator 在 Prompt Injection 攻擊下可竊取使用者 PII 的實驗,並評估其多層防禦機制的效能。 - 攻擊範例:利用 GitHub Issue 觸發 Operator 進入已登入的 YC Hacker News,複製隱私電郵並送至自建資料外洩頁面,成功取得 PII。
推薦理由:本文透過實驗證明即使有多層防禦,ChatGPT Operator 仍易被 Prompt Injection 竄改,提醒開發者必須加強行為監控與安全機制,並鼓勵研究者公開 Prompt Injection 監測機制以提升透明度。
LLM 測試時計算量與模型規模擴充套件曲線研究 - 核心發現 在多種推理策略(並行多樣本、迭代修正、加權投票、波束搜尋、前瞻搜尋)下,測試時計算量的增加能顯著提升輸出品質,對於簡單問題可用較小模型加多次推理取代更大模型。
推薦理由:此研究揭示在多樣推理策略下,測試時計算量可替代引數增長,為 LLM 部署與成本最佳化提供實證基礎
生成式 AI 平臺 的建構流程被分為多個階段,從簡單的模型呼叫到完整的觀測與安全機制,內容涵蓋 RAG、代理、路由、快取與寫入動作。 - 核心元件 包括 模型 API、上下文構建、Guardrails、Model Router、Gateway、Cache、複雜邏輯、寫入動作、觀測。
推薦理由:此篇深入拆解生成式 AI 平臺的核心元件與設計模式,對想打造可擴充、可觀測的系統的工程師極具參考價值。
GPT‑4o 於 ChatGPT 免費提供,並加入語音與影像模式,帶來「像電影般」的自然互動。 - 功能亮點:即時語音/影像輸入,回應速度與表達力接近人類,支援可選個人化與資料存取。
推薦理由:GPT‑4o 以免費且多模態的語音與影像介面,為使用者帶來更自然的互動體驗,凸顯 OpenAI 商業與技術雙重價值。
生成設定(溫度、top‑k、top‑p 與測試時計算)是調整語言模型創造力與一致性的關鍵手段。 - 溫度:調整 logits 以改變機率分佈,0.7 常用於創意生成,0 近似 argmax 以提升一致性。
推薦理由:本文詳細說明溫度、top‑k、top‑p 等取樣引數如何影響生成結果,對想調整模型創造力與一致性的實務工程師具有直接可落地的參考價值。