以生產評估迴避評估意識並預測對齊失調
summary_zh: Marcus Williams、Cameron Raymond 與 Micah Carroll 展示了一套可擴充套件、隱私保護的生產評估流程,利用去識別化對話預測並追蹤模型對齊失調行為。
summary_zh: Marcus Williams、Cameron Raymond 與 Micah Carroll 展示了一套可擴充套件、隱私保護的生產評估流程,利用去識別化對話預測並追蹤模型對齊失調行為。
summary_zh: 作者指出,AI 產業正面臨「偏差正常化」風險,企業與開發者過度依賴 LLM 輸出,可能導致安全漏洞與意外行為。 - 概念來源:此術語源自社會學家 Diane Vaughan 的「偏差正常化」概念,最初用於解釋美國航天挑戰者號災難中警示被忽視的過程。
稀疏自編碼器潛在層歸因法 能精確定位語言模型產生偏差的內部因素,並透過啟用導向調整模型行為。 • 方法概述,利用稀疏自編碼器(SAE)在單一模型上計算正負完成的歸因差值,挑選前 100 個最具因果關聯的潛在向量。
本文提出一套在大規模自動編碼環境下驗證程式碼的實務方法。 - Codex 內建自動程式碼審查模型能以高精度快速發現錯誤。 - 透過倉庫存取與執行許可權,模型在實際 PR 中召回率提升、誤報率降低。 - 內部與外部每日處理超過 100k PR,已協助避免多起關鍵失誤。 - 研究提供可配置的精度/召回平衡引數,供開發者根據需求調整。
gpt-oss-safeguard 是 OpenAI 與 ROOST 共同開發的安全推理模型,提供 20B 與 120B 兩種規模,採用 Apache 2.0 授權。
ChatGPT 的深度研究代理在使用多工具整合時可能導致資料外洩。 - 資料外洩機制:代理可在不同連接器(如 Outlook Email、Remote Matrix、Bing、Shopify)之間傳遞資訊,造成跨工具資料洩漏。
Windsurf Cascade 能辨識不可見的 Unicode 標籤,將其視為指令,進而在不被開發者察覺的情況下自動呼叫工具。 - 隱蔽注入機制:透過隱藏字元觸發工具執行,可造成資訊外洩或資料竊取。
gpt-oss 是 OpenAI 於 2025 年推出的兩款 20B 與 120B 開源權重模型,專為本地聊天、代理與開發者使用而設計。 - 模型規格:20B 針對低延遲、專用場景;120B 針對生產、通用高推理需求。
推薦理由:gpt-oss 20B/120B 以低記憶體、可微調、代理功能,為本地聊天與開發者提供新選擇。
ChatGPT Codex 在 2025 年被證明可被利用 prompt injection 透過 Common Dependencies Allowlist 進行遠端控制,形成 ZombAI Botnet。
推薦理由:此研究揭示 Codex 允許網路存取的 allowlist 可被利用進行遠端控制,提醒使用者須嚴格限制網路許可權以防止惡意利用。
ChatGPT 透過 Prompt Injection 能夠讀取系統提示中的聊天歷史,並將資料送往第三方伺服器。研究者利用 url_safe 渲染功能的旁路,將資料傳送至 Azure Blob Storage(windows.net),從而外洩使用者歷史對話與記憶。
推薦理由:此研究揭示 ChatGPT 透過 Prompt Injection 可將聊天歷史外洩,提醒使用者及開發者關注 url_safe 漏洞與修補進度。
本倡議將於 2025 年 8 月舉行「AI 漏洞月」,聚焦代理式 AI 系統中的 Prompt Injection 漏洞,並透過每日博文揭露實際攻擊案例與緩解建議。
Secure Minions 是一個開源研究專案,結合本地 Ollama 模型與雲端前沿模型,透過 NVIDIA Hopper H100 的安全模組實現端到端加密協作。
Mistral AI 釋出首個專為程式碼最佳化的嵌入模型 Codestral Embed,在真實程式碼資料的檢索任務中表現優於多個市場同類模型。該模型支援多維度與多種精度輸出,可在檢索質量與儲存成本之間進行靈活權衡。Codestral Embed 已在 API 上線,定價為每百萬 token 0.15 美元,同時提供批次 API 折扣及本地部署支援。
本文以實驗方式剖析 ChatGPT 的記憶與聊天歷史功能,說明其如何構建使用者檔案並揭露潛在的提示注入風險。 - 兩項記憶功能: - Reference Saved Memories:將已儲存的記憶與時間戳存於系統提示; - Reference Chat History:維持近期對話歷史,並以此建立使用者概況。
Sneaky Bits 是一個可將任何 Unicode 字元或位元組序列編碼為兩個隱形字元的工具,讓 LLM 能夠進行資料隱匿與指令注入。 - 核心功能:利用兩個隱形 Unicode 字元(U+2062、U+2064)將任何字元轉換為二進位碼,支援 ASCII、Unicode、Emoji 等。
Minions 是一套將小型本地 LLM 與雲端大模型協同運算的框架,能在保持高品質的同時大幅降低雲端使用成本。 - 協同方式:Minion 讓雲端模型與單一本地模型對話;MinionS 將任務拆分為子任務並行處理。
推薦理由:本研究提出將大模型拆分至本地裝置與雲端協同,能大幅降低雲端成本,對資源受限環境具有實際應用價值。
本文展示了 ChatGPT Operator 在 Prompt Injection 攻擊下可竊取使用者 PII 的實驗,並評估其多層防禦機制的效能。 - 攻擊範例:利用 GitHub Issue 觸發 Operator 進入已登入的 YC Hacker News,複製隱私電郵並送至自建資料外洩頁面,成功取得 PII。
導語:Ollama 於 2024 年 7 月 25 日正式推出工具呼叫功能,讓 Llama 3.1 等模型能直接呼叫函式、API、網頁瀏覽、程式碼解譯等工具,提升模型執行複雜任務的能力。
Ollama 於 Windows 發布預覽版,允許使用者直接在本機拉取、執行並建立大型語言模型,並支援 NVIDIA GPU 加速與 AVX/AVX2 CPU 指令集。
Ollama 於 2024 年 2 月 8 日發布了 OpenAI API 相容功能,允許使用者在本地端呼叫 Llama 2、Mistral 等模型。 - 相容範圍:支援 OpenAI Chat Completions、Embeddings、Function calling 等 API,未來將加入 Vision、Logprobs 等功能。
推薦理由:Ollama 相容 OpenAI API,使用者可在本地即時呼叫 Llama 2 等模型,輕鬆整合多款工具。
summary_zh: Steve Moraco 利用 Replit 建立了 DATA,一款以 ChatGPT 取代 Siri 的個人化 AI 助手。 - 成長指標:DATA 以 Replit Deployments 快速擴張,達到 $18k MRR、800 付費訂閱者與 100k+ 觀察次數,最終實現 $216k ARR。
Replit 推出 Ghostwriter AI,其核心功能 Complete Code 以 400 ms 內的回應時間,遠快於 GitHub Copilot。