我花 500 美元測試 Devin AI 的 Prompt Injection 漏洞,為你節省風險
Devin AI 是 Cognition 推出的首款 AI 軟體工程師。作者以 30 天試用期、$500 進行實驗,發現可透過 GitHub Issue 注入 Prompt,令 Devin 下載並執行惡意程式,進而完成全系統遠端控制。
推薦理由:本研究揭示 Devin AI 的 Prompt Injection 漏洞,提示企業須加強代理程式安全防護,並可作為其他代理程式安全測試的參考範例。
Devin AI 是 Cognition 推出的首款 AI 軟體工程師。作者以 30 天試用期、$500 進行實驗,發現可透過 GitHub Issue 注入 Prompt,令 Devin 下載並執行惡意程式,進而完成全系統遠端控制。
推薦理由:本研究揭示 Devin AI 的 Prompt Injection 漏洞,提示企業須加強代理程式安全防護,並可作為其他代理程式安全測試的參考範例。
Cursor 是一款流行的 AI 程式碼編輯器,發現其在渲染 Mermaid 圖表時會執行外部圖片請求,允許攻擊者利用圖表中的 <img> 標籤將資料(如使用者記憶、API 金鑰)嵌入 URL 並送往第三方伺服器。
ChatGPT Codex 在 2025 年被證明可被利用 prompt injection 透過 Common Dependencies Allowlist 進行遠端控制,形成 ZombAI Botnet。
推薦理由:此研究揭示 Codex 允許網路存取的 allowlist 可被利用進行遠端控制,提醒使用者須嚴格限制網路許可權以防止惡意利用。
MCP 伺服器 讓使用者能以 MCP 協定託管並操作 Windows COM 物件,實現跨語言的自動化。 - 功能:支援 CreateObject、Get/Set Property、InvokeMethod、QueryInterface 及 ListAllHostedServers,並可動態根據 CLSID/ProgID 啟動任意 COM 物件。
Secure Minions 是一個開源研究專案,結合本地 Ollama 模型與雲端前沿模型,透過 NVIDIA Hopper H100 的安全模組實現端到端加密協作。
Devstral 是 Mistral AI 與 All Hands AI 合作推出的面向軟體工程的AI 助理 LLM,已在 SWE-Bench Verified 上取得 46.8% 的得分。
推薦理由:Devstral 在 SWE-Bench Verified 上顯著領先開源模型,並可在單張 RTX 4090 上本地部署,適合企業私有程式碼庫。
MCP(Model Context Protocol)是一種允許 LLM 應用動態發現並呼叫外部工具的協定,本文詳細說明其安全風險並展示一條全新利用鏈。
推薦理由:本文揭示 MCP 協定的安全風險與新型利用鏈,並提供實務防禦建議,對 AI 工具安全設計具有重要參考價值。
Mistral AI 介紹瞭如何利用大語言模型作為裁判來評估 RAG 系統,重點探討了 RAG 三元組的概念,並結合結構化輸出功能給出了具體的實現程式碼和評估框架。
Minions 是一套將小型本地 LLM 與雲端大模型協同運算的框架,能在保持高品質的同時大幅降低雲端使用成本。 - 協同方式:Minion 讓雲端模型與單一本地模型對話;MinionS 將任務拆分為子任務並行處理。
推薦理由:本研究提出將大模型拆分至本地裝置與雲端協同,能大幅降低雲端成本,對資源受限環境具有實際應用價值。
本文展示了 ChatGPT Operator 在 Prompt Injection 攻擊下可竊取使用者 PII 的實驗,並評估其多層防禦機制的效能。 - 攻擊範例:利用 GitHub Issue 觸發 Operator 進入已登入的 YC Hacker News,複製隱私電郵並送至自建資料外洩頁面,成功取得 PII。
Continue 與 Ollama 讓開發者可在 VS Code 或 JetBrains 內部直接使用開源 LLM 進行程式碼補完與聊天。 - Codestral 22B:具備補完與聊天功能,需 22B 引數、較高 VRAM,適合研究測試。
Ollama 於 2024 年 2 月 8 日發布了 OpenAI API 相容功能,允許使用者在本地端呼叫 Llama 2、Mistral 等模型。 - 相容範圍:支援 OpenAI Chat Completions、Embeddings、Function calling 等 API,未來將加入 Vision、Logprobs 等功能。
推薦理由:Ollama 相容 OpenAI API,使用者可在本地即時呼叫 Llama 2 等模型,輕鬆整合多款工具。
Mistral 7B 透過 Ollama 在瀏覽器端實現本地 LLM,搭配 LangChain、Voy 與 Transformers.js 完成 RAG 網頁應用。
推薦理由:本文示範如何利用瀏覽器端本地模型構建 RAG 應用,提供可直接套用於前端開發的實作範例,並說明如何透過 Ollama 與 LangChain 連結本地 LLM,降低成本與提升隱私。
Replit 推出 Ghostwriter AI,其核心功能 Complete Code 以 400 ms 內的回應時間,遠快於 GitHub Copilot。