E5 embeddings 需加 'query' 與 'passage' 字首,移除後在 Node 中測試召回率
此篇示範如何在 Node RAG 中正確使用 E5 embeddings 字首,並提供可直接執行的測試指令碼,方便開發者快速驗證召回效果。 - 字首作用,讓模型區分 query 與 passage,缺失會降低召回。
此篇示範如何在 Node RAG 中正確使用 E5 embeddings 字首,並提供可直接執行的測試指令碼,方便開發者快速驗證召回效果。 - 字首作用,讓模型區分 query 與 passage,缺失會降低召回。
本文示範如何結合 LlamaIndex 與 OpenAI 建置檔案檢索式問答助理,並說明配置、檔案準備、基本與 Agentic RAG 的差異,以及持久化的注意事項。
導語:文章說明在部署 RAG 系統時,若查詢不在知識庫中,系統會自信產生完全錯誤答案,並提供相似度閾值檢測與回退機制來避免此問題。 - 問題根源:向量檢索返回最近相似片段,即使不相關,LLM 仍生成流暢但錯誤回答。
每日按揭匯入可能洩漏歷史資料於評估,作者展示如何在構建金融資料嵌入語料時避免歷史資料重複與版本衝突。 - 資料量:4000 天日資料回傳 4001 點,月資料回傳 132 點,導致時間視窗重疊。
WeKnora 是由騰訊開發的知識管理系統,將散落檔案整合成單一可查詢平臺,支援三種查詢方式:帶引用的 RAG 答案、可使用工具的多步代理、以及自動生成的連結式 wiki。
RAG診斷步驟:為何 AI 在來源中忽略品牌? summary_zh: AI 在 RAG 系統中忽略品牌,導致搜尋結果缺失品牌資訊。本文以 FunkyMEDIA 為示例,提供逐步診斷流程以找出問題根源。
本篇說明如何在 SageMaker 上部署 BAAI/bge-reranker-base,結合兩階段 RAG 架構與 Bedrock ConverseStream SSE,實現 100,000 檔案中 3 個高置信度段落的 60 ms 內檢索與 400 ms 內流式回覆。
本篇介紹 Ledgerwise,一個結合 Hindsight 記憶與規則引擎的帳務代理,透過歷史決策自動化處理發票異常,顯著減少人工介入。 - 功能亮點:自動回顧過往同類異常決策,若符合預設範圍即自動批准;不符合則上升至人工審核,並保留決策理由以供未來參考。
本文 介紹一套在 2GB VM 上運作的 agent 記憶架構,從最簡單的 grep 逐步遷移到 BM25,並在一週後加入「溫暖層」進行實際效能測試。 - 記憶規模:熱層 110 KB(約 27k tokens),冷層 8.4 MB,總共 36 個卡片,僅 0 個損壞。
Ingestion Factory 以 SQS Claim‑Check 與全記憶體解析器實現檔案上傳的非同步解耦,消除 Web 服務執行緒阻塞與 OCR 成本。
本文提供一套分階段檢索設計與可觀測性指標,協助金融研究儀錶板確保資料新鮮度與可追蹤性。- 分階段檢索:分為 ingestion、query、answer assembly,每階段都有獨立事件與 correlation ID,方便追蹤。
summary_zh: FixLoop 透過 Hindsight Retain and Recall,將已完成的維修與確認結果轉化為持久的操作資產,從而消除重複的家電故障。
summary_zh: 作者開發的 DealMind 透過 Hindsight 記憶引擎,解決了無狀態 AI 銷售代理在四至九個月長期交易中遺忘前次對話的問題。
本文說明瞭如何利用負向記憶與個人化策略,打造一個能記住失敗修復的 SRE 代理,並在 40 起歷史事件上提升診斷準確率至 80%,MTTR 降至 21 分鐘。 - 核心特性:三層檢索管線(症狀、部署模式、負向記憶),負向記憶機制對失敗行為給予嚴重分數懲罰,避免重複錯誤。
本文剖析 LLM 的 token 成本與 wrapper 架構,說明模型、RAG、工具呼叫等層面如何影響 AI 產品的功能與費用。 - 模型與 wrapper:LLM 只預測 token,真正的產品功能由 system prompt、RAG、tool calling 等 wrapper 來決定。
AgensGraph 2.18 以 ISO GQL 支援與效能最佳化,讓圖資料庫與 PostgreSQL 結合,為處理關係與圖形查詢的場景提供落地方案。
summary_zh: 我打造了一個名為 ScamSathi 的 AI 奶奶,能記住每位騙徒的細節,從而在電話詐騙中持續追蹤並揭露其身份。 - 核心功能:ScamSathi 使用 Llama on Groq,搭配 Hindsight 記憶層,能在每次通話前回憶前 28 次對話,檢查 alias、機關聲稱等是否矛盾。
導語:本文說明在多欄 PDF 中,簡單的文字擷取會破壞 RAG 的檢索效果,並提供三種實務修復方案。 - 問題來源:PDF 本身只儲存渲染指令,無閱讀順序,導致跨欄文字交錯。
AI 外包專案往往因只以模型準確度為合約指標而失敗。RAND 研究顯示 80.3% 的企業 AI 專案未達預期商業價值,本文提出四大指標類別協助企業制定更實際的合約。
Apify Document to Markdown 工具可將掃描的烏克蘭 PDF 轉成 Markdown,保留 Cyrillic 文字與表格,適用於 RAG 與 LLM 資料輸入。
ElevenLabs 在其官方部落格中提供了 2026 年語音 AI 基礎架構的完整圖示與實作說明,涵蓋語音辨識、LLM 推理、工具呼叫、RAG、以及多通道部署。
summary_zh: Chain of Thought 系列提供了五個實例,說明代理機器如何記憶,並為生產環境提供實用的記憶設計建議。 - 記憶工程:被列為獨立實踐,與 prompt engineering、context engineering 同列。
Memorilla:LLM 的隱式語義記憶 summary_zh: Memorilla 是一套為凍結 LLM 設計的記憶系統,能以 16 個記憶 token 將整個檔案集合的資訊編碼並輸入 LLM,從而在多項基準測試中取得最佳表現。
Spring AI 2.1.0‑RC2 推出 DecisionModel API,專為 bounded 任務設計,允許開發者定義有限答案並直接取得型別化回傳,取代傳統 chat‑model 產生文字後再解析的流程。
本篇教學示範如何透過評測集、消融實驗與拒答率三大指標,對 AI 系統進行完整驗收。 - 評測集設計:HR 制度問答共 64 條(52 條問答 + 8 條應拒答),確保涵蓋正常與拒答情境。
top_k 從 5 提升至 20,RAG 回答成本平均上升 2.7 倍,月成本可達 7,140 美元。 - 成本構成:輸入 400 token + 500 token chunk × top_k + 250 token 回答;GPT‑5.6 內部價格為 $2 / 1M 內部 token,$12 / 1M 輸出 token。
ctx 是一款開源的 TypeScript CLI,能在本機上將程式碼庫索引到 SQLite,並結合 BM25 與 BGE 向量進行 RRF 混合搜尋,支援即時問答。
RAG 評估的完整流程已在本文中詳細說明,從問題集設計、指標定義到工具比較,並附上可直接執行的實驗指令碼。 - 問題集:結合真實使用者查詢、專家手工與 LLM 合成,並標註 span/claim、語義層級與可解答性。
summary_zh: LangChain 的 chunk_overlap=200 引數在 4,155 個區塊中,實際上有 2,181 個區塊沒有任何重疊。
本文說明在保險索賠接收中,如何以 1 秒的總延遲上限,分配 150 ms 的快速詞彙與元資料過濾、350 ms 的語意檢索與再排序,並在到達上限時即時回傳最佳引用結果。
提示工程框架 本手冊提供結構化的提示工程方法,協助實務者將原型快速轉為可上線的系統,並強調驗證、回溯與模組化設計。• 核心框架分為結構框架、推理技術與系統模式,涵蓋 RTF、CoT、CoVe 等多種組合。
summary_zh: 離線生存助手(Offline survival assistant)能在 Windows、Linux 與 macOS 上完全離線運作,透過本機 LLM 與 Kiwix 於 USB 隨身啟動。
導語:k=1 檢索 近似最佳,AMD 研究顯示對於小型模型而言,僅需一條檢索結果即可達到高效表現。 - 研究發現:對小型學生模型,k=1 檢索足以達到近乎最佳效果,額外檢索會降低效能。
導語 NVIDIA 透過全棧設計,將 GPU、CPU、網路、儲存與軟體協同,提升 AI 記憶體效能,並顯著降低每位元成本。 • HBM 進化 HBM3e、HBM4 已被納入加速計算堆疊,HBM 容量每 GPU 以 3% 之增長。
推薦理由:本文闡述 NVIDIA 全棧設計如何提升 AI 記憶體效能,並說明多層記憶體協同可顯著降低成本,並促進成本效益。
summary_zh: Box 於 2026‑11‑05 在 BoxWorks 發布了兩項新功能:Box Context Retrieval 與 Box Architect,並同時推出針對大規模下載、帳號接管與批次刪除的威脅防護。
本篇以五場對話為例,闡述如何將向量檢索、圖形關係、記憶層與重點化策略結合,提升 LLM 的上下文準確度與成本效能。 - 向量檢索 + 圖形關係(GraphRAG):Neo4j 以向量先找候選,再加圖關係與 metadata 過濾,減少 hallucination。
我 建立了一個以 RAG 為基礎的教學助理,並發現自己的教材中缺失了函式定義。 - 技術堆疊:使用 Claude 作答、Voyage AI 生成 1024 維向量、PostgreSQL + pgvector 儲存向量、Render 與 Supabase 部署。
本文分享了在從影片字幕中提取工具資訊時,如何透過驗證證據與調整查詢來顯著降低 AI 幻覺的實務方法。 - 證據驗證:要求模型提供逐字引用、核對名稱與時間戳,未驗證專案即剔除。
推薦理由:七款模型涵蓋不同規模與稀疏啟用配置,並提供私有測試分數、延遲及機率校準資料,可比較其決策能力與部署取捨。
Python 中的 LLM 應用:打造無框架膨脹的生產堆疊 導語:作者展示了從直接使用 Anthropic SDK 到構建可擴充套件、可追蹤的 LLM 代理的完整流程,並提供了重試、成本控制與雲端部署的實務建議。