跳到正文

#RAG

RSS
今日 0 則
11月19日週四
  1. ElevenLabs Official Blog40

    什麼是向量資料庫?AI 搜尋如何找到意思相近的資料

    用一般資料庫找資料,常得輸入完全相同的關鍵字;但有人問「搭長途飛機穿什麼比較舒服」,資料庫可能找不到這句話。向量資料庫會先把文字、圖片等資料轉成一串數字,再比較問題和資料的意思有多接近,找出相關內容,例如舒服的長途旅行穿搭可能包括棉褲、連帽上衣和旅行枕。 客服 AI 助理也能用這種方式查公司內部的產品說明和退款規定,再用找到的資料回答客人;這能減少亂猜,但不能完全避免答錯。一般資料庫適合查日期、訂單等明確資料,向量資料庫則適合找意思相近的內容,兩種資料庫可以一起使用。

  2. AWS Machine Learning Blog59

    AWS 示範如何讓 Amazon Aurora PostgreSQL 的 AI 客服回答有跡可查

    客服 AI 助理如果只給答案,使用者和客服人員就難以知道它根據哪些資料回答,也可能碰到個資保護問題。AWS 示範在 Amazon Aurora PostgreSQL 建立 RAG 客服系統,記錄每次找回的資料、相似度、回答實際引用的來源,以及安全防護檢查結果,並用資料列安全控管不同客戶能看到的內容。文章也提醒,回答有引用來源不代表來源資料一定正確;若只需要基本搜尋和引用,Amazon Bedrock Knowledge Bases 是較簡單的選擇,需要自行查詢完整來源紀錄時,才採用文中的資料庫設計。

  3. AWS Machine Learning Blog47

    Social Department 如何用影片脈絡和熱門話題,幫行銷人員找到適合的片段

    娛樂行銷人員常得在大量影片裡找出適合宣傳的片段,但光靠搜尋「咖啡杯」這類物件,找不到哪句臺詞值得分享、哪一幕適合做迷因,也不知道大家現在在聊什麼。Social Department 設計了 QuickSearch,讓使用者選擇想找的內容,系統就依照不同規則搜尋影片,或把最新熱門話題和片庫內容配對。像「迷因時刻」會挑出適合做迷因的畫面,並根據畫面產生文字;「熱門話題配對」則能找出和當下話題有關的舊劇片段。AI 先提出候選內容,團隊再確認;例如,程式會核對臺詞是否真的出現在劇本裡。這讓行銷人員更容易從片庫中找到值得使用的素材。

11月18日週三
  1. Databricks Blog64

    Databricks 與 Google Cloud 打通 Unity Catalog,讓雙方能讀取同一份資料

    同一份資料放在不同雲端平臺時,常得複製一份才能分析,資料治理標籤也可能無法跟著移動。Databricks 與 Google Cloud 宣佈,使用者現在能透過 Unity Catalog 和 Google Cloud 的 Lakehouse 互相查詢同一份資料,不必複製;例如 Databricks 可以讀取 Google Cloud 管理的 Iceberg 資料表,BigQuery 也能讀取 Unity Catalog 管理的資料表。雙方也推動讓目錄分享標籤,像是資料屬於財務領域或含有個人資料等資訊,移到另一個目錄後仍能保留,方便治理資料並提供 AI 助理查詢所需的背景。

    推薦理由:Databricks 與 Google Cloud 讓同一份資料能跨平臺查詢,並分享治理標籤,呈現開放目錄如何減少重複管理。

11月17日週二
  1. AWS Machine Learning Blog76

    AWS 示範如何用 Amazon Bedrock 建立會記住使用者的 AI 助理

    企業 AI 助理要回答員工問題,常得記住先前對話,又要確保每個人只看到有權閱讀的檔案。AWS 示範用 Amazon Bedrock Managed Knowledge Base 搭配 AgentCore memory,讓服務儲存對話、整理使用者提過的資料,並在回答時找出相關記憶與檔案。範例用 Cognito ID token 確認使用者身分,再用檔案存取清單和 IAM 條件限制資料範圍;例如員工先前提過辦公地點,之後詢問休假規定時,助理便能依這項記憶回答。記憶整理可能要等一段時間,若記憶讀取失敗,服務仍會根據可讀取的檔案回答。

    推薦理由:文章以員工助理示範如何把對話記憶、檔案許可權和使用者身分串在一起,並用 IAM 條件限制每位使用者能讀取的記憶。

  2. AWS Machine Learning Blog57

    Novo Nordisk 如何用 Amazon Bedrock AgentCore 查詢製造檔案

    製藥流程檔案數量龐大,還得確認檔案是否核准、版本是否有效,以及內容適用哪個廠區、產品和裝置,人工查詢容易耗時,也可能漏掉重要關聯。Novo Nordisk 團隊與 AWS 合作打造 AI 助理,先用知識圖譜釐清問題範圍,再結合關鍵字與語意搜尋找出相關檔案,並附上來源;問題不夠清楚時,會先詢問使用者。若找不到合適資料,系統會說明限制,不自行補答案。團隊表示,部分過去要花數小時或數天的工作,現在可在幾分鐘內完成。

  3. AWS Machine Learning Blog72

    Amazon Bedrock Managed Knowledge Base 如何用表格搜尋回答跨檔案問題

    只靠一般搜尋,很難從大型試算表算出完整結果,再套用另一份檔案裡的規則。Amazon Bedrock Managed Knowledge Base 的表格搜尋會找出相關 CSV 或 Excel 檔,在隔離且無法連網的環境中讀取整份表格、計算需要的數值,再搭配政策或備忘錄等檔案回答問題。文中的財務案例用預算規則、修訂備忘錄和損益表,找出哪些部門要撰寫差異說明;追蹤紀錄也會列出程式讀過的檔案。這種做法適合需要跨表格計算的問題,但會多花一個 AI 助理處理步驟;固定報表和大型資料分析仍適合交給商業智慧工具。

    推薦理由:文章用財務部門的預算案例,示範如何把表格計算和政策檔案放在一起查,並透過追蹤紀錄確認程式讀過哪些檔案。

11月16日週一
  1. AWS Machine Learning Blog71

    Amazon Bedrock Managed Knowledge Base 教你為不同租戶調整回答

    不同地區的客戶和公司內部團隊可能共用同一批檔案,卻需要不同語言、格式和回答規則。這篇教學示範如何在 Amazon Bedrock Managed Knowledge Base 為每個租戶設定回答方式,並固定使用的設定版本,方便逐一更新和查明每次回答用了哪個版本。要注意的是,回答設定不會限制 AI 助理能讀哪些檔案;若要隔開各租戶的資料,還要用中繼資料篩選或分開知識庫,並由後端依登入身分選擇篩選條件。

    推薦理由:文章把回答風格設定與資料存取隔離分開處理,並示範如何用中繼資料篩選和版本固定管理各租戶的回答。

11月13日週五
  1. OpenRouter Announcements72

    RAG 重排教學:如何用 Reranker 修正錯誤檢索

    OpenRouter 說明如何在 RAG 向量搜尋後加入 Reranker,重新排序候選檔案,讓較可能包含答案的片段優先送入 LLM。

    推薦理由:文章以 274 題合成資料比較檢索與重排結果,並提供成本、延遲及候選資料,可作為設計自有 RAG 評測的參考。

  2. AWS Machine Learning Blog70

    如何使用 coding agent 將 Amazon Bedrock 知識庫遷移至 Managed Knowledge Base

    AWS 說明如何使用 Agent Toolkit for AWS 中的遷移指南,協助將 Amazon Bedrock 客戶管理知識庫遷移至 Managed Knowledge Base,並在切換流量前驗證檢索結果。

    推薦理由:文章將知識庫遷移拆成唯讀盤點、逐項審查計畫與核准後建置,並說明如何平行驗證檢索結果,提供可參照的遷移流程。

11月12日週四
11月11日週三
11月10日週二
  1. AWS What's New71

    Amazon ElastiCache 無伺服器新增向量、全文、混合與聚合搜尋

    即時搜尋常得在速度和找得完整之間取捨,資料更新後也可能要等一段時間才能搜到。適用於 Valkey 的 Amazon ElastiCache 無伺服器新增向量、全文、混合和聚合搜尋,可在同一個查詢中組合不同搜尋方式,也能調整向量搜尋的召回率。AWS 表示,搜尋延遲可低至微秒級,向量搜尋召回率最高達 99%,寫入的更新最快也能在微秒級後查到。這項功能適合流量難預測、又要求快速回應的應用,也可用於商品搜尋、推薦和 RAG。

    推薦理由:ElastiCache 無伺服器把多種搜尋整合在同一個查詢中,並讓寫入的資料很快就能被搜尋,適合瞭解即時搜尋的延遲與召回率取捨。

11月7日週六
11月6日週五
  1. NVIDIA Newsroom Press Releases72

    NVIDIA 全棧設計提升每位元效能,破解 AI 記憶體挑戰

    導語 NVIDIA 透過全棧設計,將 GPU、CPU、網路、儲存與軟體協同,提升 AI 記憶體效能,並顯著降低每位元成本。 • HBM 進化 HBM3e、HBM4 已被納入加速計算堆疊,HBM 容量每 GPU 以 3% 之增長。

    推薦理由:本文闡述 NVIDIA 全棧設計如何提升 AI 記憶體效能,並說明多層記憶體協同可顯著降低成本,並促進成本效益。

11月5日週四
11月4日週三
10月30日週五
10月29日週四
  1. Cohere (@cohere)78

    Cohere 完成歷史最大私募,估值35.7億加元,成為加拿大創投史上最大單一輪投資。 投資規模:Series E 目標額度至 7 億加元,已完成初步關閉。 估值:達 357 億加元,顯示市場對其企業級模型與 RAG 技術的高度評價。 市場意涵:此輪融資為 Cohere 在 AI 供應鏈中加速模型部署與商業化提供資金,並可能推動加拿大 AI 生態快速發展。

    推薦理由:Cohere完成歷史最大私募,顯示加拿大 AI 生態快速成長,投資者可評估其 RAG 技術在市場中的競爭優勢,並觀察其未來產品路線圖與資金運用計畫,瞭解該公司如何加速模型部署與商業化,並評估其對全球 AI 供應鏈的影響。

10月28日週三
10月27日週二
10月26日週一
  1. Hacker News (official RSS)67

    Context Engineering 的現況

    Context Engineering 在 AI 模型開發中的重要性與挑戰在 AGNTCon 研討會上被深入探討。 - 四大失效模式:context poisoning、distraction、confusion、clash,皆因長上下文帶來的錯誤資訊與工具衝突。

10月23日週五
10月22日週四
10月20日週二
10月17日週六
  1. AWS Machine Learning Blog75

    打造 AI 代理信任:Amazon Bedrock AgentCore 的生產級評估框架

    AWS 透過 Amazon Bedrock AgentCore 建立了一套完整的多階段評估框架,協助團隊在部署前即時檢測 AI 代理品質。 - 九個階段:從「定義」到「反饋迴圈」,涵蓋品質、安全、效能、成本與運營控制。

    推薦理由:此框架提供可量化的多階段評估流程,幫助團隊在部署前即時發現品質下降,提升 AI 代理的可靠性。

10月16日週五
  1. Hugging Face Blog72

    Granite Switch 4.1:一端點整合聊天、決策與語音功能

    Granite Switch 4.1 透過整合決策、語音與聊天功能,提供單一端點多工能力。 - Granite‑Switch‑4.1‑8B / 30B:內建 Decision aLoRA、Guardian aLoRA 及 Granite‑Speech‑5.0‑Turbo‑CTC(OpenASR 榜首 ASR),可即時切換對話、決策與轉錄。

    推薦理由:Granite Switch 4.1 透過整合決策、語音與聊天功能,提供單一端點多工能力,讀者可評估其在實務流程中的效益。

10月15日週四
  1. Hacker News (official RSS)47

    今天找工作的成本

    summary_zh: 作為一家初創公司的工程部門主管,作者指出使用大型語言模型(LLM)在面試挑戰中造成候選人高昂成本,並提出改進措施以降低其負擔。 - 成本問題:候選人需支付 AI 工具訂閱或 API 費用,導致面試成本高。

  2. Apple Machine Learning Research71

    先計畫還是先檢索?工具發現架構的規模研究

    Apple 研究團隊針對工具發現架構進行大規模實驗,發現「先計畫再檢索」在多工具情境下優於「先檢索再計畫」,而「先檢索再計畫」在單工具情境中更有效。 - 研究範圍:ToolBench 46,984 個 API,50 個分類,單工具(G1)、跨類別多工具(G2)、跨類別多工具(G3)三種查詢子集。

10月13日週二
10月12日週一
  1. Hacker News (official RSS)78

    JulianFlux:電磁向量檢索與因果路由 AI 代理的新架構

    JulianFlux 以電磁力為基礎的向量檢索引擎,能在企業環境中消除幻覺並確保因果推理,為 AI 代理提供可擴充套件且低延遲的資料路由解決方案。 - 核心機制:使用 Lorentz Force 公式將 768D 嵌入投影至 128D manifold,並透過電場 (E) 及磁場 (S) 動態調整檢索順序,消除矛盾資訊。

10月8日週四