跳到正文
Dev.to Top Tech(dev.to)· agebreakco-prog·· 1 小時前品質評分69

如何不用無頭瀏覽器,把網站整理成 RAG 可用的 Markdown

Turning any website into clean Markdown chunks for RAG, without a headless browser

重點導讀

把網站資料放進 RAG 時,導覽列、頁尾和廣告也可能一起被切成文字,讓搜尋結果變得吵雜。

  • 作者示範用 Node.js 抓取網頁,再清掉不需要的內容、轉成 Markdown,最後按段落切成小塊,不必為一般檔案網站啟動瀏覽器。實測的檔案頁面能整理出內容,但 JavaScript 才載入資料的網站會被略過。
  • 程式碼區塊也可能被切開,切分結果需要檢查。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處dev.to

Turning any website into clean Markdown chunks for RAG, without a headless browser

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論