跳到正文
Dev.to Top Tech(dev.to)· Jake McClure·· 3 天前品質評分49

不用無頭瀏覽器,也能把網站檔案轉成 Markdown,整理給 RAG 使用

Turn a documentation site into Markdown for RAG, without a headless browser

重點導讀

做檔案搜尋或聊天機器人時,得先把網頁裡真正有用的文字抓出來,還要保留標題、程式碼和連結。

  • 文章示範用 Apify 的 Website to Markdown Crawler 抓取網站頁面,再把每頁內容依標題切成小段,附上來源連結,方便後續搜尋和引用。以 Python 教學頁面為例,一次抓了 12 頁、約 33,700 個單字,只花 11 秒,費用不到 1 美分。這種方法不用啟動瀏覽器,速度快、花費低。
  • 但遇到必須靠 JavaScript 顯示內容的網站,可能抓不到文字。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處dev.to

Turn a documentation site into Markdown for RAG, without a headless browser

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論