不用無頭瀏覽器,也能把網站檔案轉成 Markdown,整理給 RAG 使用
Turn a documentation site into Markdown for RAG, without a headless browser
重點導讀
做檔案搜尋或聊天機器人時,得先把網頁裡真正有用的文字抓出來,還要保留標題、程式碼和連結。
- 文章示範用 Apify 的 Website to Markdown Crawler 抓取網站頁面,再把每頁內容依標題切成小段,附上來源連結,方便後續搜尋和引用。以 Python 教學頁面為例,一次抓了 12 頁、約 33,700 個單字,只花 11 秒,費用不到 1 美分。這種方法不用啟動瀏覽器,速度快、花費低。
- 但遇到必須靠 JavaScript 顯示內容的網站,可能抓不到文字。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
Turn a documentation site into Markdown for RAG, without a headless browser
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文