熱點事件持續更新
示範免瀏覽器將網頁轉為 RAG Markdown
1 篇報導1 個報導來源48 分鐘前更新
先了解這件事
重點綜述
把網站資料放進 RAG 時,導覽列、頁尾和廣告也可能一起被切成文字,讓搜尋結果變得吵雜。
- 作者示範用 Node.js 抓取網頁,再清掉不需要的內容、轉成 Markdown,最後按段落切成小塊,不必為一般檔案網站啟動瀏覽器。實測的檔案頁面能整理出內容,但 JavaScript 才載入資料的網站會被略過。
- 程式碼區塊也可能被切開,切分結果需要檢查。
根據報導自動生成 · 31 分鐘前更新
最新進展11月23日 05:03
如何不用無頭瀏覽器,把網站整理成 RAG 可用的 Markdown報導時間線
沿著報導,瞭解事件的不同面向。
11月23日
- Dev.to Top Tech如何不用無頭瀏覽器,把網站整理成 RAG 可用的 Markdown
把網站資料放進 RAG 時,導覽列、頁尾和廣告也可能一起被切成文字,讓搜尋結果變得吵雜。作者示範用 Node.js 抓取網頁,再清掉不需要的內容、轉成 Markdown,最後按段落切成小塊,不必為一般檔案網站啟動瀏覽器。實測的檔案頁面能整理出內容,但 JavaScript 才載入資料的網站會被略過;程式碼區塊也可能被切開,切分結果需要檢查。
本事件熱度趨勢
還沒有足夠的連續觀測資料,暫不繪製趨勢。
讀者討論
針對此事件的各方觀點與即時反饋