跳到正文
熱點事件持續更新

示範免瀏覽器將網頁轉為 RAG Markdown

1 篇報導1 個報導來源48 分鐘前更新

先了解這件事

重點綜述

把網站資料放進 RAG 時,導覽列、頁尾和廣告也可能一起被切成文字,讓搜尋結果變得吵雜。

  • 作者示範用 Node.js 抓取網頁,再清掉不需要的內容、轉成 Markdown,最後按段落切成小塊,不必為一般檔案網站啟動瀏覽器。實測的檔案頁面能整理出內容,但 JavaScript 才載入資料的網站會被略過。
  • 程式碼區塊也可能被切開,切分結果需要檢查。

根據報導自動生成 · 31 分鐘前更新

報導時間線

沿著報導,瞭解事件的不同面向。

11月23日
  1. Dev.to Top Tech
    如何不用無頭瀏覽器,把網站整理成 RAG 可用的 Markdown

    把網站資料放進 RAG 時,導覽列、頁尾和廣告也可能一起被切成文字,讓搜尋結果變得吵雜。作者示範用 Node.js 抓取網頁,再清掉不需要的內容、轉成 Markdown,最後按段落切成小塊,不必為一般檔案網站啟動瀏覽器。實測的檔案頁面能整理出內容,但 JavaScript 才載入資料的網站會被略過;程式碼區塊也可能被切開,切分結果需要檢查。

本事件熱度趨勢

還沒有足夠的連續觀測資料,暫不繪製趨勢。

讀者討論

針對此事件的各方觀點與即時反饋