pg_fastload 1.0.0 用平行處理加快 PostgreSQL 大量資料載入
pg_fastload 1.0.0 released: parallel bulk loading for PostgreSQL
重點導讀
大量資料載入 PostgreSQL 時,原本的工具會在單一工作程式裡讀取、解析和寫入,讓多核心電腦的其他核心閒著。
- pg_fastload 1.0.0 把讀取和解析分給背景工作者,再由原本的工作程式負責寫入。
- 整次載入仍是一筆交易,遇到錯誤資料就會取消整次載入。文中的測試以 1 GiB CSV 資料進行,預設設定比 COPY 快 6.07 倍,比上游 pg_bulkload 最快的模式快 1.58 倍。部分設定不適用平行處理時,程式會自動改用單一工作程式。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
pg_fastload 把讀取和解析工作分給背景工作者,同時保留單一交易;文中也比較了它和上游工具及 COPY 的測試結果。
信源出處postgresql.org
pg_fastload 1.0.0 released: parallel bulk loading for PostgreSQL
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: PostgreSQL Official News (postgresql.org)
開啟原文