跳到正文
Hacker News (official RSS)(github.com)·· 17 天前精選品質評分86

Mizu:零複製共享記憶體下的 R/Python 並行通訊框架

Mizu – zero-copy parallel R and Python over shared memory

重點導讀

Mizu 是一個零複製共享記憶體 IPC 框架,支援 R 與 Python 的高效並行通訊,任務往返延遲低至 0.7 微秒,遠超傳統 ProcessPoolExecutor。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

提供零複製並行 R/Python 通訊,能以微秒級別降低任務往返延遲,對高效分散式計算與資料共享具有實務參考價值。

正文 · 中文翻譯

PyPI ci codecov License: MIT Ruff Python 3.10+

使用共享記憶體的多執行緒速度非同步與平行 Python

任務往返時間從使用 sockets 時約 ~100 µs 降至 < 1 µs,您可以像使用執行緒那樣細分工作(見 Benchmarks)。常見資料結構如列表、字典、numpy 陣列和 Arrow 表格可在 Python 與 R 之間以零複製檢視共享。

在預設的 CPython 版本中,GIL 會一次只在一個核心執行 CPU 限制的執行緒,因此 Python 的計算平行通常意味著多程序。 程序也能隔離失敗:若工作者崩潰,並不會將主機一起關閉。

通道與工作偷取任務池在 POSIX 共享記憶體(Linux、macOS)或 Win32 檔案對映(Windows)上運作:無鎖單生產者單消費者環形緩衝區,批次發布,先自旋再停車等待,保持熱路徑不進入核心,並在對等節點死亡時發出 OS 通知。

pymizu 建構於 libmizu,一個用於無鎖共享記憶體 IPC 的 C 函式庫。 mizu 為 R 繫結相同核心,使 Python 與 R 能互相通訊。

  • 零複製 numpy 陣列與 Arrow 互換(pyarrow、polars、pandas、duckdb)
  • Drop-in concurrent.futures.Executor — 真實 Futures、wait、as_completed、asyncio.wrap_future
  • 事件驅動 asyncio — await 任務與對映,async for 與 recv_async() 在通道上 — 隨資料到達即喚醒,無輪詢執行緒
  • 可重現的平行隨機數(seed=)— 無論工作者數量或偷取順序皆產生相同結果
  • 巢狀平行對映 — 任務可在其自身池上對映,無死鎖

生命週期:實驗階段。 API 尚未穩定,可能會根據回饋進行更改。

安裝

從 PyPI 安裝:

pip install pymizu

或從 GitHub 安裝開發版本:

pip install git+https://github.com/shikokuchuo/pymizu

需要 Python 3.10 或更高版本,且為 64 位平臺。 擴充套件編譯內嵌的 C 核心,無需任何系統函式庫。

可選擴充:

  • pymizu[numpy]:零複製陣列檢視與原始層陣列佈局
  • pymizu[cloudpickle]:lambda、閉包與本地函式作為池任務

使用 GitHub 安裝時,使用 pip install "pymizu[numpy] @ git+https://github.com/shikokuchuo/pymizu" 以請求擴充。

快速入門

import pymizu

with pymizu.Pool.create(4) as pool:
    task = pool.submit(pow, 2, 16)
    print(task.collect(timeout=5))

基準測試

與標準函式庫 concurrent.futures 池的通訊開銷(Apple M4 Pro,來自 benchmarks/mizu-stdlib-bench.py):

與 ProcessPoolExecutor(任務在獨立程序中執行,使用序列化負載)對比:

基準測試 pymizu ProcessPoolExecutor 加速比
簡易任務往返 0.7 µs 94.2 µs 135 倍
流水線吞吐量,1 個工作者 2,390,000 任務/秒 18,500 任務/秒 129 倍
8 KB 向量往返 2.4 µs 100.7 µs 42 倍
2,000 個約 5 µs 任務的平行對映,4 個工作者 2.9 ms 123 ms 42 倍

與 ThreadPoolExecutor(任務共享同一程序,GIL 限制 CPU 限制工作於單核心)對比:

基準測試 pymizu ThreadPoolExecutor 加速比
簡易任務往返 0.7 µs 9.5 µs 14 倍
流水線吞吐量,1 個工作者 2,390,000 任務/秒 405,000 任務/秒 5.9 倍
8 KB 向量往返 2.4 µs 9.3 µs 3.9 倍
2,000 個約 5 µs 任務的平行對映,4 個工作者 2.9 ms 48 ms 17 倍

benchmarks/mizu-bench.py 以獨立方式執行 pymizu 行。 參見 pymizu 與 Ray、Dask、joblib 與現代 CPython 的比較。

Drop-in concurrent.futures

PoolExecutor 將池適配為標準函式庫 concurrent.futures.Executor 介面,因此針對 ProcessPoolExecutor 編寫的程式碼可直接使用。 submit 回傳實際 Future 物件,故 wait / as_completed / asyncio.wrap_future 均保持不變:

with pymizu.PoolExecutor.create(4) as ex:
    futures = [ex.submit(pow, 2, i) for i in range(4)]
    print([f.result() for f in futures])

平行對映

Pool.map(fn, x) 在池上將 fn 對映到 x,並立即回傳 Map 處理器,與 Pool.submit() 回傳任務相同。collect() 在處理器上等待並按順序回傳值。 函式與資料僅進入共享記憶體一次。 工作者將元素分配給自己,從共享遊標中取得範圍。

對映亦可巢狀:對映函式可使用 pymizu.current_pool() 在其自身池上對映,無死鎖。

with pymizu.Pool.create(4) as pool:
    m = pool.map(abs, range(-5, 5))
    print(m.collect())

R 互操作

Pool workers 可以是執行 mizu 套件的 R 程式,該套件是同一核心的 R 繫結。\npymizu.r_launcher() 產生它們,pymizu.call() 指定任務。在此,R 內建的 mtcars 在 R 中被匯總並讀回 polars:

import polars as pl
import pymizu

with pymizu.Pool.create(4, launcher=pymizu.r_launcher()) as pool:
    task = pool.submit(
        pymizu.call(source="aggregate(mpg ~ cyl, data = mtcars, FUN = mean)")
    )
    print(pl.DataFrame(task.collect()))
  • 一個 numpy 陣列會以數值向量的形式進入 R,而 polars、pyarrow 或 pandas 的框架則以資料框形式進入
  • 一個向量或資料框會以 numpy 陣列或 pymizu.Frame 形式返回
  • Arrow 資料(pyarrow 表格和記錄批次閱讀器,或任何 __arrow_c_stream__ 產生器)以相同方式傳遞

The R interop 頁面列出了完整協議:可攜式子集、pymizu.Frame、零複製框架以及 dtype 矩陣。\nmizu README 展示了相反方向:一個由 R 主機驅動 Python 工作者,使用 mizu_py_launcher()。

檔案

The documentation site 涵蓋整個套件:通道及其傳遞內容、任務池(批次操作、巢狀任務、concurrent.futures 執行器、監控執行中的池)、平行對映(排程、可重現隨機性、範本、已準備對映)、R interop 與 dtype 矩陣、在 Linux 上的部署,以及 API 參考。

貢獻

請參閱 CONTRIBUTING.md 瞭解倉庫結構與貢獻者說明。

授權

MIT。\nLICENSE.note 為 vendored libmizu 核心提供 RngStreams 歸屬。


請注意,本專案遵循 Contributor Code of Conduct。參與本專案即表示您同意遵守其條款。

讀者討論

理性交流 · 即時討論