Mizu:零複製共享記憶體下的 R/Python 並行通訊框架
Mizu – zero-copy parallel R and Python over shared memory
Mizu 是一個零複製共享記憶體 IPC 框架,支援 R 與 Python 的高效並行通訊,任務往返延遲低至 0.7 微秒,遠超傳統 ProcessPoolExecutor。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
提供零複製並行 R/Python 通訊,能以微秒級別降低任務往返延遲,對高效分散式計算與資料共享具有實務參考價值。
使用共享記憶體的多執行緒速度非同步與平行 Python
任務往返時間從使用 sockets 時約 ~100 µs 降至 < 1 µs,您可以像使用執行緒那樣細分工作(見 Benchmarks)。常見資料結構如列表、字典、numpy 陣列和 Arrow 表格可在 Python 與 R 之間以零複製檢視共享。
在預設的 CPython 版本中,GIL 會一次只在一個核心執行 CPU 限制的執行緒,因此 Python 的計算平行通常意味著多程序。 程序也能隔離失敗:若工作者崩潰,並不會將主機一起關閉。
通道與工作偷取任務池在 POSIX 共享記憶體(Linux、macOS)或 Win32 檔案對映(Windows)上運作:無鎖單生產者單消費者環形緩衝區,批次發布,先自旋再停車等待,保持熱路徑不進入核心,並在對等節點死亡時發出 OS 通知。
pymizu 建構於 libmizu,一個用於無鎖共享記憶體 IPC 的 C 函式庫。 mizu 為 R 繫結相同核心,使 Python 與 R 能互相通訊。
- 零複製 numpy 陣列與 Arrow 互換(pyarrow、polars、pandas、duckdb)
- Drop-in
concurrent.futures.Executor— 真實Futures、wait、as_completed、asyncio.wrap_future - 事件驅動 asyncio —
await任務與對映,async for與recv_async()在通道上 — 隨資料到達即喚醒,無輪詢執行緒 - 可重現的平行隨機數(
seed=)— 無論工作者數量或偷取順序皆產生相同結果 - 巢狀平行對映 — 任務可在其自身池上對映,無死鎖
生命週期:實驗階段。 API 尚未穩定,可能會根據回饋進行更改。
安裝
從 PyPI 安裝:
pip install pymizu
或從 GitHub 安裝開發版本:
pip install git+https://github.com/shikokuchuo/pymizu
需要 Python 3.10 或更高版本,且為 64 位平臺。 擴充套件編譯內嵌的 C 核心,無需任何系統函式庫。
可選擴充:
pymizu[numpy]:零複製陣列檢視與原始層陣列佈局pymizu[cloudpickle]:lambda、閉包與本地函式作為池任務
使用 GitHub 安裝時,使用 pip install "pymizu[numpy] @ git+https://github.com/shikokuchuo/pymizu" 以請求擴充。
快速入門
import pymizu with pymizu.Pool.create(4) as pool: task = pool.submit(pow, 2, 16) print(task.collect(timeout=5))
基準測試
與標準函式庫 concurrent.futures 池的通訊開銷(Apple M4 Pro,來自 benchmarks/mizu-stdlib-bench.py):
與 ProcessPoolExecutor(任務在獨立程序中執行,使用序列化負載)對比:
| 基準測試 | pymizu | ProcessPoolExecutor | 加速比 |
|---|---|---|---|
| 簡易任務往返 | 0.7 µs | 94.2 µs | 135 倍 |
| 流水線吞吐量,1 個工作者 | 2,390,000 任務/秒 | 18,500 任務/秒 | 129 倍 |
| 8 KB 向量往返 | 2.4 µs | 100.7 µs | 42 倍 |
| 2,000 個約 5 µs 任務的平行對映,4 個工作者 | 2.9 ms | 123 ms | 42 倍 |
與 ThreadPoolExecutor(任務共享同一程序,GIL 限制 CPU 限制工作於單核心)對比:
| 基準測試 | pymizu | ThreadPoolExecutor | 加速比 |
|---|---|---|---|
| 簡易任務往返 | 0.7 µs | 9.5 µs | 14 倍 |
| 流水線吞吐量,1 個工作者 | 2,390,000 任務/秒 | 405,000 任務/秒 | 5.9 倍 |
| 8 KB 向量往返 | 2.4 µs | 9.3 µs | 3.9 倍 |
| 2,000 個約 5 µs 任務的平行對映,4 個工作者 | 2.9 ms | 48 ms | 17 倍 |
benchmarks/mizu-bench.py 以獨立方式執行 pymizu 行。
參見 pymizu 與 Ray、Dask、joblib 與現代 CPython 的比較。
Drop-in concurrent.futures
PoolExecutor 將池適配為標準函式庫 concurrent.futures.Executor 介面,因此針對 ProcessPoolExecutor 編寫的程式碼可直接使用。
submit 回傳實際 Future 物件,故 wait / as_completed / asyncio.wrap_future 均保持不變:
with pymizu.PoolExecutor.create(4) as ex: futures = [ex.submit(pow, 2, i) for i in range(4)] print([f.result() for f in futures])
平行對映
Pool.map(fn, x) 在池上將 fn 對映到 x,並立即回傳 Map 處理器,與 Pool.submit() 回傳任務相同。collect() 在處理器上等待並按順序回傳值。
函式與資料僅進入共享記憶體一次。
工作者將元素分配給自己,從共享遊標中取得範圍。
對映亦可巢狀:對映函式可使用 pymizu.current_pool() 在其自身池上對映,無死鎖。
with pymizu.Pool.create(4) as pool: m = pool.map(abs, range(-5, 5)) print(m.collect())
R 互操作
Pool workers 可以是執行 mizu 套件的 R 程式,該套件是同一核心的 R 繫結。\npymizu.r_launcher() 產生它們,pymizu.call() 指定任務。在此,R 內建的 mtcars 在 R 中被匯總並讀回 polars:
import polars as pl import pymizu with pymizu.Pool.create(4, launcher=pymizu.r_launcher()) as pool: task = pool.submit( pymizu.call(source="aggregate(mpg ~ cyl, data = mtcars, FUN = mean)") ) print(pl.DataFrame(task.collect()))
- 一個 numpy 陣列會以數值向量的形式進入 R,而 polars、pyarrow 或 pandas 的框架則以資料框形式進入
- 一個向量或資料框會以 numpy 陣列或
pymizu.Frame形式返回 - Arrow 資料(pyarrow 表格和記錄批次閱讀器,或任何
__arrow_c_stream__產生器)以相同方式傳遞
The R interop 頁面列出了完整協議:可攜式子集、pymizu.Frame、零複製框架以及 dtype 矩陣。\nmizu README 展示了相反方向:一個由 R 主機驅動 Python 工作者,使用 mizu_py_launcher()。
檔案
The documentation site 涵蓋整個套件:通道及其傳遞內容、任務池(批次操作、巢狀任務、concurrent.futures 執行器、監控執行中的池)、平行對映(排程、可重現隨機性、範本、已準備對映)、R interop 與 dtype 矩陣、在 Linux 上的部署,以及 API 參考。
貢獻
請參閱 CONTRIBUTING.md 瞭解倉庫結構與貢獻者說明。
授權
MIT。\nLICENSE.note 為 vendored libmizu 核心提供 RngStreams 歸屬。
請注意,本專案遵循 Contributor Code of Conduct。參與本專案即表示您同意遵守其條款。