llama.cpp b12543 加快 Apple Silicon 上的 CONV_2D 運算
在 Apple Silicon 上執行卷積運算時,部分 GPU 運算單元可能閒置,讓某些工作跑得較慢。llama.cpp b12543 為支援 tensor API 的裝置加入新的 CONV_2D 核心,也調整工作切分方式,並改善資料位置計算;不支援 tensor API 的裝置仍使用原本的核心。發布資料列出 M5 Max 上多種輸入尺寸的測試結果,顯示部分測試的每次運算時間縮短。對超過 4 GiB 的影像資料則會改用通用核心。
推薦理由:llama.cpp 這次更新針對 Metal 上的 CONV_2D 卷積運算調整核心與工作切分方式,並提供 M5 Max 多種輸入尺寸的耗時比較,可用來瞭解效能變化。