Google Research:利用凍結的多Token預測技術在 Pixel 裝置上加速 Gemini Nano 模型
Google Research 宣佈推出一項新架構,將多Token預測(MTP)技術應用到已部署且權重被凍結的 Gemini Nano v3 模型上。該方法採用零複製架構直接利用主模型的鍵值快取,在 Pixel 9 和 10 系列裝置上實現了 50% 或更高的推理速度提升,並減少了能耗。
推薦理由:谷歌研究團隊通過在已凍結的 Gemini Nano 模型上應用多Token預測架構,在不增加記憶體冗餘的前提下顯著提升了端側裝置的推理速度與能效。