OpenCLを知らないので外してるかも知れないけど、
基本的にはcudamemcpyするしかない。

CUDA6.0からUnified Memoryっていう機能が入って、
GPU上のメモリをホストメモリと同じように読めて、
自動的に同期を取ってくれる機能。用途によっては使えるかも。