Androidが処理遅れしてるかもしれないね。
実機でそういうことはよくあります。
原因特定は難しいですが、1度、タッチ部とパドルの移動だけのアプリ(画像データも効果とか無しにして極力軽く)にして、それで遅れるかどうか確認してみては？
また、Androidは最新機種かどうか？