ワールド座標とスクリーン座標を別に用意しておいて、
画面に表示するときだけワールド座標をスクリーン座標に変換するとか。