色々回答&ヒントありがとうございます。

>>497
TouchDownの瞬間でなく、TouchMoveで動かした後、その時点での一番右側にあるIDと、一番左側にあるIDを取りたいのです。
常に辞書というか、配列に入れ続けるしかないですかね。