プルプル解消しました。
コリジョンをきっちりと合わせると食い込んで戻そうとするのが原因のようで、
遊びを持たせると大丈夫って感じでした。

まぁ、物理演算とTileMapでカメラ枠を作るのって強引な感じなので
アセットも漁ってみます。