unity初心者なんですけど、キャラの移動はrigidにaddforceしています
しかし、物理と任意の操作を組み合わせると重くなるのではないでしょうか？

前後左右への移動はキー操作で行う
落下は物理に任せる

落下もスクリプトでコントロールしたほうがかるそうですね
であれば、rigidにこだわる必要もないなと