重さではなくて、単純にインスペクター上から値を変更する必要のないようなものを表示させておく必要性が無い
（というか拡張機能を入れてるならともかく、通常のインスペクター表示で重いって話を聞いたことがない）

・インスペクターが見づらくなる
・誤って値を変更してしまうせいでバグが起こる可能性がある
・Publicにしている場合は更に、他のクラスから書き換えできてしまうので更にバグの温床になる

変数の動作を確認をしたいだけならインスペクターをDebugモードにすれば全部のメンバ変数を見る事が出来るから
表示するメリットは無くてこれらのデメリットを増やすだけ

あとついでに何でもかんでもシリアライズ化しちゃうとNull参照が起こらなくなって設定忘れの回避が難しくなるってのもあるかも