ゲームでMMDみたいな頂点ずっと読み込み方式は普通はないので
最適化したいならまずそこらへん気にするといいよ
映像分野の3Dモデルは最適化しないからそういうのが普通みたい
じゃあモデルも最適化してないのでは？って考えも結構当たりで服で見えない部分が消されてなかったりとかも高確率である
Unity内でやるならMeshDeleterWithTextureとかMeshSplitterとかVRC関連のツールでもいける