ResourceLoadALLじゃなくてAddressablesで非同期ロードすると待機時間ほぼなかったですよ
起動時に全部読み込むと非表示にしていてもフレームレートを奪ってくるので必要な時に読み込んだ方が良いです