https://docs.unity3d.com/ja/2021.2/ScriptReference/SceneManagement.SceneManager.GetSceneAt.html
何をロードしてるのかは常に見れる訳だから
0番以外を破棄するだけではないの?