Unityは最初の起動時に色々読み込むから長い
数MB程度の軽いアセットでもちょっと読み込みあるし
でも起動時以外はそんな読み込みないでしょ