神々の世界、悪魔の世界、精霊の世界、死後の世界→そう呼べば良い
魔法の世界→魔法がないパターンもある
夢の世界→夢は関係ないパターンもある
ワンダーランド→不思議要素がないパターンもある

って事で
「同じ様に人間が暮らしてるけど文化とか歴史とか技術が違う世界」
を表す言葉が「異世界」くらいしかないから
そういう方向で定着したんじゃないかな