「探偵小説」が推理小説の別名であって「現実的な探偵が地道に浮気調査をする様を描いた小説」が「探偵小説」と呼ばれないように、
「異なる世界」と表現可能なだけでは「異世界物」とは呼ばれないんだよ