個人的な分類をぶつけあって良いのならば 「登場人物のなかに『ここを異世界だ』と認識しているひとが一人でもいれば」異世界もの

・その登場人物の出身世界が読者のいる地球と相似とは限らない
・本当に世界をまたぐ転送や転生をしていたとも限らない
  (設定が「ゲームをやっていたはずが異世界だった」としても開示が終盤ならばゲーム小説だし、逆もまた然り)

「一般的に異世界小説と認められる小説の多くが満たしている特徴」を挙げたらもっと多くなるけど、それは分類条件とはまた別の話

---
過去にミステリの定義で謎解きが物語上不可欠であることを求めたり、
SF の定義で現実にもってきては進行不可能な筋書きであることを求める姿勢は
教条主義として否定されてきたから、「個人的には」異世界ファンタジーにも必然を求めない。

もちろん「ミステリもSF も異世界ファンタジーもみな必然でないといけない」と いう主張ならば
同意はしないけど尊重して「そういう分類も成立する」とはいう