世界観が飛びすぎてついていけない＝設定が理解できない、ではないと思うんですが、いかが。
あなたが例に挙げてるジャンプ漫画でもギャグ漫画→バトル漫画のようにジャンルが変わって振り落とされる読者は大勢いると思います