オリジナル単位はもちろんヤードだのマイルで言われてもワカランからkmでいいよっていう人も多いようだがどうしたって異世界味は下がってしまうというのがひとつ

もうひとつには正確な地図がない（測量技術がない）世界なのに具体的過ぎる数字が出てくるのはオカシいというのもあってこっちの方が問題だと思う 時計がない世界なのに「３分待て」とか言うのと同様「単位を意訳した」では済まないから
時計も地図もスマホもない異世界の住人の感覚を考えもしない考えなしの作者であるか「そういう（考えなしの）読者を想定してます」ってうそぶく作者である確率がグンと高まってしまう

実は現世でもkmで表示するような距離をkmで語ることってあまりない「車で３０分」とか「電車で１時間」とかいう方がずっと実際的 kmで測れば同じでも交通事情によって体感距離はゼンゼン違っちゃうから
電気もエンジンもない異世界なら「歩いて１日くらい（２０〜４０km）」とかいう方が実際的で世界観も壊さずに済むんでよろしいかと思います