レイキャストでコライダーからオブジェクト取得してたんだけど、オブジェクトのpositionを弄った後にレイキャストしても反応せず、移動前の位置ではオブジェクトがないのにも関わらず反応することから、コライダーの当たり判定の座標だけが更新されていないみたいだった
結局ProjectSettingsのAutoSyncTransを有効にしたら解決したんだけどもっと良い方法ないかな？

多分コライダーの仕様が原因だと思って色々調べたんだけど、rigidbodyのIs Kinematicは付けても付けなくても変わらなかった