ひとまずCollider有効中にHitしたColliderをListに入れておいて
それら全てのColliderがOFF状態ならOnExitと見なすようにして対応できました。
お騒がせしました