ちょっと敗北した感があって分からないままはモヤっとするんですけど、とりあえずこの件であまりに時間かけ過ぎたんでビヘイビア追加でやることにしました。
それでアクション消してく過程で何故かハシゴ登り時に普通にアニメーションするようになって何かのアクションが干渉してるのかなって感じに思えました。
アドバイスしてくれた方、本当お手数おかけしました。