>>882
解決しました。
UI Toolkitのイベントは伝播するらしく、バブリング(逆方向はトリクルダウン)したイベントをキャンセルしないといけないみたいです。
あと、イベントシステムのレイキャストを見直したら意図したとおりに動作するようになりました。
https://docs.unity3d.com/ja/2019.4/Manual/UIE-Events-Dispatching.html