SerializeFieldでインスペクタに表示したBoxColliderに、
BoxColliderが1つだけアタッチされているオブジェクトならドラッグアンドドロップで問題なく設定できるんですが、

オブジェクトにBoxColliderが複数アタッチされてると、ドラッグアンドドロップすると、
設定したいのと別のBoxColliderが設定されてしまうのですが、どうすれば良いでしょうか？