Unityのプラグインとして、
ttp://gram.gs/gramlog/creating-node-based-editor-unity/
ここを参考に独自のノードエディタを作成しています。

https://imgur.com/B7DPKOj.jpg
こんな感じでノードを曲線で接続し、曲線の中心にはその曲線を削除するためのRectangleが描画され、それをクリックすると曲線が削除される仕様です。
コードその部分のコードは下記の通りです。

if (Handles.Button((inPoint.rect.center + outPoint.rect.center) * 0.5f, Quaternion.identity, 4, 4, Handles.RectangleHandleCap))
{
曲線削除処理
}

しかし、先の画像のFooとEndを接続している曲線を削除するためのクリック判定がとんでもないところに存在します。
https://imgur.com/0nczMo9.jpg

この動作が理解できずにいます。
削除ボタンとなるRectangle描画とクリック判定は以下の1行で実施しているのに、なぜRectangleと判定位置がずれるのでしょうか？

Handles.Button((inPoint.rect.center + outPoint.rect.center) * 0.5f, Quaternion.identity, 4, 4, Handles.RectangleHandleCap)