クリックしたオブジェクトはUIじゃなければraycast使って取得するよね?
そのトリガーにGetMouseButtonDownを使えばOK
https://docs.unity3d.com/ja/540/ScriptReference/Input.GetMouseButtonUp.html