解決しました
コード自体に問題はなく空のオブジェクトを用意してそちらにスクリプトをアタッチすることでしっかり動作しました