須藤元気、我が党離党だって