自己解決しました
どうやらsetup.pyのsetup()にパッケージ名を指定してやらないといけなかったようです
（name引数だけでいけるのかと思いました）
packages=['パッケージのディレクトリ名']

もともとここを参考にしていたのですが
https://qiita.com/kobori_akira/items/aa42790354654debb655
setup.pyのカンマが余分なところをみると記述漏れですかね

試してませんがpackagesで指定しなくてもfind_packagesでもいけそうですね