Homebrewのインストール自身にsudo必須だったかは忘れたが
少なくともbrew updateやbrew installにはsudo不要なので特定バージョンのpythonやpandasを
管理者権限のないユーザーがインストールする分には全く問題ない

Pythonのインストーラをダウンロードしてinstallerコマンド使うのでも普通にいける

ただbrewやinstallerコマンドで特定のバージョンを直接インストールする方法だと
複数バージョン使う事になった時に面倒なのでpyenvみたいの使ったほうが簡単