Ruby Installer にはインストールしない、MSYS2 コンパイラ無しのポータブル版もある。
ただし、インストールしていないから、アンインストールもできないので、自分で削除する必要がある。
つまり、システム管理外のアプリとなる

Ruby 2.4 なら、それをダウンロード・解凍して、C:\Ruby24-x64 に置いて、
ruby.exe のある、C:\Ruby24-x64\bin をユーザー環境変数PATH に、自分で追加する

コマンドプロンプトで、where ruby と入力すると、そのパスが表示される。
C:\Ruby24-x64\bin\ruby.exe

これで絶対パスじゃなくても、ruby というコマンド名だけで、ruby.exe が起動できる

PowerShell を起動して、$env:Path.split(";") と入力しても、
環境変数PATHを、; で区切って表示できる

コマンドの実行ファイルは、この表示順で、上から検索される！