KVM切り替え機を買えばいいんでないの
いつまでもリモートになるか分からんし敢えて一つに纏めないという選択肢もあると思うが