外部非公開なサーバとしていながらも
VPNだけは外部公開という矛盾した環境です。
1物理マシンに1OSです。
https://i.imgur.com/MqPnCZD.png

ルーターのポートはUDP4500/UDP500をサーバに向け転送。
それ以外のポートは開けていません。　

VPNサーバはSoftetherVPN Server
L2TP/IPSec
PSKは複雑なものにしています。

サーバを仮想化するか今の環境からネットワークセグメントを変更しなくてもそこまで問題ないでしょうか？

[ルーター1]→[VPN専用サーバ]→[ルーター2]→[既存のプライベートLAN]
こうやるのが理想的なのでしょうが、VPN専用物理マシンをもう一台用意しないといけないのと、
VPNクライアントがルーター2配下の各サービスにアクセスできるようにルーター2でポート転送してやらないといけなくなります。
かなり手間が増えます。

今の環境ではかなりヤバイとか、重大なリスクがなければ変更はしません。　
他にもっとセキュアでスマートな方法はありますでしょうか？

ちなみにポンコツ個人事業主事務所です。
企業のように重大な情報は扱っていません。