ssh-agentを乗っ取られたら認証済みの接続すべて終わりなわけで、それはそれで危険
一番安全なのは秘密鍵+非常に長いパスフレーズを毎回入力する事だが、面倒
多分、秘密鍵を接続先のサーバーごとに用意して、USBメモリにでも入れて、接続が終わったらマシンから外す、シェルが必要ないサーバーの場合はシェルを制限するというのが比較的安全だと思う