年収500万なら、4,000万のローン余裕で旦那単体でも下りると思う。
他の人が言うように、金利めっちゃ安いから、税金控除の期間が終わってから繰り上げ返済がいいとは思うが、手数料などを考慮忘れないようにね。