アドバイスお願いします。

ユニクロのシームレスダウンパーカを買う予定ですが、サイズ選びに迷っています。体型は172p、60sの男です。

今日Tシャツの上からSとMサイズを試着して、Sの方がジャストサイズでシルエットは良かったです。しかし、冬となるともう少し中に着込む可能性があります。そうなると、余裕のあるMサイズの方が良いのでしょうか?