ハリスに随行した訪日外交官が幕府高官にケーキで饗応したところ
その高官は妾のために持ち帰ろうとし、そしてそのことを恥じるそぶりも見せなかったので
ピューリタンとして厳格に性道徳を守っていた当該外交官が非常にあきれかえっていたという記述が残っています。
また、このような旗本御家人層の子女が幕府瓦解後に芸者になって
政府高官や富商の正妻や妾として身請けされていたりもします。

武士道倫理に基づいたストイシズムというのはクリスチャンである新渡戸稲造が作り出した神話でしょう。
実際の日本人は(欧米以外の文化圏がそうであるように)性的に放縦な民族ですよ。
ただ、文化的に指導的立場にあった欧米諸国がキリスト教の世俗化によって禁欲的になったので
しかたなくそれに(表面上)従っただけの話であって。