自分はもっとこうしたいんだけど、あなたはどう考えてる？と聞くことから始めて
お互いの妥協点を探すのがいいと思います
今の感じだと彼はもともとそんなに雑談のやり取りを楽しむ方ではなさそうだけど
だからってあなたのことが好きではないってことじゃないし
お互い心地よく、と考えてるなら彼のペースも理解しないとダメですよね