彼氏と別れたいとおもってます。

元々中学の同級生で、高校の時に向こうから告白されて付き合いだしました。高校が違ったことと彼の方が上京してずっと遠距離でした。もう4年になります。
告白された時は嬉しかったのと初めてのことの好奇心、そしてなにより彼のことは好ましくおもっていたのでOKしました。
だけれど２回目のデートの時に子供は何人欲しい？と聞かれて重いと思いました。
デートの度に私を充電できたみたいなことを言われて、私はそんな風には感じた事がなかったので想い方が違うんだなと思いました。
彼は毎回のデートの時に子供だったり結婚の話だったりをふってきます。
私は恋愛をよく分かってなくて、言葉を濁しながら答えてました。今なら彼のことは友達として好きだったんだなと思います。
彼は私に会う度好きだと言ってくれますが、もう友達としてしか見れない私には重くて罪悪感がつのります。
彼にも失礼だし、別れを切り出したいと思っているのですが、最近の彼の話が
・私が好き
・なんで生きているのかわからない
・30、40位で死にたい
・子供を見かける度、可愛い、自分の子供だったら可愛すぎて叱れない
・すぐにおじいちゃんぶる

もう疲れました。だけど今別れを切り出したら自殺するとか言われそうで怖いです。
誰かの意見が聞きたくて書き込みました。なんでもいいので意見を聞かせてください