彼氏野考えがよく分からなくて、、アドバイスお願いします。
1年半付き合ってる彼氏がいます。
彼の家は知っていますが、付き合って1年くらいは教えて貰えず、入ることも出来ませんでした。
理由は彼氏が昔ストーカーされた事があり怖かったそうです。
その後も家の広さ、キレイさが全然違うこともあり私の家で過ごしています。

彼がストーカー されたのも事実で辛い思いしたのはしってますが、ストーカーされたから怖いを理由に私まで怖がられています。
この間セックス中彼の名前を呼んだときに「なに？」と言われバックをしたいと言いたいけど言えなくてそしたら彼から「え？危険日？元カノ(ストーカー)みたいに安全日だからと言いながら中だし計画してる？」と聞かれ怒ってしまいそのまま家から追い出してしまいました。

そのあと冷静に話し、私はストーカーでもないし、貴方が怖がるなら私はもうあなたとは一緒にいるのが辛いから別れましょうと伝えました
しかし彼はひたすらそんな事思ってない、怖がってないごめんなさいの一点張りで話にならず。

そのあとは仲良くしていましたが、彼の家に彼の書類を取りに行った時に「○○のオートロックじゃないんだね。おとこだから大丈夫か。しかも引っ込んでるから道も分かりにくいね」と何気なく言ったら「だからストーカーとか怖いのよ。。道覚えられたら怖いなあ」と言われブチ切れてしまいました。
怖がられるのが不愉快だし悲しいと言ってもそんな気持ちはない、怖がってないと前と同じです。
怖がるなら別れて欲しいと言っても怖がってない、だいすき、別れたくないと言ってくれますが、ではなぜ怖がる態度をとるか意味不明です。
バカにしているのでしょうか？