付き合って１年近い彼とのことで、整理がてら相談させてください

お互い良い歳の社会人一人暮らしで、家が偶然そこそこ近くです
たまたま私の家の方が広いこともあり、私の家には多い時で週２〜３回来て、ご飯を食べたりテレビを見たり一緒に寝たりしていますが
彼は自分の家に私含め他人を誘いたがらず、これまで彼の家に入れてもらえたのは３〜４回ほどで
いずれも半ば私から押し掛けるような形です。泊めてもらったことはありません

最近私が忙しく疲れがちで家が片付けられておらず
会いたい・くっつきたいけれど家を整える元気がないので泊めてほしいと頼んでみたら、やはり断られました

外に一緒に出掛けると結局私の家に帰り、泊まるパターンが最近は常なので
結局外で会うのに誘うことも今は億劫なのですが、
普段から私から誘わないと殆ど彼からの誘いはありません
近所での買い物や散歩以外の外デートは月１程度です
外食には付き合ってはくれますが、行くとよく高いとこぼすのと、手料理が食べたいと言っていたので
なんとなくうちでご飯にした方がいいかなと感じて私がうちに誘うことが多いです

なんだかどういう心持ちでいたらいいのか、わからなくなっています

会えば愛情表現はあり、家に来た時も食器や寝具をまとめて片付けてくれたり、掛かった食費を置いていってくれたりはします
ただそれでもふと、毎回うちで会うというのは負担に感じることがあります
あと、私が部屋を雑にしていると、彼まで私のものを同じように雑に扱うことがあり、それも家に誘いたくないと感じてしまった一因かもしれません
（それ自体は言ったら直してくれそうではあります）

元々相手は受け身なほうで、最近では特にテンションも落ち着いて、自分から会いたいとは言ってきません
なのでこれらのことを直球で伝えると、「じゃあもう行かない」となるような気がしますが、結局「＝会わない」に近いことになりそうです
頼んだことは断らないし、そういう意味では優しいのですが、如何せん独り相撲のような感じもして寂しいです
私の方が会いたいと思ってしまったら、私が彼を迎えるよう割り切るしかないでしょうか

思いがけず長くなってしまいすみません