彼氏の趣味との付き合い方について相談したい

知らないジャンルの趣味だったので、教えてもらって私も一緒に楽しむようにしたし、実際私も楽しい
ただ、彼氏がのめりこみすぎて、『私はその趣味を優先させても怒らない』と思われるようになってしまった
趣味を楽しくやることは良いことなのだけど、それによって私に対しての対応がおざなりになっている（気がする）
大事にしてもらえなくなった（気がする）

趣味をやることと私の扱いをぞんざいにすることは違うとは言ったんだけど
これって『趣味ばっかやりすぎ！私もかまって！』になるんだろうか
趣味とか関係なく私をぞんざいに扱ったことに対して怒ったんだけど、これって相手からすると面倒だろうなって思ってしまうのと、
私は大事にされたいから言うべきっていう二つの思いがあって、どうしていいかわからない