連絡する気もないのに連絡先を聞くのは迷惑ですか?

自分20代後半、相手は30代(?)で互いに既婚。
ほんのり両思いかと思う時もありますが、不倫したいとは思っていません。彼は仕事が出来る人なので、出世の邪魔になるようなことはしたくありません。私も夫が大切です。

ただ、彼と会えない日々が切なくて。ろくに連絡なんて取れないと分かりつつも、お守り代わりに彼の連絡先を手に入れたいと思うのは相手にとって迷惑でしょうか。また、そのような場合、どう彼に伝えれば良いでしょうか。ありのまま打ち明けると重たい気がしています。

どなたか助言を下さい。