ちょっと相談良いですか？

彼氏なんですが、一般常識の範囲内の慣用句を知らないときが度々あるんです
普段普通に会話をしていて１日の内、一度はそんなときがあります

一応地方の県立４大卒でそこそこの理系企業に勤めており
友人も多くコミュ力は高いのですが、もしかして頭が悪いのかとすごく心配です

よく理系で、専門知識はすごくあるけど一般常識はないみたいな人もいますが
逆に私は理系ではないのでそういうタイプか判別ができません

仕事に支障が出るレベルで頭が悪いのか、それとも上記のような専門知識に片寄ったタイプなのか
どうやったら判別付きますか？
前者レベルで頭が悪い人とは付き合いたくありません