IPアドレスが人に知られてしまうことで、その相手から直接パソコンに攻撃される可能性はあります。
ただし、正しいセキュリティ対策をしていれば防げますので、セキュリティ対策を行ってください。

詳しいことは、以下のサイトを参考にしてください。

情報処理推進機構：セキュリティセンター：個人の方（http://www.ipa.go.jp/security/personal/index.html）

2018年03月09日 19時00分 セキュリティ
DDoSなどの攻撃が発生する根本的な原因はIPを偽装（踏み台）する「IPスプーフィング」が可能なことにある
https://gigazine.net/news/20180309-ip-spoofing-ddos/
現状ではIPスプーフィングを行っている攻撃者を追跡できないため、攻撃者は無敵の状態です。
攻撃に比べて防衛は難しく、この非対称な構造を変えるにはIPスプーフィング問題に対して積極的に
取り組む必要がある、とブログでは結論づけられています。