いきなり警察を呼ぶとご近所にも知れて、あなたも居づらくなるよ
その前に、最寄りの警察署（交番ではなく）に相談に行きましょう

担当の方が話を聞いてくれ、もし何かあったら連絡してくださいと言われます
その人の名前と役職名を控えるか名詞をもらいます
彼（？）に、

今日XX警察暑に行きあなたのことを全て担当のYYさんに話しました
もう2度と来ないでください
来た場合は直ちに通報します
また直ちに鍵を返してください
もし返さない場合は捜査が始まります

と書いて、名刺の画像か担当者の名前を伝えると、ヤクザでも来なくなるよ