> 仕事以外の話をするとなぜか仕事中だからと強制的に話を終わらせられます

第三者から見て
あなたと雑談したくないから切り上げようとしているのか
あなたが話しかける時はいつもタイミング悪く忙しいから終わらせるかのどちらかに思えるけど
その女性がどう思っているのかは女性本人に聞くしかないでしょうね