「敷居が高い」は本来「不義理や面目のないことがあって、その人の家に行きにくい」の意味。