ローマ帝国自体には、
ユダヤ人の偶像崇拝禁止という戒律が、多民族にはどうしても理解ができなかったらしい
カエサルだかがユダヤの神殿に入ったら何もなくて驚いたとか
「ユダヤ人は黄金で作った牛を拝んでいる」（モーセの話が元ネタだと思う）
というデマが信じられていたそうな

余談だが、モーセの話に出てくる黄金の牛の話は、多分実際にそういうのを崇めていた
時期があったのではないかと個人的に思っている