PhotonですがそもそもRigidBodyを与える以前から症状が起きていることが分かりました
同じような症状は見かけませんがどなたかご存じないでしょうか