Rayfire使い始めました。それでちょっと教えてください。

コンクリートの壁に球がぶつかって壊れるというシーンを試しています。
壁を先にフラグメントで壊しておいて、球がぶつかるアニメーションを入れています。
ところが、計算開始直後に飛び散ってしまいます。これはなぜでしょうか。

https://i.imgur.com/09tl3KK.mp4

当たり判定がめり込んでるからかなと思いましたが、
Collision toleranceをいじっても変わらなかったので困っています。
わかる方がいましたら教えてください。