参照切れを正しく拾えないって、どんな時にそうなるんだ?

確か参照カウント使って参照されなくなったらメモリ解放する方式は Delphi でやられていたと思うが、特に問題なくできてたと思うぞ。
(これの場合はコンパイラがバグってなければ大丈夫だよな?メモリ破壊するようなのを自分で書いてしまった場合は別かも知れんが)。