GCが発生している箇所が判明。
したのはしたんだが、かたまる原因はGCではなく、
Readers/WritersLockをかけ忘れによるNULLエラーだった。
(catchしててもException発生は重い）

GCでパフォーマンスが落ちているのは明らかなので、そこはそのうち。