>>122 ですが自己解決しました。
Parallel.Forにしたら問題なく動きました。