バックプロパゲーションで計算している以上、深さが深くなると、
その分初段まで誤差を遡らせるのに時間がかかるから、収束が
遅くなって当然かと思います。

あと、初期値のランダム値の幅も、適切に設定しないとなかなか
収束しなくなりますし、それでも初期値の運が悪いとまったく収束
しないなんて事もあり、ちょこっと不安定なところがあります。

XavierとかHeとか初期値の設定項目はありませんか？
本で読んだ知識なので、現実にどれくらい影響するのか良くわかりませんが（＾＾；