numerical_gradient の実装をニューラルネット用に変えるのが正しいやり方ではないでしょうか?