「28×28ピクセルの画像の中で、数字によって塗り潰されたピクセルは数字によって違ってきます。」
この前提が間違い。ピクセルの位置を基準したのでは、１ピクセル上下左右に動かすだけで全く違うものになってしまう。