Aが行列でxとbがベクトルとしたときAx = b の
xを求めたい。

でも現実的にはxの解がないことが多い。だから
誤差e = b - Ax が最小のときがxの最適解になる。

Axは行列Aの列ベクトルの線形結合で作られる
「平面」であり、bはその平面から斜めに出ている
ベクトル。

つまりベクトルbから平面への射影したときの
距離eを最小にするxが最適解になる。

解析の最小二乗法を線形代数的にやっているだけ
だとは思うがベクトルの方がイメージしやすい。

数学科じゃないので間違ってたらすまん。