もちろん、そのクラスや構造体の中で、
「数学的に何が行われているのか？」を理解していれば、
それを応用して、別のクラスを作ったり、
他の処理に応用することができるようになるとは思うけど・・・

3D処理（描画じゃなくて動作）で必要なのは、
ベクトル、行列、複素数の拡張であるクォータニオン、
極座標、関数（特に、三角関数）、初等幾何学、
古典物理学（力学）くらいじゃないかな・・・

Unityでは、行列は基本内部処理だけで表に出ないから、
高校の数学ⅡBくらいまでのレベルじゃなかろうか？