3Dで基礎から勉強したければ、

難：「実例で学ぶゲーム3D数学」
中：「ゲーム開発のための数学・物理学入門」
易：「ゲームアプリの数学 Unityで学ぶ基礎からシェーダーまで」

2Dでアルゴリズムのアイデアを得たければ、

「アクションゲームアルゴリズムマニアックス」
「アクションゲームプログラミング」