初心者を抜けた後、実践へ進みたいのなら幾つか勧められる本はある。

しかし、更なる勉強がしたいのなら、勧められる本はない。
初心者用か、初心者を抜けたばかりの者にはまだ難しい本しかない。
特に君の目的(競プロやAI)に叶う本は今のところ皆無だ。

なので、ネットを漁れ。

あと質問がやや曖昧で、何を求めているのか分からん。
数学の高速なライブラリの何を求めてる？
それを自作できる知識なのか？
活用する知識なのか？
もしくは、仕組みが知りたい具体的なライブラリでもあるのか？

圏論やモナドにしても然り。
それらの何が知りたいのか具体的に言ってみ。