声が消せないのは高音をキャンセルするのが苦手だからでは？

20hzの音の場合、1/10秒でも位相は180度しかズレないけど
2000hzの音の場合は1/1000秒で180度ズレちゃうわけで
信号処理でどうやっても遅延は避けられないから、そこまま逆相当てると高音域は反対に音が大きくなる事もあるので
LPFで高音域はカットしてノイキャンしているから声が消せないんだと思う