実際はもう少し複雑で a( だけでなく a) も探したいのですが

Pattern p = Pattern.compile("[ab]\\(|\\)");
これではだめなのでしょうか、うまくいきません。