別に外さなくても/boot/loader.confにusb_load="YES"でいいじゃん。
どうせusb.koはコンパイルするんだから、ビルド時間が延びるだけ。