選択状態は0か1かの二値ってわけじゃなくて、0.5とか薄く選択状態とかあるだろ？
だから投げ縄とかですらアンチエイリアスオプションが存在してるんだし

レイヤーctrlクリックをしたら、不透明度が50%で描画されている(端っことかの)部分は選択状態も50%になる。
完全不透明(100%)のところは選択状態100%で切り取るから完全に透明になる。
完全透明(0%)のところは選択状態0%で切り取るから完全に透明になる。
半透明(50%)のところは選択状態50%で切り取るから25%が描画濃度として残る。

この仕様を変えたらレイヤーctrlクリックがアンチエイリアス無視の汚いガビガビになるだけ
どうしてもやりたいなら、レイヤーをコピーして、
レイヤーの特殊効果> カラー２値化 > 閾値100　にしてラスタライズ化してから、レイヤーctrlクリックで選択領域を作る