コメントありがとうございます
タグ付けはdeepdanbooruを使って行いましたが、モデルの構造は単純なCNNで誤判定も発生しやすいようなので
wd-vit-large-tagger-v3に乗り換える予定です