過去のportsを引っ張り出して自前でdrm-515-kmod-5.15.25_3をビルドして試した
結論を言うと状況は変わらなかった

ちょっと横道だけどビルドするのにFreeBSDのソースが必要だったからtarを用意してマウントした
$ git archive -o/dev/stdout adfda3c | tar caf freebsd-releng-14.0-p5-adfda3c.tar.zst @-
$ sudo mount -ttarfs freebsd-releng-14.0-p5-adfda3c.tar.zst /usr/src
めちゃくちゃ遅くて使い物にならなかった
.tarでマウントし直したら快適だった