その挙動は間違いなくHDMIの仕様のせいだよ
素直に音声だけ出るなら不安定な部分は一切出ないはずだけどHDMIはそれが無理だからね