最初に書いてるヘッドホン用の抵抗×2を介することになるから問題ないのでは
スピーカー出力のLR間に数百Ωの抵抗繋げたのと同じ