再生開始位置がずれてしまう症状だけれども
今日たまたま配信画面に切り替わって再生ボタンが出てきたところでしばらく放置してしまったんだが
再生開始が3分弱くらいずれてた…
そこでローカル環境で色々試してみたところ
どうやらエンコードを実行中の場合だと再生開始しないと再生位置がどんどんずれていくみたい
5分程度の短い動画を数分間放置してみたら再生開始する前に動画のエンコードが終わったようで（早送り、巻き戻しするときにReloadもSeekも表示されない状態）
その状態だと再生開始も設定通りの位置からでずれはなかった
なのでとりあえずブラウザ側の仕様と決めつけるのは早いかも？