アンカーの上で RET すると、そのページへアクセスして、
アクセス先からは B で戻ってこれますが、
#name のアンカー上で RET すると、
バッファ上でポイントを移動するだけなので、
B しても元の位置へ戻れないですよね。

こういう場合、どのようにして戻ればいいのでしょうか。

具体的な例として、emacs-w3m で 2ch を閲覧していて、
アンカー先に行って戻ってくるときなどです。
;; navi2ch でいうと l の動作が求めている挙動に近いです