試してないけどこんな感じで良いんじゃないの？
$HTTP["url"]=~ "^/proxy/" {
url.rewrite-once = .....
proxy.server = ...
}