2年ぶりに自己レス。xterm-256colorsをサポートしてみたらこんな具合になった。
実際には20色も使ってないと思う。

http://sistia.s35.xrea.com/congame/map1.png
http://sistia.s35.xrea.com/congame/map.png

んーしかし、ここまで背景色を駆使して表現力が出てくると、>>1の「文字主体」に反しないか気になるところ・・・。