後來發現xterm本身搭配ttf字型就可以顯示中文了,方便得很,指令是:
export LC_CTYPE=zh_TW.big5
xterm -fa 'AR PL New Sung Mono' -fs 12

要 utf8 的 encoding 也很簡單,指令是:
export LC_CTYPE=zh_TW.utf8
xterm -fa 'AR PL New Sung Mono' -fs 12

中文輸入也沒問題,實在太方便了。
唯一還沒解決的問題是當虛擬桌面在切換時,原本顯示big5碼的畫面,字距會每個字都有間隔,但utf8的就不會,需要再切換幾次才回復,不過已經很好用了。