Error de inicio de sesión remoto: "DISPLAY no está configurado"

¿Cómo configurar las X para poder iniciar sesión en el iMac de forma remota y ejecutar aplicaciones gráficas?

Cuando me conecto me sale esto:

servername:~ loginname$ xterm
xterm: Xt error: Can't open display: 
xterm: DISPLAY is not set
servername:~ loginname$ echo $DISPLAY

servername:~ loginname$  launchctl list | grep xquartz 
-   0   org.macosforge.xquartz.X11.5840
5342    -   org.macosforge.xquartz.startx

P.D. He instalado XQuartz 2.7.5 (xorg-server 1.14.4) y lo uso con éxito desde el propio iMac desde hace muchas bocas.
Tengo OSX 10.9.4.