XQuartz es la continuación de X11.app de Apple, que solía ser parte de OS X pero ha sido descontinuado:
X11 ya no se incluye con OS X, pero el servidor y las librerías de cliente de X11 para OS X están disponibles a través del proyecto XQuartz: http://xquartz.macosforge.org. Deberías usar la última versión disponible de XQuartz.
Fuente: Acerca de X11 para Mac - Soporte de Apple
X11 es un sistema de ventanas muy antiguo para Unix que no es necesario para casi nada que hagas en tu Mac. El único uso generalizado de X11 que utilizo es para Wine, que te permite ejecutar software de Windows en tu Mac.
XQuartz es muy similar a X11, pero es un 'esfuerzo comunitario para seguir desarrollando' X11:
Apple creó el proyecto XQuartz como un esfuerzo comunitario para seguir desarrollando y soportando X11 en OS X. El proyecto XQuartz se basó originalmente en la versión de X11 incluida en Mac OS X v10.5. Ha habido múltiples versiones de XQuartz con correcciones, soporte para nuevas funciones de OS X y refinamientos adicionales para la experiencia de X11. Apple es un contribuyente al proyecto XQuartz y ha trabajado para garantizar que X11 funcione como se espera en OS X con las últimas versiones disponibles de XQuartz.
XQuartz no 'estropea' la pantalla Retina. No reemplaza ninguna de las funciones de gestión de ventanas de OS X. $DISPLAY solo se utiliza para XQuartz hasta donde tengo conocimiento.