X11 en general no es realmente "obsoleto".
Se puede comparar con Wayland, pero Wayland tiene sólo muy recientemente se ha convertido en algo que puede ser utilizado en una instalación estándar de Linux, por ejemplo. Todavía tiene los bordes ásperos y casos de uso que no están implementadas en todo - por lo que muchas de las distribuciones de Linux ha X11 como el valor predeterminado, o si están predeterminados a Wayland tienen una opción para usar X11 lugar.
Para conectar con Linux VMs con entornos de escritorio como XFCE y LXDE, aun así, recomendaría X11 como la mejor opción.
Usted puede utilizar XQuartz, o usted podría utilizar por ejemplo el paquete xorg-server de MacPorts, que tiene una versión más reciente de básicamente el mismo software que XQuartz).
Tal vez una mejor alternativa sería el uso de la X2Go (gratis) o NoMachine NX (comercial) de software para acceder a su sistema X11 de macOS.
Otra opción sería el uso de VNC. Muchos clientes VNC existe para Mac, y Linux tiene un software como el x11vnc que expone X11 software (tales como XFCE y LXDE ambientes) a través de VNC. El protocolo VNC funciona sustancialmente diferente que el protocolo X, y yo no lo recomiendo si usted está usando esto sobre una base más permanente, como usted probablemente verá una cierta degradación de la calidad de los gráficos, y que se perdería la capacidad individual de aplicaciones X11 aparecen como ventanas individuales en macOS.
Considerando Wayland en macOS. Usted realmente no necesita un cliente como usted escribe, es el servidor que usted está después. Sin embargo, como usted está tratando de acceder a un Linux VM a través de una red (aunque sea de forma local en la misma máquina) - esto no es soportado nativamente por Wayland. El estándar de Wayland el programa de instalación requiere que los clientes (aplicaciones individuales) y el servidor (lo que en realidad se encarga de la composición de todas las aplicaciones en la muestra) para estar en el mismo equipo. Hay algunos, muy nuevo, intentos de acceder a Wayland de forma remota a través de la red -, pero en la actualidad que en realidad acaba de funcionar como un servidor VNC haría. I. e. no hay ninguna ventaja de usar Wayland aquí.