¿Cómo se llama el servidor de ventanas, el gestor de ventanas y el entorno de escritorio de OSX?

MacOS tiene implementaciones del protocolo X11 como las que estás acostumbrado en Linux. Se llama XQuartz, y está basado en el mismo Xorg que encontrarás en Linux.

Puedes utilizar muchos de los mismos entornos de escritorio sobre MacOS y XQuartz que sobre Linux. Son exactamente los mismos programas, sólo que recompilados en MacOS.

Los términos para estas cosas en MacOS son los mismos que en Linux, ya que se trata de la misma tecnología (es decir, construida sobre el protocolo X11).

Wayland es un protocolo de visualización diferente al X111, y actualmente no es compatible con MacOS.

Sin embargo, ten en cuenta que las "aplicaciones nativas de MacOS" no utilizan el protocolo X11, Xorg ni nada parecido. En su lugar, utilizan los sistemas nativos suministrados por Apple.

Aquí el servidor de ventanas es el proceso llamado simplemente "WindowServer" en una instalación por defecto de MacOS.

El "Entorno de Escritorio" no tiene una única contrapartida en MacOS, sino que es una combinación de múltiples partes de MacOS, sobre todo WindowServer, Dock y quizás Finder.

En cuanto a los Aqua, Quartz y XQuartz:

• Quartz es una biblioteca de renderizado de texto y gráficos en 2D. También hay un compositor acelerado por GPU Quarts En Linux, la biblioteca 2D homóloga es Cairo o similar.

• XQuartz es simplemente un servidor X11 construido sobre la biblioteca de renderizado Quartz.

• Aqua es el nombre de la interfaz gráfica de usuario de Apple. Define el aspecto de los widgets/controles, los menús, etc. La contrapartida en Linux sería algo como GTK y Gnome, o QT y KDE.