Parece que esto invoca la función 'App Exposé', que muestra todas las ventanas de una sola aplicación en el estilo de visualización de Mission Control.
Está disponible por defecto con un deslizamiento de cuatro dedos hacia abajo en el trackpad; eso invocará esta pantalla para la aplicación actualmente activa, o si lo haces mientras pasas el ratón por encima del icono de una aplicación en el Dock, para esa aplicación en concreto. Puede cambiar esto en Preferencias del Sistema → Trackpad → Más gestos:
Como mencionó @user3439894 en los comentarios, también puedes hacer clic con el botón derecho en un icono del Dock y seleccionar "Mostrar todas las ventanas" en el menú contextual:
Otra opción es crear un atajo de teclado o de ratón para el comando "Mostrar ventanas de aplicaciones" en Preferencias del Sistema → Mission Control: