No creo que MacOS se pueda configurar así de forma nativa.
A diferencia de otros sistemas operativos, MacOS es jerárquico en la forma en que Windows "pertenece" a un objeto de aplicación. Una aplicación está en "primer plano" (es decir, es el objeto más frontal, con el foco), y puede tener cero, una o más ventanas abiertas.
Si cierras una ventana, sigues estando "en" la aplicación, aunque no haya ninguna ventana.
(Excepto en el caso de las aplicaciones que sólo pueden tener una ventana, que sí salen al cerrar).
Es posible superponer las ventanas de diferentes aplicaciones; aunque normalmente, al cambiar a una aplicación aparecerán todas sus ventanas al frente.
Suponiendo que MacOS pudiera cambiar a otra aplicación cada vez que se cierra una ventana de documento, hay muchos escenarios en los que esto sería profundamente molesto. Y si tienes otras aplicaciones abiertas, ¿cómo va a saber MacOS qué otra aplicación quieres?
Si quieres cambiar al Finder, entonces cambia al Finder. Si quieres cerrar una ventana dentro de una aplicación, hazlo. Hay Mission Control, el Dock, Comando-Tab, el nuevo Stage Manager, y varias otras formas de gestionar aplicaciones y Windows.