Si el emacs que estás ejecutando en Linux crea una nueva ventana entonces lo estás ejecutando como una aplicación X11 (una aplicación GUI). Normalmente emacs en Linux y otros sistemas sólo se ejecuta en el terminal que tienes abierto (como una aplicación de consola).
La versión de emacs que viene con OS X está compilada sólo para ejecutarse en una terminal. Para replicar la ejecución en una nueva ventana necesitas otra versión de emacs. Yo usaría Aquamacs que es un emacs modificado para actuar como una aplicación Cocoa normal de OSX. El estándar Emacs de GNU tiene una versión de la aplicación Cocoa que por defecto es más similar al comportamiento en otras plataformas y está disponible en versión binaria aquí .
También se pueden conseguir versiones para X11. Aquí hay una lista exhaustiva de los tipos disponibles de emacs para OS X .