La forma estándar de enfocar estos términos es decir que una "aplicación" es un programa específico y estático en el almacenamiento. Es un trozo de código almacenado en un disco duro, un CD-ROM o cualquier otro lugar.
Por otro lado, un "proceso" es una instancia específica de un corriendo programa. Es decir, es registrado por el sistema operativo como ejecutado o capaz de ejecutarse cuando el sistema operativo lo considere oportuno.
Si tomas por ejemplo Calculator.app, es una sola aplicación. Sin embargo, puedes tener varios procesos de Calculadora si inicias el programa varias veces.
Como escribió chananelb, también es posible tener procesos que no son "sólo" aplicaciones ordinarias que se han iniciado. Podrían ser, por ejemplo, procesos del kernel, o simplemente procesos ordinarios que generen subprocesos para realizar tareas específicas.
En cuanto a los servicios, la respuesta de I chananelb te lleva en la dirección equivocada. Su respuesta te habla de lo que se llama "Servicio" en Mac OS X... pero tú preguntaste por lo que se llama "Servicio" en Windows.
El equivalente a un servicio de Windows es un demonio en Mac OS X (y otros sistemas derivados de Unix).
Los daemons se clasifican normalmente por ejecutarse en "segundo plano", es decir, sin interacción directa del usuario a través de una interfaz gráfica o no gráfica. Sin embargo, la distinción es un poco borrosa, ya que un Daemon podría, por ejemplo, tener una interfaz web para la interacción con el usuario.
Los daemons en Mac OS X son controlados por el programa launchd, que es responsable, por ejemplo, de iniciar los daemons en el arranque, y de permitir al usuario iniciar y detener los daemons a petición.
