Como se indica en el comentario, probablemente tenga algo que ver con el WindowServer.
Ahora, con respecto a la otra parte de la pregunta:
OS X presenta el uso de la memoria de una manera diferente en comparación con, por ejemplo, MS Windows. Por ejemplo, si sales de una aplicación en OS X, su memoria está disponible para otras aplicaciones, pero no se "borra" (por lo que si vuelves a lanzar la aplicación sería bastante más rápido en la mayoría de los casos).
Mi MBP muestra actualmente 7,88 GB ("Memoria utilizada" nuestra de 8GB en total), pero todo funciona tan bien como después de reiniciar (la presión de la memoria es mínima).
Le sugiero que lea el Cómo utilizar el Monitor de Actividad especialmente la sección sobre Memoria donde podrá encontrar información adicional.
En resumen, es mejor que compruebes el gráfico de indicación de la "presión de la memoria" para tener una idea más precisa del estado actual de tu sistema.