La RAM está ahí para ser utilizada. Es un lugar para que su ordenador guarde los datos más utilizados, de modo que no tenga que buscarlos en el disco, que es mucho más lento (puede ser 50-60 veces más lento). La memoria RAM de tu Mac Mini es 1600MHz DDR3 si se actualiza en el momento de la compra. Este es capaz de transferir unos 12800MB/s. El disco duro, si es físico, es un disco de 5400rpm capaz de 200-300MB/s. Así que quiere que su memoria RAM se utilice al máximo. No te sirve de nada cuando está libre.
Teniendo esto en cuenta, tu problema no es la cantidad de RAM que se utiliza, sino el motivo por el que tu ordenador va lento. La mejor manera de determinar eso es ver qué programas están accediendo al disco duro. Puede lea todo sobre cómo OSX gestiona la memoria en el sitio de soporte de Apple.
Como se señala en esta respuesta del Superusuario :
Mavericks introdujo la "compresión de memoria" que es, más o menos otra capa de intercambio. Las páginas activas ahora se clasifican como inactivas, y luego comprimidas (que pueden aparecer como memoria del Kernel, dependiendo de las dependiendo de las herramientas que se utilicen), y luego se escriben en la memoria de intercambio a medida que aumenta el uso de la memoria. Mavericks también ha dejado de mostrar números separados para activos y en el Monitor de Actividad, ya que resulta no ser una cosa útil útil, sobre todo teniendo en cuenta los conceptos erróneos que lo rodean.
Como han sugerido otras personas, un índice del disco duro o una copia de seguridad completa del sistema serían los principales responsables de que la actividad del disco ralentice tu máquina, así que yo miraría ahí primero. También puedes desactivar la indexación de Spotlight en el Terminal si lo deseas:
Desactivar: sudo launchctl unload -w /System/Library/LaunchDaemons/com.apple.metadata.mds.plist
Habilitar: sudo launchctl load -w /System/Library/LaunchDaemons/com.apple.metadata.mds.plist
Yo probaría a desactivar la indexación temporalmente, a realizar una copia de seguridad completa, cuando haya hecho ambas cosas entonces vuelva a evaluar el rendimiento de su Mac y si sigue teniendo problemas entonces utilice el Monitor de Actividad para ver qué más está realizando E/S de disco.