¿Borrar los archivos de caché de usuario de 32gb o no?

Borrar cualquier caché, a no ser que se haya estropeado mucho, es un parche muy temporal.

En realidad, no perjudica a nada, pero la caché simplemente se rellenará la próxima vez que se ejecute el proceso necesario para almacenar los datos en la caché. La caché está ahí para evitar tiempos de acceso excesivos: está ahí cuando tu máquina la necesita y no en el otro lado del mundo en algún servidor.

Borrarlo reducirá temporalmente tu huella de datos, in extremis si necesitas espacio para una gran descarga/instalación, como es el caso de Xcode, pero no es una solución permanente al hecho de que tu disco esté críticamente bajo de espacio.
La regla general es mantener siempre un 10-15% libre en todo momento, por lo que realmente hay que subcontratar algo a otro almacén.

Para más información, yo echaría un vistazo a ¿Cómo puedo saber qué es lo que se está comiendo poco a poco el espacio de mi disco duro?