No, no es seguro borrar todo en:
~/Library/Developer
Hacerlo podría hacer que pierdas instantáneas de respaldo, cualquier archivo generado para aplicaciones y otras personalizaciones establecidas en el IDE de XCode.
Específicamente dentro de la carpeta Developer deberían haber dos carpetas adicionales.
"Shared" y "Xcode"
Shared contiene documentación que has descargado usando Xcode, dependiendo de cómo trabajes y si tienes internet todo el tiempo quizás no quieras eliminar eso, pero en el peor de los casos puedes simplemente volver a descargarlo, así que si necesitas espacio y no te preocupa la documentación fuera de línea, aquí es donde puedes recuperar algo de espacio.
La carpeta Xcode contiene mucho y potencialmente algunas cosas que no querrías perder.
Archivos
Si utilizas la función de organizador de archivos de Xcode, al eliminar esto eliminarás cualquier archivo que puedas tener.
DeveloperPortal 5.0.db
Contiene información probablemente sobre el uso de iTunes Connect en Xcode, supongo que es desechable, pero es posible que tengas que reconfigurar Xcode para comunicarte con Apple para la distribución en la App Store, etc.
UserData
Generalmente contiene cualquier cambio que hayas hecho en los esquemas de color y temas de fuente de Xcode, así como cualquier cambio que puedas hacer con respecto a las teclas de acceso en Xcode, nuevamente, este contenido debería ser bastante pequeño y probablemente algo que no quieres desechar si pasaste algún tiempo ajustando esos tipos de configuraciones de Xcode, probablemente no quieras desechar esos cambios realizados.
Soporte de dispositivos iOS
Probablemente información relacionada con los dispositivos iOS que has conectado y probado en Xcode, debería ser seguro eliminarlo.
Datos derivados
El contenido de la carpeta DerivedData generalmente es seguro eliminar, es todo el contenido que se genera cada vez que presionas el botón de compilación en un proyecto. Incluye el registro generado y las aplicaciones ejecutables y librerías para todos los productos que compiles en un proyecto.
Instantáneas
Si utilizas las herramientas de instantáneas integradas en Xcode como un medio de control de versiones, eliminar tus instantáneas eliminará la posibilidad de revertir a instantáneas anteriores.
Registros de dispositivos iOS
Seguro de eliminar, a menos que necesites tus registros, tú sabrías si necesitas conservarlos.
Plantillas
Tus plantillas de proyectos personalizadas, como en UserData probablemente no quieras desechar esos cambios realizados.