No es exactamente que puedas borrar las pistas una vez que están en iTunes: es que la configuración por defecto de iTunes deja el archivo original donde estaba y hace una nueva copia en la carpeta de música de iTunes. Así que lo primero que hay que hacer es determinar si es así como está configurado tu iTunes, es decir, si realmente tienes duplicados los archivos. En iTunes, abra las Preferencias (menú "iTunes" --> Preferencias), vaya a la pestaña Avanzadas y compruebe si está marcada la opción "Copiar archivos ".
Si es así, y has estado añadiendo archivos arrastrándolos a iTunes, estás en lo cierto: tienes muchos duplicados por ahí. En ese caso, debes buscar en tu ordenador todos los archivos de música duplicados. Hay muchas aplicaciones que hacen esto busca en Google "mac duplicate remover" o busca en la App Store "duplicate". Personalmente me gusta DupeGuru ME - es muy potente, y te da la opción de revisar todos los supuestos duplicados antes de eliminarlos.
De cara al futuro, iTunes tiene realmente una solución a este problema sólo que está mal implementada. En la carpeta iTunes Media (podría llamarse carpeta iTunes Music, si estás en una versión antigua de iTunes - la ubicación por defecto es Music/iTunes/iTunes Media) hay una carpeta "Añadir automáticamente a iTunes". Todo lo que se ponga en esa carpeta se añadirá a iTunes sin duplicarse. Yo guardo esa carpeta en la barra lateral de mi ventana del Finder para tenerla siempre a mano