Los permisos para eliminar un archivo de un directorio no están relacionados con el archivo, sino con el directorio en el que se encuentra el archivo. Tu grupo, o todo el mundo, tiene permisos de escritura en el directorio donde puedes eliminar el archivo.
En el ejemplo de abajo, hay un archivo que sólo Root puede leer/escribir; pero, el usuario "administrator" es el dueño del directorio, y tiene permisos rwx. Otro usuario ("mi_usuario") no puede eliminar el archivo, pero el "administrador" sí.
sh-3.2# ls -lFa
total 0
drwxr-xr-x 3 administrator wheel 102 Jan 28 11:12 ./
drwxrwxrwt 18 root wheel 612 Jan 28 11:12 ../
-rw------- 1 root wheel 0 Jan 28 11:12 a.txt
sh-3.2# su my_user
bash-3.2$ rm a.txt
override rw------- root/wheel for a.txt? y
rm: a.txt: Permission denied
bash-3.2$ exit
exit
sh-3.2# su administrator
bash-3.2$ rm a.txt
override rw------- root/wheel for a.txt? y
bash-3.2$