Lo primero y más importante, Bing y Google son tus amigos. Dedica tiempo a cada uno de ellos en tu búsqueda de conocimiento.
Basta con decir que hay TONS de información relacionada con lo que has preguntado, aquí tienes algo de información para empezar:
¿Qué es un .dmg?
Un archivo .dmg es un Imagen de disco de Apple . Básicamente, se trata de un archivo que parece y actúa como un disco duro o un CD/DVD. De la misma manera que puedes coger un DVD de Adobe Photoshop e insertarlo en tu Mac y que se abra, un .dmg hará lo mismo. Otra forma de verlo es como un disco "virtual".
¿Qué es un archivo "zip"?
A archivo zip es un archivo que ha sido comprimido (hecho más pequeño) para ahorrar espacio y facilitar su transporte (como el correo electrónico). Puede ser un archivo, o muchos archivos en un archivo zip, pero la clave aquí es que está comprimido.
¿Qué es un archivo "tar"?
A archivo tar o más comúnmente conocido como Tarball, es una colección de ficheros en un único archivo. Una forma más fácil de pensar en esto es si tuvieras una colección de música ordenada por álbumes. Si consigues una caja grande y segura para guardar cada uno de tus álbumes, entonces la caja sería tu Tarball.
Convenientemente, puedes combinar la compresión y el alquitranado de los archivos de manera que termines con un archivo comprimido. Estos serán archivos que se parecen a .tgz En este caso fue "alquitranado" y "comprimido".
En cuanto a "qué hacer a continuación", esto se reduce a ¿qué quiere lograr?
Por ahora, para que puedas conocer mejor Unix y su relación con OS X, existen libros como Aprender Unix para OS X y Vídeos de YouTube
Espero que esta respuesta te haya servido para empezar en la dirección correcta.