No hay manera de evitar esto [sin comprar hardware nuevo].
La latencia es inherente tanto en la entrada como en la salida: el bluetooth considerablemente más que el USB cableado.
La forma en que se evita esto en configuraciones [semi] profesionales es usando una interfaz USB con una conexión directa directamente de vuelta al auricular [cableado] del usuario, evitando por completo el viaje de ida y vuelta a través de la computadora.
Usando algo como GarageBand o Logic, puedes cambiar a un modo de baja latencia, que evita los plugins de alta latencia que se están utilizando actualmente. Aun así, nunca podrás lograr una latencia cero mediante este método.
Cuando se graba en cualquier tipo de DAW, la latencia de entrada se compensa, por lo que el sonido una vez grabado se coloca correctamente en tiempo. No puedes hacer esto al vuelo, solo para la reproducción.
Sin hardware externo, tu menor latencia sería del micrófono USB al auricular cableado a través del DAW. En la mayoría de los DAWs puedes cambiar el tamaño del búfer, un búfer más pequeño == menor latencia. El límite inferior de esto es cuando la computadora ya no puede proporcionar suficiente potencia de procesamiento y se producirán interrupciones.
[Una rápida búsqueda en Google me dice que el tamaño del búfer no se puede ajustar en las versiones actuales de GarageBand, desafortunadamente]
Parte del problema de tener un Blue Yeti u otro micrófono USB similar es que no puedes enrutarlo directamente a través de una interfaz USB, debes enviar el micrófono a través de la Mac. Un micrófono con cable XLR se conectaría a tu interfaz USB, permitiendo así que la Mac sea eludida.
Puedes conseguir una interfaz USB básica de nivel de entrada [pero perfectamente utilizable] por alrededor de $£€30. Siempre sugeriría buscar en una tienda de música real en vez de en eBay, ya que hay muchos dispositivos aún más baratos que no son adecuados para la tarea. Una tienda de música grande y fiable con base en la UE es http://thomann.de/gb/usb_audio_interfaces.html
Behringer generalmente es aceptado como el 'sótano funcional' de los fabricantes de audio profesionales.