¿Cómo funciona WireShark en OS X? ¿Con qué procesos interactúa?

Wireshark utiliza los dispositivos /dev/bpf*.

Del archivo readme.txt de instalación de Wireshark (que describe las modificaciones del sistema):

/Library/LaunchDaemons/org.wireshark.ChmodBPF.plist. Un demonio de lanzamiento que ajusta los permisos en los dispositivos de captura de paquetes del sistema (/dev/bpf*) cuando se inicia el sistema.

Los dispositivos bpfx son mecanismos diseñados para inspeccionar el tráfico de red (es decir, exactamente el caso de uso de WireShark).

O como hombre bpf dice:

El filtro de paquetes Berkeley proporciona una interfaz bruta a las capas de enlace de datos de forma independiente del protocolo. Todos los paquetes de la red, incluso los destinados a otros hosts, son accesibles a través de este mecanismo.

El filtro de paquetes aparece como un dispositivo especial de caracteres, /dev/bpf. Tras abrir el dispositivo, el descriptor de fichero debe vincularse a una interfaz de red específica con el ioctl BIOCSETIF. Una interfaz dada puede ser compartida por múltiples oyentes, y el filtro subyacente a cada descriptor verá un flujo de paquetes idéntico.