Por lo que dijo @wisbucky, tienes que tenerlo buscando la versión correcta. Según los documentos aquí "tener bibliotecas compartidas FFmpeg 2.2.x o 2.3.x compatibles con Audacity de 64 bits" es la versión requerida (publicada en 2014), y la última versión de ffmpeg actualmente soportada en homebrew es la 4.4.1. La versión más nueva no es compatible, sin embargo el desarrollo para soportarla está en progreso.
En cuanto a la compatibilidad con ffmpeg 4.x, recientemente se fusionó con el master, pero luego se revirtió debido a problemas de regresión y de licencia, como se puede leer aquí , aquí y aquí que parece que se ha estancado decepcionantemente en mayo de 2021, ya que no ha habido más commits en ese código y no veo ningún ticket abierto relacionado con este trabajo en otro lugar.