Ese no es el nombre de la biblioteca importable.
Hay documentación completa disponible aquí, que describe las bibliotecas disponibles.
La principal biblioteca a la que querrás acceder al usar fontTools para ingeniería de fuentes probablemente sea fontTools.ttLib.ttFont, que es el módulo para manejar fuentes TrueType/OpenType. Sin embargo, hay muchas otras bibliotecas en la suite fontTools.
Ejemplo:
$ python3 -m venv test
$ cd test
$ . bin/activate
(test) $ pip3 install fontTools
Collecting fontTools
Downloading fonttools-4.50.0-cp311-cp311-macosx_10_9_universal2.whl.metadata (159 kB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 159.4/159.4 kB 3.7 MB/s eta 0:00:00
Downloading fonttools-4.50.0-cp311-cp311-macosx_10_9_universal2.whl (2.8 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 2.8/2.8 MB 24.6 MB/s eta 0:00:00
Installing collected packages: fontTools
Successfully installed fontTools-4.50.0
$ python3
Python 3.11.8 (main, Feb 10 2024, 20:48:19) [Clang 14.0.3 (clang-1403.0.22.14.1)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import fontTools.ttLib.ttFont
>>> exit()
(test) $
Al leer la fórmula, parece que todo lo que configura es para que funcionen los ejecutables de línea de comandos que forman parte de fonttools, no agrega nada a site-packages. Homebrew Python 3.12+ sigue PEP 668. Así que vas a necesitar instanciar un entorno virtual y luego instalar el paquete allí con pip3, como mostré.
(Edité mi ejemplo para cambiar mi invocación de alias para crear el entorno virtual al comando real a usar en la línea de comandos)
