No es realmente sorprendente. Apple realiza frecuentemente cambios de formato/base de datos con las actualizaciones. Los archivos resultantes casi nunca son convertibles "hacia abajo", simplemente no hay ninguna disposición para poder hacer eso.
Sin embargo, parece que existe una tarjeta de "salida de la cárcel" para Fotos, utilizando iCloud como intermediario. Hay una larga [y anticuada] explicación en Cómo bajar una fototeca a una versión anterior de Fotos con la ayuda de Fotos de iCloud que nunca he probado, así que no puedo comentar si seguirá funcionando desde Big Sur hasta Mojave.
Puedo confirmar que borrando la biblioteca de Big Sur, creando una nueva Biblioteca de Fotos, convirtiéndola en tu Biblioteca del Sistema y activando Fotos de iCloud se descargará una nueva biblioteca compatible con Mojave.
Esto subraya la necesidad de una sólida estrategia de copias de seguridad, para evitar problemas como éste en el futuro. Personalmente, no sólo guardo copias de seguridad de todo, sino que antes de hacer cualquier actualización importante del sistema operativo, clono toda mi unidad de arranque como "cinturón y tirantes" por si decido volver atrás. A menudo se producen problemas al tratar de "bajar" con Time Machine, por lo que considero que este es un paso vital.