La mejor manera de controlar el tamaño del texto sería convertir el archivo a texto/markdown. De esta forma, tendrías un control total sobre el tamaño.
En realidad, depende de lo hábil que seas en la edición de inDesign o en la simplificación del formato para ver si puedes ajustar las cosas allí para aislar la parte de la conversión nativa -> ePub que se está desbocando.
Si estás bien ahí, adopta un enfoque más sencillo para arreglar las cosas. Si no tienes aptitud o tiempo para aprender inDesign o limpiar el formato del documento (he visto algunos archivos de PageMaker que fueron trasladados a inDesign que son increíblemente enrevesados y necesitaron ser desechados y empezar de nuevo desde el texto).
Siento no poder ser más específico. Si quieres hacer una pregunta de seguimiento con detalles específicos sobre qué elemento se está convirtiendo o puedes subir un caso de prueba mínimo, alguien podría tener una mejor idea sobre la prevención de la mala conversión de un formato a otro.