No puedes restaurar una copia de seguridad de una versión más reciente de iOS a una versión más antigua.
Deberías tener una copia de seguridad de iTunes de antes de actualizar iOS. Si no es así, tendrás que extraer manualmente los datos de tu copia de seguridad de iOS 11 y volver a añadirlos a tu dispositivo después de configurar tu iPhone como nuevo con iOS 10.3. La forma de hacerlo depende de cada aplicación: muchas utilizan iCloud, como la copia de seguridad de iCloud en WhatsApp, que te ayudará a hacerlo de forma automática, pero de lo contrario habrá que editar manualmente una copia de seguridad nueva de tu dispositivo iOS 10.3 con una aplicación como iBackupBot . Para las cosas que son incompatibles con iOS anteriores, como su historial de mensajes, esto será incapaz de ser restaurado a la antigua iOS.
Desgraciadamente, todo lo que puedo decir es que se advierte de los peligros de instalar la beta de iOS antes de la aceptación del programa beta. Mi sugerencia es que te aguantes con iOS 11 y sigas actualizando a la última beta a medida que esté disponible, que corregirá muchos de los errores. De todas formas, en el futuro actualizarás a iOS 11.