¿Hay alguna manera de saber qué archivos que he renombrado accidentalmente a *.jpg no son realmente imágenes JPEG?

Puede utilizar file FILENAME para determinar el tipo de datos de un archivo.

$ file image.jpg text.jpg pdf.jpg
image.jpg: JPEG image data
text.jpg:  ASCII text
pdf.jpg:   PDF document, version 1.4

Así que, file *.jpg | grep -v JPEG debería dar una lista de todos los archivos no JPEG con la extensión ".jpg".

Además, suponiendo que haya PDFs puedes renombrarlos de una sola vez

find . -type f \
    -exec sh -c 'file "$1" | grep -q PDF' _ {} \;  \
    -exec sh -c 'echo mv -- "$1" "${1%%jpg}pdf"' _ {} \;

Retire el echo en la segunda línea una vez que haya verificado que la salida se ve bien.