Mac OS X 10.5 no tiene modo de recuperación. En las versiones 10.0 a 10.6, se obtenía el equivalente al modo de recuperación arrancando desde el DVD de instalación. La versión 10.7 no venía en un DVD (se descargaba a través de la App Store), por lo que se añadió el modo de recuperación para sustituir la opción de arranque desde el DVD.
Si tienes el DVD de instalación de tu iMac, insértalo y mantén pulsado C al encender el iMac. Si no lo tienes... bueno, si tienes otro ordenador con una grabadora de DVD-R, podrías encontrar una imagen del DVD apropiado ( Archive.org tiene algunos ) y quemarlo.
Nota: dependiendo del modelo específico de iMac que tenga, podría necesitar un disco específico para el modelo... y algunas de las imágenes disponibles podrían ser específicas para el modelo otros modelos. Si puede encontrar tu modelo específico de iMac en everymac.com En la página web de Mac OS X, aparecerá una lista con la versión de Mac OS X preinstalada originalmente; si es la 10.4 o anterior, querrás un DVD de instalación genérico. Si es la 10.5, es posible que necesites un instalador específico para el modelo.
(Por cierto, asegúrate de no adquirir la versión de servidor de Mac OS X. Entre otras cosas, requiere un número de serie).