No he utilizado esta aplicación, pero aparentemente puedes hacer eso (y mucho más) en SwitchResX, disponible aquí: http://www.madrau.com/indexSRX4.html
En esta página dice que "SwitchResX también puede bloquear resoluciones no utilizadas": http://www.madrau.com/functions/custom/custom.html, y como el software permite crear ajustes de pantalla para aplicaciones individuales (descrito aquí: http://www.madrau.com/functions/app/app.html), quizás incluso puedas desactivar ciertas resoluciones solo en ese juego y otras aplicaciones relevantes.
SwitchResX es shareware y cuesta 14 USD. Puedes probarlo gratis durante 10 días.
Si deseas desactivar manualmente resoluciones disponibles, edita este archivo
/System/Library/Frameworks/IOKit.framework/Versions/A/Resources/IOGraphicsProperties.plist
Allí hay una sección que se ve algo así:
gtf-resolutions
640
800
1024
1280
50332928
67110144
1344
1400
1600
1920
100665344
2304
Estos son todos anchos, la altura es calculada por el sistema. No puedes borrar la resolución máxima, no está listada en este archivo pero viene del monitor mismo.
Añade o elimina resoluciones de esa sección.
No he probado esto yo mismo, y lo haces bajo tu propio riesgo.
Nota: Para editar este archivo, debes iniciar sesión como root, editarlo usando sudo
en el Terminal y un editor basado en terminal como vi, o usar un editor que desbloquee el archivo por ti como TextWrangler. O, y esto podría ser la mejor forma, copia el archivo al Escritorio, edítalo, y luego arrástralo de vuelta a la ubicación correcta manteniendo presionada la tecla Opción (se te pedirá tu contraseña de Administrador).
Podría ser buena idea crear una copia de seguridad del archivo original antes de hacer cualquier cambio.