Todos los clientes de iOS VNC que he probado usan la autentificación regular del VNC. Esto es inseguro debido al límite de 8 caracteres de la contraseña, y así sucesivamente. Algunas aplicaciones como el visor de VNC de RealVNC, tienen paneles de información que informan si la conexión está encriptada, y nunca dice que lo está, incluso cuando giro ambas casillas de verificación en las Preferencias del Sistema en Compartir Pantalla Computer Settings...
de la que no se puede prescindir.
Así que, definitivamente estoy llevando la respuesta aceptada a esta pregunta con un grano de sal.
Parece que la única manera de hacer esto es desactivar completamente la opción de compartir la pantalla nativa de OS X, y luego usar algún otro método para alojar el VNC de forma segura. Sin embargo, esta no es una opción gratuita.