Los correos electrónicos se mantienen en el servidor.
Esto es correcto. Ya sea que estés usando un cliente webmail (piensa en la interfaz web de GMail) o un cliente local como Apple Mail, estos son simplemente clientes locales que acceden al servidor.
Parece que también se mantienen localmente, pero no estoy seguro si es una caché temporal.
Se almacenan en caché de forma local. Esto permite ver tus correos electrónicos sin conexión; pero no se almacenan sin conexión. Recuerda, el servidor se considera como el maestro aquí. Si la cuenta se bloquea o se termina, o si se indica que un mensaje ya no está accesible, esa caché local no servirá de nada.
¿Hay alguna forma de asegurarse de que TODOS los correos electrónicos (y adjuntos) se guardarán en mi computadora local?
Crea una carpeta local (fuera del servidor) a la que quieras asegurarte de que se archive de forma permanente. Algunos clientes de correo (como Outlook) tienen reglas almacenadas localmente en las que puedes hacer que todos los mensajes entrantes y salientes se copien en esa carpeta de archivo.