Sí, una vez eliminados, sólo es factible que alguien con su contraseña pueda acceder a los datos.
Sin embargo, si el atacante se hace con tu ordenador mientras está en funcionamiento, y luego utiliza un ataque por USB para forzar un inicio de sesión como tú o crear una nueva cuenta de administrador (Root), sin que el sistema se apague o reinicie, entonces tus datos están en riesgo. Es posible, pero actualmente es difícil.
Otro mecanismo es utilizar una de las nuevas técnicas de "Cold Boot Tamper" que requieren que el atacante comprometa físicamente su sistema sin su conocimiento, engañándole para que le dé su contraseña. Obviamente, el problema para el malhechor es que necesitaría tener acceso continuo y subrepticio a tu sistema. Aquí hay un enlace a un artículo reciente sobre esta técnica, Atacar el proceso de arranque de BitLocker que es similar a uno hecho para el Mac para una reciente conferencia de seguridad.
Todo esto se reduce a la necesidad de que los usuarios hagan uso de múltiples capas de seguridad, incluida la seguridad física, para dificultar tanto el trabajo del atacante que disuada de llevar a cabo el 99,9999% de los ataques.