El comportamiento que describes es incoherente. En mi experiencia, a veces el podcast continúa y a veces el dispositivo iOS cambia a la aplicación de música. Creo (pero no lo he confirmado) que esto depende de si la aplicación de podcast, ya sea de Apple o de terceros, sigue considerándose activo por el sistema. Cuando ocurre, abro mi aplicación de podcast y se reanuda la reproducción del último podcast (a menos que lo esté transmitiendo, en cuyo caso tengo que darle al play).
Como se trata de un problema de gestión de la memoria, no hay forma de forzar el comportamiento que buscas utilizando una aplicación de podcast dedicada. Sin embargo, si desinstalas Podcasts de Apple puedes seguir descargando podcasts mediante iTunes y puedes trasladarlos a tu dispositivo iOS con una lista de reproducción. Esta solución no es la ideal, ya que, por ejemplo, no se pueden descargar podcasts nuevos directamente al dispositivo.
Actualización de iOS 7: Tengo entendido que en iOS 7 ya no se pueden escuchar los podcasts desde el Música aplicación. Tal vez una mejor gestión de la memoria y la multitarea proporcionen reanudación de la reproducción de forma más consistente, pero parece que será necesario un cliente de podcast (o escuchar a través de Safari).
