Sí, se puede, pero hay que tener en cuenta algunas cosas importantes.
En primer lugar, debo señalar que no soy abogado ni experto en propiedad intelectual. Esta es sólo mi opinión, tan informada como puedo hacerla.
Que yo sepa no hay ninguna prohibición en las normas de la App Store sobre lo que se hace con el código fuente. El principal problema surge cuando hay un conflicto entre la licencia del código fuente (es decir, la GPL) y la App Store. Este fue el problema con la aplicación VLC a la que se refirió Ian C en los comentarios, en particular con respecto a otras bibliotecas de código abierto utilizadas en una aplicación.
Otro problema es cuando no todo el código te pertenece, es decir, otros han contribuido y tienen derechos de autor sobre partes del código. No puedes enviar a la App Store algo sobre lo que no tienes derechos, así que todos los propietarios del código del proyecto deben estar de acuerdo.
Dicho esto, si estamos hablando de un programa que has desarrollado completamente por tu cuenta, sin código de otros proyectos o personas, entonces eres libre de hacer con él lo que quieras: puedes publicarlo en la App Store, licenciarlo bajo lo que quieras (la licencia se aplica a lo que otros hacen con él, no a ti).
Hay algunas aplicaciones de código abierto en la tienda de aplicaciones, puedes encontrar una lista parcial aquí