Sí, en el servidor de OSX 10.8 la alternativa a la AD se llama Open Directory. Hay un recurso fantástico aquí;
https://help.apple.com/advancedserveradmin/mac/10.8/
Querrás leer sobre el Administrar los usuarios pero, en resumen, puedes importar todos tus datos de AD en el Open Directory para que tanto las Macs como las PCs puedan autenticarse contra tu servidor OSX. Como ya tienes un NAS, también puedes almacenar todos los directorios de usuarios allí (carpetas de inicio / mis documentos).
Es una tarea complicada, así que probablemente sea demasiado largo para responder aquí, pero ese recurso de Apple te da todo lo que necesitas saber.