EDIT: Lo siguiente es una solución parcial. Funcionará a nivel de shell como se espera, pero en Finder se puede evitar con el si el usuario es admin o conoce el id de usuario y contraseña de admin. Vea los comentarios más abajo...
Consulte la página de manual de chmod
y encontrarás...
The following permissions are applicable to directories:
list List entries.
search Look up files by name.
add_file
Add a file.
add_subdirectory
Add a subdirectory.
delete_child
Delete a contained object. See the file delete permission
above.
Así que el comando que estás buscando es...
$ chmod +a "staff deny add_subdirectory" test
para prohibir a cualquier persona del personal del grupo la creación de subcarpetas y, a continuación, las pruebas deberían darle
$ mkdir test/subtest
mkdir: test/subtest: Permission denied
Mientras que la creación de un archivo...
$ touch test/blah.txt
$
no es un problema. También debería ver que Finder tendrá la opción de Crear Carpeta desactivada también.
HTH