El autoOpen
es una simple bandera que se debe establecer en la cabecera del archivo.
Los detalles del formato del archivo están ahí: http://www.dubeyko.com/development/FileSystems/HFSPLUS/hexdumps/hfsplus_volume_header.html
Se explica que la compensación 0x58 de la sección de "cabecera" debe ajustarse a un Int32 que representa el ID del directorio que debe abrirse (0 para ninguno, 1 para el padre de Root, 2 para Root, 0xXXXXXXXX para el directorio con ID 0xXXXXXX).
Tampoco hay que olvidar que la propia cabecera comienza en el offset 1024 (0x400) por lo que el offset total debe ser 0x0458 .
Ha probado el siguiente comando con éxito:
printf '\x00\x00\x00\x02' | dd conv=notrunc of=$dmg_file bs=1 seek=$((0x0458))
donde $dmg_file es su archivo dmg.