¿Puedo cambiar el nombre de la biblioteca de iTunes con AppleScript?

Sí, puedo. Puedo automatizar las acciones de teclado del ratón necesarias mediante el scripting de Eventos del Sistema. Como la parte de AppleScript de mi shell script se hizo cada vez más grande, lo convertí en un AppleScript y llamé al shell desde allí:

-- iTunes has to be closed
tell application "iTunes"
    activate
    quit
end tell

tell application "Finder" to mount volume "smb://imacuser@iMac.local/imacuser"

set results to do shell script "rsync -av --force --delete --size-only /Volumes/imacuser/Music/iTunes/ /Users/miniuser/Music/iTunes/"
-- display dialog results -- uncomment this if you want to have a look

-- Now here comes the renaming part
tell application "iTunes" to activate
tell application "System Events"
    tell process "iTunes"
        -- Open "Preferences..."
        click menu item 3 of menu 1 of menu bar item 2 of menu bar 1
        -- Click "General"
        click button 1 of toolbar 1 of window 1
        -- Rename Library   
        delay 2
        set value of text field 1 of group 1 of window 1 to "Mac mini Lib"
        delay 2
        -- Click "OK"
        click button 1 of window 1
    end tell
end tell