Basta con añadir el comando:
sips -s formatOptions [low|normal|high|best|<percent>] ~/Desktop/AutoScreenCap/$vardate.jpg;
después de la línea de captura de pantalla.
Finalmente se ve así:
while :; do
vardate=$(date +%d\-%m\-%Y\_%H.%M.%S)
screencapture -t jpg -x ~/Desktop/AutoScreenCap/$vardate.jpg
sips -s formatOptions [low|normal|high|best|<percent>] ~/Desktop/AutoScreenCap/$vardate.jpg
sleep 600
done
Utilice sólo una de las sips formatOptions pero sin corchetes. Los corchetes, las comillas angulares simples y las líneas verticales son metainstrucciones que no deben introducirse literalmente. Significan: elija un de la lista y el último es un porcentaje de libre elección (que debería funcionar con o sin el símbolo %).
Utilizando bajo ahorrará alrededor del 55% del espacio de disco necesario, 10% alrededor del 65% y 1% alrededor del 70%. Sin embargo, esto depende del contenido de tu pantalla.