No se solicita la frase de contraseña ssh

Tengo dos llaves ssh, uno de git (gitlab) y uno para un servidor. Mi ~/.ssh/config está :

Host private
  HostName x.x.x.x
  User username
  IdentityFile ~/.ssh/server

Host git.example.com
  IdentityFile ~/.ssh/gitlab

Sin embargo, cuando me intente ssh username@x.x.x.x o comandos de git sólo tengo un mensaje Permission denied (public key). Tengo que hacer ssh-add ~/.ssh/server y ssh-add ~/.ssh/git con el fin de utilizar las teclas.

¿Cómo puedo tener una indicación para introducir la contraseña la primera vez que se utiliza la clave en lugar de utilizar ssh-add? Idealmente me gustaría tener que introducir mi contraseña después de cada reinicio en lugar de tener la contraseña guardada.

Estoy en macOS Mojave 10.14.6 y yo uso iTerm2 con oh-my-zsh.

EDITAR : Después de la excelente respuesta de wisbucky también probé :

Host private
  HostName x.x.x.x
  User username
  IdentityFile ~/.ssh/server
  UseKeychain yes
  AddKeysToAgent yes

Host git.example.com
  IdentityFile ~/.ssh/gitlab
  UseKeychain yes
  AddKeysToAgent yes

y

Host *
  UseKeychain yes
  AddKeysToAgent yes

para el ~/.ssh/config archivo pero sin resultados...