No se puede volver a asignar el caret y la virgulilla en DefaultKeyBinding.dict

(Lo siguiente se probó en macOS 13.5.)

El acento circunflejo (^) puede escaparse con \\^.

El carácter de tilde (~) puede escaparse con \\~.

Por ejemplo, con el siguiente contenido de DefaultKeyBinding.dict:

{"§" = {
  "i" = {
    "\\^" = ("insertText:", "î");
  };
};}

Al escribir la secuencia § i ^ se producirá el carácter î.

Por qué otras secuencias de escape no funcionan

En mis pruebas, las secuencias de escape como \136 y \U005E no funcionaron porque primero se tradujeron a ^ antes de ser interpretadas como una combinación de teclas, lo que resultó en un comportamiento idéntico a especificar solo ^.

Tu método alternativo $6 no funcionó porque las combinaciones de teclas distinguen entre mayúsculas y minúsculas (¿Sensibles a mayúsculas?), y no es posible escribir "6" mientras se mantiene presionada la tecla Shift. Puedes verificar este comportamiento intentando crear una combinación de teclas con $b, lo cual no funciona (porque la b minúscula no se puede escribir mientras se mantiene presionada la tecla Shift), en comparación con $B, que sí lo hace.

¿Cuál es el comportamiento sin escapar?

El carácter no escapado ^ significa que se mantiene presionada la tecla Control. Si no especificas nada después del ^, entonces el sistema de texto aceptará cualquier entrada mientras se mantenga presionada la tecla Control.

Por ejemplo, con el siguiente contenido de DefaultKeyBinding.dict:

{"§" = {
  "i" = {
    "^" = ("insertText:", "î");
  };
};}

Al escribir la secuencia § i Ctrl+B se producirá el carácter î. Pero lo mismo ocurrirá con § i Ctrl+Option+W, § i Ctrl+Shift+FlechaIzquierda, u cualquier otra combinación de teclas siempre y cuando se mantenga presionado Ctrl.

Lo mismo ocurre cuando el carácter no escapado ~ se especifica en una combinación de teclas por sí mismo, pero en ese caso es cualquier combinación de teclas con la tecla Opción presionada.

Utilidad integrada de macOS para remapear teclas

Esto no formaba parte de tu pregunta, pero podría interesarte hidutil, descrito en https://developer.apple.com/library/archive/technotes/tn2450/_index.html.

Puedes utilizar el siguiente comando para remapear la tecla de la tecla derecha de Opción a § sin usar ningún software de terceros:

hidutil property --set '{"UserKeyMapping":[{"HIDKeyboardModifierMappingSrc":0x7000000E6,"HIDKeyboardModifierMappingDst":0x700000064}]}'

Lo anterior no persistirá después de reiniciar, así que necesitarás una forma de volver a ejecutarlo automáticamente al iniciar. Puedes hacerlo usando un agente launchd. Guarda lo siguiente como ~/Library/LaunchAgents/local.RemapRightOptionToNonUsBackslash.plist:

    Label
    local.RemapRightOptionToNonUsBackslash
    ProgramArguments

        /usr/bin/hidutil
        property
        --set
        {"UserKeyMapping":[{"HIDKeyboardModifierMappingSrc":0x7000000E6,"HIDKeyboardModifierMappingDst":0x700000064}]}

    RunAtLoad