MP4Tools funciona para esto. Hace pass-thru de h.264 y flujos de audio, o puedes convertir como quieras. Es gratuito, pero cuesta 5 dólares eliminar la pantalla de aviso que aparece cada vez que abres un archivo, y conseguir operaciones por lotes. No lo he probado con capítulos y subtítulos, pero creo que puede manejarlos bien.
Una advertencia: si tienes archivos con audio AC3 que quieres dejar como segundo canal, tiene una opción para hacer pass-thru de eso, y añadir una pista AAC estéreo, pero no los reordena, lo que puede causar problemas con QuickTime X/iPad/AppleTV.
MP4Tools no funciona para nada por debajo de 10.6, así que MKVtools es una buena alternativa para 10.5. El mismo desarrollador y la misma funcionalidad básica, debería funcionar bien para tus propósitos.
La otra opción es hacerlo manualmente utilizando herramientas de línea de comandos, mkvtoolnix para extraer los flujos del mkv, y MP4Box para volver a empaquetar en un MP4. Si necesitas convertir audio a AAC, ffmpeg es un buen punto de partida, pero hay otras opciones. A menos que necesites un grado de control que MP4Tools no proporciona, yo diría que te mantengas alejado de la línea de comandos. Es útil, pero es más complicado de lo que merece la pena si MP4Tools hace lo que necesitas.
Otra buena herramienta es Subler que es un buen programa de etiquetado. Lamentablemente, no tiene un modo por lotes, pero por lo demás es muy bueno - es mucho más rápido escribiendo las etiquetas que otros programas que he probado. Y siempre que los archivos tengan números de temporada y episodio, la búsqueda automática de etiquetas funciona muy bien.