Tengo dos grupos de pestañas diferentes. El primero tiene pequeñas clavijas
El otro grupo de pestañas tiene alfileres grandes
¿Cómo consigo que los pines sean pequeños como el primer grupo de pestañas?
No existe la opción de crear una nueva "ventana normal". 
La primera captura de pantalla es una ventana normal, en realidad no es un grupo de pestañas.
La segunda captura de pantalla es un grupo de pestañas etiquetadas.
Las clavijas se comportan de forma diferente en estos dos escenarios, como has observado. No parece haber forma de cambiar el comportamiento/apariencia de estos pines.
AppleAyuda es una comunidad de usuarios de los productos de Apple en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.
