2 votos

¿Cómo determinar el espacio desperdiciado por un tamaño de fragmento grande en una matriz RAID en macOS?

Trabajando en un sistema que fue creado con una matriz RAID de macOS con un tamaño de segmento de 256k para los miembros. La unidad originalmente iba a ser utilizada para edición y almacenamiento de video e imágenes, pero ahora se ha convertido en una unidad multipropósito que tiene una gran cantidad de archivos más pequeños en ella. ¿Cómo puedo determinar la cantidad de espacio desperdiciado en la unidad que podría ser causado por este gran tamaño de segmento?

Si es demasiado considerable, creo que moveré estos archivos a otra unidad y recrearé la matriz con un tamaño de segmento más pequeño acorde con el uso actual.

4voto

Jose Chavez Puntos 645

El tamaño del fragmento de tu matriz RAID no determina cuánto espacio en disco usa un solo archivo. Por lo tanto, en realidad no se desperdicia espacio por tener un tamaño de fragmento más grande que el óptimo.

La cantidad de espacio desperdiciado en cambio está determinada por el tamaño de bloque del sistema de archivos, que es independiente del tamaño de fragmento de la matriz RAID. En macOS, típicamente estás viendo APFS, que utiliza bloques de 4096 bytes - o HFS+ que utiliza sectores de 512 bytes que generalmente se agrupan en bloques de asignación de 4096 bytes (a menos que tengas una unidad RAID de más de 16 TB, entonces es más grande).

Puedes determinar el tamaño de bloque de asignación ejecutando este comando en la Terminal (cambia el nodo del dispositivo para que coincida con tu configuración de disco):

diskutil info /dev/disk2s1

Desafortunadamente, han circulado muchos "mitos" e información incorrecta sobre los tamaños de fragmento de RAID, ya que se ha visto como una forma de "artes oscuras" elegir el tamaño correcto. Es esencialmente difícil elegir el tamaño de fragmento óptimo de una larga lista de opciones sin hacer pruebas con los datos reales y las operaciones realizadas en ellos.

Sin embargo, en tu caso realmente tienes el tipo de configuración que deseas. Si tienes muchos archivos pequeños, en realidad quieres un tamaño de fragmento grande en tu RAID. Si tienes pocos archivos grandes, quieres un tamaño de fragmento pequeño en tu RAID.

Desafortunadamente, algunos han escuchado el consejo contrario. Eso viene del hecho de que si tienes un solo disco, quieres lo opuesto - es decir, para almacenar pocos archivos grandes quieres bloques grandes, y para almacenar muchos archivos más pequeños, quieres bloques pequeños. Esto se debe a que quieres minimizar el número de operaciones de bloque por segundo con archivos grandes para optimizar el rendimiento, mientras que para archivos más pequeños, quieres optimizar para la latencia teniendo bloques más pequeños y por lo tanto más operaciones por segundo.

Sin embargo, en un sistema RAID con muchos discos - las cosas son diferentes por supuesto. Cuando trabajas con archivos grandes, quieres distribuir la carga de trabajo de manera uniforme en muchos discos para optimizar el rendimiento. Esto significa fragmentos relativamente pequeños para que puedas hacer que muchos discos trabajen para ti a la vez - cada uno con su propio fragmento pequeño. Por otro lado, cuando trabajas con archivos pequeños, quieres asegurarte de que la mayoría de las operaciones puedan ser completadas por un solo disco, para obtener la latencia más baja posible. Esto significa un tamaño de fragmento grande para asegurar que tus datos estén contenidos en un solo fragmento que pueda ser procesado por un solo disco.

0 votos

Esto es muy interesante. Durante muchos, muchos años siempre he escuchado que los trozos más grandes son para archivos más grandes. Esto es bastante iluminador y sorprendente.

0voto

Douglas Puntos 10417

¿Cómo puedo determinar la cantidad de espacio desperdiciado en la unidad que podría ser causado por este gran tamaño de bloque?

En realidad, este es un ejercicio bastante difícil y hay toda una disciplina dedicada a arquitectar soluciones de almacenamiento. Una respuesta aquí simplemente no le haría justicia. Sin embargo, el principal problema es esta condición:

La unidad originalmente estaba destinada a ser utilizada para la edición y almacenamiento de videos e imágenes, pero ahora se ha convertido en una unidad multipropósito que tiene muchos archivos más pequeños en ella.

Esto significa que el tamaño de sus archivos puede variar considerablemente, lo que hace que sea casi imposible hacer un pronóstico preciso. No solo debe saber cómo varían los tamaños de los archivos, también debe saber cómo varían con el tiempo. Tiene que haber una comprensión de todas las "cosas" que generan estos bloques: el sistema operativo, el sistema de archivos, las aplicaciones, el tipo de matriz, incluso el hardware contribuyen a estos factores.

Para obtener una excelente perspectiva sobre esto, HPE (Hewlett-Packard Enterprise) tiene un excelente artículo: Busting the Myth of Storage Block Size


No conozco ninguna herramienta para Mac (y no he hecho este tipo de ejercicio en mucho, mucho tiempo). Sin embargo, solía usar herramientas como Swat (Sun StorageTek Workload Analysis Tool) de Sun Microsystems. Los proveedores de almacenamiento suelen incluir este tipo de herramienta como un valor agregado para su solución de almacenamiento.

Para obtener este tipo de análisis en Mac, definitivamente necesitará algo similar para ayudarlo a analizar cómo se asigna su almacenamiento.

AppleAyuda.com

AppleAyuda es una comunidad de usuarios de los productos de Apple en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X