¿Cuántos archivos en una carpeta son demasiados?

Puede probarlo usted mismo ejecutando lo siguiente en el Terminal

mkdir ~/t
cd ~/t
dd if=/dev/random of=test bs=1024 count=16
for i in {1..10000}; do cp test test.$i; done

para crear una carpeta que contenga 10'000 archivos de 16kB cada uno (sustituya el 16 de la tercera línea por otro número para archivos de distinto tamaño).

Respondiendo considerando un ejemplo práctico: Tengo ahora 326.000 archivos en una carpeta, creados por una aplicación que descarga bits de un servidor. Los archivos son archivos XML comprimidos, y mi aplicación extrae datos XML de ellos y los almacena en una base de datos local.

La aplicación se ejecuta desde la línea de comandos. Todo funciona bien sin ningún problema pero rm * o ls * no funciona debido a la expansión del comodín (mensaje de error Argument list too long ). Como los archivos se almacenan en una carpeta temporal, puedo eliminar la carpeta después de procesar los archivos.

Sin embargo, no he intentado abrir la carpeta con el Finder. Sospecho que eso podría ser muy lento, si es que es posible.

Hay que tener en cuenta varios límites que se han tocado en algunos comentarios:

• longitud del argumento y la expansión de la cáscara - un simple echo * se salta si la longitud concatenada de los nombres de archivo a los que se expande el asterisco alcanza ese límite. Si se encuentra con esta trampa, a menudo find será tu amigo. find . -depth 1 -type f | exec echo {} \; sería un sustituto de trabajo para el inocente echo * mencionada anteriormente, limitada a los archivos de la lista. ( echo para ser sustituido por la acción de su elección)

• Límites por programa al tamaño de las estructuras de datos internas utilizadas para mantener el contenido de los directorios (finder, todo tipo de herramientas que intentan leer los listados de directorios).

• tamaño de la caché de búsqueda de directorios. Mientras que el sistema de archivos puede ser able para albergar 2.100 millones de archivos dentro de la estructura en disco de un directorio, no será agradable trabajar con ese número, y sería conveniente introducir alguna estrategia de clasificación de archivos en subdirectorios si se trata de estructuras de ese tamaño. (Sugerencia: las personas que diseñan las estructuras de caché de la web tuvieron que lidiar con eso - ver Maltzahn/Richardson, Reducing the Disk I/O of Web Proxy Server Caches, Usenix 1999 .

Para acelerar el acceso a las estructuras de disco de uso frecuente, los sistemas de archivos utilizan cachés (de memoria), y el tamaño de estos cachés es limitado. Aquí es donde comienza la repentina penalización por directorios estructurados grandes y menos que óptimos. Dependiendo de la frecuencia e intensidad del acceso a estos directorios, la penalización puede ser significativa.

El artículo de 2015 de Tsai et al., Cómo obtener más valor de su caché de directorio del sistema de archivos sería probablemente una de las introducciones más fáciles al tema.

Apple tiene un documento de apoyo relacionado con eso:

Número máximo de archivos (o archivos y carpetas) en una carpeta (todas las versiones de Mac OS X)

Hasta 2.100 millones (2)