Tengo que copiar 20 TB de datos en un rayo de la matriz. La caja donde los datos no tienen una conexión thunderbolt, así que voy a tener necesidad de utilizar el local de 1GB de red para esto. (Sí, va a tomar para siempre).
Traté de usar Filezilla/sftp, pero se estrelló cuando la cola creció súper grande. Es rsync o scp el camino a seguir?
rsync es una buena manera de ir (scp es prácticamente el mismo que cuenta con menos funciones). Puede que desee utilizar la -Z opción, que permitirá a la compresión zlib. Dependiendo de la velocidad de tus unidades/equipo, puede ser más rápido que el envío sin comprimir, es decir, si el enlace de red está saturada. Usted también puede querer el archivo opción de modo de, -a que preservará los enlaces simbólicos, los permisos y la creación/modificación de los tiempos, así como copia de los directorios de forma recursiva. Dependiendo de lo que estés copiando posible que desee -E que conserva los atributos extendidos y mac de recursos de las horquillas. Finalmente, --progress le mostrará la información de progreso.
Aunque no es tan ubicuo como rsync, que tengo en el pasado se utilizó una herramienta llamada "mpscp" - http://www.sandia.gov/MPSCP/mpscp_design.htm
De Sandia National Labs, es una herramienta de copia de archivos que se ejecuta a través de SSH, que está especialmente optimizado para saturar las redes de alta velocidad entre los sistemas (tales como la copia de terabytes de datos entre dos supercomputadoras en el mismo sitio, conectados a través de 10 gb+ o Infiniband). Funciona bien, pero puede ser un poco de un dolor a la configuración. En las pruebas, he visto fácilmente se ejecute 2x-3 veces más rápido que rsync.
El uso de rsync y considere la posibilidad de utilizarlo con rsyncd. Si se usa rsync sin rsyncd, usted está atrapado usando ssh, lo que significa que el uso de algún tipo de cifrado. Usted probablemente copiar los datos de una máquina antigua a una nueva máquina y la máquina más antigua no puede tener la CPU gruñido para cifrar los datos para su transmisión a la velocidad suficiente para mantener un enlace gigabit Ethernet saturado. La prueba de la transferencia de lotes de archivos utilizando ambos métodos y ver de qué manera es más rápido.
Por la misma razón que yo aconsejaría a las pruebas de uso de rsync la opción de compresión antes de comprometerse a utilizar. La compresión es otra CPU de la actividad que podría no ser capaz de mantenerse al día con velocidades gigabit Ethernet cuando se ha intentado en hardware antiguo. rsync es una joven de quince años de programa, escrito cuando la mayoría de la gente, incluso en los países del primer mundo accede a Internet a través de módem de acceso telefónico. Ancho de banda de red vs CPU equilibrios eran muy diferentes a los de entonces.
Es este 20 tb empaquetado en un pequeño número de archivos de gran tamaño (como el vídeo, el monstruo de la base de datos) o millones de pequeños archivos?
Si un montón de pequeños archivos que me gustaría ir con rsync para restartability o un hilo de alquitrán de flujo para la eficiencia (una conexión de red para el lote, comience otra vez desde el principio si se produce un error)
tar -cf - * | ( cd newhome; tar -xf - )
carpeta remota debe ser montado.
Podría conectar directamente la nueva matriz con una interfaz diferente? Local rsync no usar ssh para quitar ese punto de falla. Sí, Firewire 800 es más lento que gigabit ethernet pero no puede cargar de ethernet a 100% - podría ser más rápido por firewire. FYI también puede red firewire si las cajas están lo suficientemente cerca. Agregar la interfaz de preferencias del sistema -> red.
Otra opción sería la de tratar de Bittorrent Sync (http://www.bittorrent.com/sync). Lo he utilizado para la sincronización de fotos de la familia y vídeos entre los miembros de nuestra familia a través de la WAN, pero no hay razón de que no funcione para la red local. Utiliza peer-to-peer conexiones, de forma que los datos no van a través de un servidor como sería si se trató de utilizar algo parecido a dropbox (no es que yo piense que usted tiene 20 TB de espacio en dropbox o quieres esperar tanto tiempo para subir la cantidad de datos!)
También es compatible con varias plataformas, de modo que tiene más flexibilidad que rsync y el alquitrán.
AppleAyuda es una comunidad de usuarios de los productos de Apple en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.
