2 votos

Instalación de Apache Hadoop en Mavericks Mac

Estoy teniendo un tiempo duro real de la instalación de Apache Hadoop(2.4.1) en mi Mac(OS 10.9).¿Hay alguna guía paso a paso que explica en detalle y lo que es más importante se presenta en Hadoop, que se ejecuta en la máquina?. He seguido un tutorial para instalar y actualmente mis problemas son estos:

  1. No estoy seguro de si Hadoop es en realidad "correctamente" instalado. Escribir hadoop version muestra 2.4.1 pero la ejecución start-all.sh muestra una larga lista de advertencias.
  2. Pensé acerca de la comprobación de si Hadoop está correctamente instalado mediante la ejecución de un programa de ejemplo(WordCount.java) como en todas partes en la red. Ahora tengo Eclipse de Luna instalado, pero el guía que he seguido para la ilustración de "Cómo integrar Eclipse con Hadoop", me dice para importar todos los frascos de '../libexec' pero para Hadoop 2.4.1 no hay tarros, al menos ninguno que he podido encontrar.
  3. Actualmente en mi /usr/local/ hay 3 carpetas con nombre de hadoop-2.4.1, hadoop(un enlace simbólico a este supongo) y un directorio de nombre a la Bodega. Ahora los tres directorios tienen algún subdirectorio de nombre de Hadoop y muchos otros subdirectorios como lib lib exec. Ahora, ¿cómo sé yo que para qué propósito. Todos los demás tutorial se refiere a un directorio diferente para el uso, el que me Hadoop instalado nunca menciona un poco acerca de cómo probar una muestra de Hadoop reducir el mapa de la aplicación.

Incluso he probado el HortonWorks Sandbox para Apache Hadoop. Pero mi máquinas de 4GB de RAM parece pequeña para que el mamut de la aplicación a ejecutar y mi sistema ahorcado!! Tengo que conseguir este trabajo para mi proyecto relacionados con la materia, esperando que la sincera ayuda.

1voto

Grzegorz E. Puntos 26
  1. En mi caso, start-all.sh dice que es depraciated y que debo usar start-dfs.sh y start-yarn.sh. Tanto dar sin errores ni advertencias en la salida (para locales y de la agrupación local hdfs).

  2. En Hadoop 2.4.1 frascos con bibliotecas compartidas se encuentran bajo /libexec/share/hadoop/ y siguientes subdirectorios. Para ejecutar simples aplicaciones MapReduce es suficiente para agregar mapreduce/hadoop-mapreduce-client-core-2.4.1.jar y common/hadoop-common-2.4.1.jar.

  3. Yo uso la versión brew, por lo que la mina se encuentra bajo /usr/local/Cellar/hadoop/2.4.1/. Para hacerlo más fácil, yo uso env variable para que apunte al directorio.

No estoy seguro, pero de 4 GiB de ram debería ser suficiente para probar el medio ambiente con algunas aplicaciones. No debe colgar.

AppleAyuda.com

AppleAyuda es una comunidad de usuarios de los productos de Apple en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X