Manual Instalación

PEARANDA JENNY

TOAPANTA ADRIANA

MANUAL DE INSTALACIN

HADOOP

INTEGRANTES:

2

-MANUAL DE INSTALACIN

HADOOP -

MANUAL DE INSTALACIN HADOOP

Contents Instalacin de Hadoop .......................................................................................................................................... 3

Instalacin del JDK ............................................................................................................................................ 3

Configuraciones ................................................................................................................................................ 9

Software Utilizado ........................................................................................................................................ 9

Configuracin del Sistema Operativo ........................................................................................................... 9

Configuraciones en los dos mbitos tanto master como en el slave: ........................................................15

Instalacin y Configuracin de Hadoop ..........................................................................................................18

Configuraciones Fundamentales ....................................................................................................................21

Probando HADOOP .........................................................................................................................................23

BIBLIOGRAFA .....................................................................................................................................................25

3


HADOOP - Instalacin de Hadoop Instalacin del software requerido para la actividad:

Instalacin del JDK 1. Verificar el JDK compatible y estable en el siguiente link

http://wiki.apache.org/hadoop/HadoopJavaVersions

2. Descargar el JDK recomendado en el link.

2.1. Ir a la pgina de Oracle Java Archive:

http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase6-

419409.html

2.2. Buscar la versin del JDK que se va a descargar en este caso escogemos JDK_6U31:

4


HADOOP - 2.3. Procedemos a aceptar los trminos de aceptacin para la descarga del JDK seleccionado:

2.4. Descargamos la versin para Linux x64 (64-bit): jdk-6u31-linux-x64-rpm.bin

5


HADOOP - 2.5. Procedemos a ingresar nuestro usuario y contrasea para iniciar la descarga, previamente debe

estar registrado en el Portal de Oracle para poder tener estos privilegios:

2.6. As obtendr el archivo seleccionado.

3. Instalar el JDK:

3.1. Copiar el archivo descargado en el servidor donde se va a instalar para esto vamos a usar FTP.

3.2. Una vez copiado el archivo procedemos a la instalacin del JDK, abrir el directorio donde est el

archivo que copiamos, en nuestro caso el archivo est en: /home/hadoop/Downloads

3.3. Cambiamos el usuario a root, Contrasea del root: hadoop

3.4. Dar permisos de instalacin al archivo: chmod 755 jdk-6u31-linux-x64-rpm.bin

6


HADOOP - 3.5. Ejecutamos el instalador: ./jdk-6u31-linux-x64-rpm.bin

3.6. Esperamos hasta que se termine de instalar:

3.7. Registramos el JDK instalado:

7


HADOOP - 3.8. Una vez instalado el JDK vamos a editar los siguientes archivos:

3.8.1. Abrir un terminal como root.

3.8.2. Agregar las dos siguientes lneas al final del archivo: vim /etc/profile

JAVA_HOME=/usr/java/default; export JAVA_HOME PATH=$JAVA_HOME/bin:$PATH; export PATH

3.8.3. Agregar las dos siguientes lneas al final del siguiente archivo: vim .bashrc

export PATH=/usr/java/default/bin:/usr/java/default/db/bin:$PATH

export JAVA_HOME=/usr/java/default

export DERBY_HOME=/usr/java/default/db

Cerrar el terminal.

8


HADOOP - 3.8.4. Una vez terminada la configuracin en los archivos verificamos la versin de JDK

instalada, para eso vamos a cerrar todos los terminales abiertos, luego de eso vamos a

escribir: java versin, y debe desplegar lo siguiente:

3.8.5. Para verificar si est bien configurada la versin del compilador de java digitamos lo

siguiente: javac versin, y debe desplegar lo siguiente:

9


HADOOP - Configuraciones

Fig1. Estructura manejada para la distribucin de Procesos.

Software Utilizado

SO: Centos 6.5

JAVA: jdk_1.6_31

HADOOP: hadoop-2.5.2 tar.gz

Configuracin del Sistema Operativo

PC: Master

Estas configuraciones se las realiza como sper usuario:

1. Configurar la interfaz con la que se va a trabajar en la maquina Master, editando el siguiente archivo,

se trabajara con la interfaz eth0:

vim /etc/udev/rules.d/70-persistent-net.rules

Verificar que la propiedad NAME = eth0.

10


HADOOP - 2. Configurar la los parmetros dentro de la interfaz con la que vamos a trabajar.

# Abrir el Directorio para editar el archivo de la interfaz

cd /etc/sysconfig/network-scripts/

# Listar todo el contenido del directorio

Ls

# Realizar una copia de seguridad del archivo:

cp ifcfg-eth0 ifcfg-eth0.backup

# Editar los parmetros del archivo

vim ifcfg-eth0

DEVICE="eth0"

BOOTPROTO="static"

HWADDR="00:0C:29:66:FF:EB"

NM_CONTROLLED="no"

ONBOOT="yes"

TYPE="Ethernet"

IPADDR="10.22.108.10"

NETMASK="255.255.252.0"

DNS1="10.22.110.1"

3. Editar el archivo network con los siguientes parmetros:

vim /etc/sysconfig/network NETWORKING=yes

HOSTNAME=hadoopBigData

GATEWAY=10.22.110.1

11


HADOOP - 4. Editar el archivo resolv con los siguientes parmetros:

vim /etc/resolv.conf

search hadoopBigData

nameserver 10.22.110.1

5. Ejecutamos los siguientes comandos

# Detener el servicio de NetworkManager service NetworkManager stop # Configurar para que este demonio no inicie automticamente con el sistema chkconfig NetworkManager off # Detener la interfaz que se est usando ifdown eth0 # Verificar que no se est usando ninguna interfaz ifconfig # Subir la interfaz que se va usar ifup eth0 # Reiniciar el servicio de Red del SO service network restart # Verificar si los cambios hechos se estn reflejando en la interfaz Ifconfig # Verificar si hay conexin a la Red e internet ping www.sun.com Captura de todo el script en ejecucin:

12


HADOOP -

13


HADOOP - PC: Slave

Estas configuraciones se las realiza como sper usuario:

1. Configurar la interfaz con la que se va a trabajar en la maquina Master, editando el siguiente archivo,

se trabajara con la interfaz eth1:

vim /etc/udev/rules.d/70-persistent-net.rules

2. Configurar la los parmetros dentro de la interfaz con la que vamos a trabajar.

# Abrir el Directorio para editar el archivo de la interfaz cd /etc/sysconfig/network-scripts/ # Listar todo el contenido del directorio Ls # Realizar una copia de seguridad del archivo: cp ifcfg-eth0 ifcfg-eth1

# Editar los parmetros del siguiente archivo: vim ifcfg-eth1

DEVICE="eth1" BOOTPROTO="static" HWADDR="00:0C:29:69:1B:1A" NM_CONTROLLED="no" ONBOOT="yes" TYPE="Ethernet" IPADDR=10.22.108.11 NETMASK=255.255.252.0 DNS1=10.22.110.1

14


HADOOP - 3. Editar el archivo network con los siguientes parmetros:

vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=hdp1 GATEWAY=10.22.110.1

4. Editar el archivo resolv con los siguientes parmetros:

vim /etc/resolv.conf

search hdp1

nameserver 10.22.110.1

5. Ejecutamos los siguientes comandos

# Detener el servicio de NetworkManager service NetworkManager stop # Configurar para que este demonio no inicie automticamente con el sistema chkconfig NetworkManager off # Detener la interfaz que se est usando ifdown eth0 # Verificar que no se est usando ninguna interfaz ifconfig # Subir la interfaz que se va usar ifup eth1 # Reiniciar el servicio de Red del SO service network restart # Verificar si los cambios hechos se estn reflejando en la interfaz Ifconfig # Verificar si hay conexin a la Red e internet ping www.sun.com

15


HADOOP -

Configuraciones en los dos mbitos tanto master como en el slave:

En el Master:

# Obtener la IP la maquina master: hostname I

# Editamos el archivo: vim /etc/hosts 10.22.108.10 hadoopBigData 10.22.108.11 hdp1

# Copiar el archivo del master al slave scp /etc/hosts hdp1:/etc/

# Luego aadimos un usuario con su clave adduser hadoop # Su contrasea para el usuario hadoop passwd hadoop

16


HADOOP - # Anadir el usuario hadoop al grupo de root gpasswd -a hadoop root

# Vamos al usuario hadoop su hadoop # Ejecutamos las siguientes lneas de comandos ssh-keygen -t rsa -P ""

# Digitamos cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 600 ~/.ssh/authorized_keys ssh hadoopBigData

# Copiamos el directorio .ssh del Master al Slave scp .ssh/ hdp1:~/

17


HADOOP - # Probando comandos ejecutados anteriormente ssh hdp1

# Ejecutamos las siguientes instrucciones service iptables stop chkconfig iptables off

En el slave:

# Aadir un usuario con su clave adduser hadoop # Su contrasea para el usuario hadoop passwd hadoop

# Anadir el usuario hadoop al grupo de root gpasswd -a hadoop root

# Ejecutamos las siguientes instrucciones service iptables stop chkconfig iptables off

18


HADOOP - Instalacin y Configuracin de Hadoop

1. Descargamos el paquete de hadoop ms estable que est disponible en la red: http://apache.claz.org/hadoop/common/stable1/ Escogemos la opcin: hadoop-1.2.1.tar.gz dar click derecho y copiar el link de localizacin.

2. Abrir un terminal en hadoopBigData:

# Digitamos lo siguiente su - hadoop curl -O http://apache.claz.org/hadoop/common/stable1/hadoop-1.2.1.tar.gz

# Digitamos las siguientes instrucciones

ls tar -xzf hadoop-1.2.1.tar.gz

19


HADOOP -

3. Editamos los siguiente archivos de configuracin # Ejecutar los siguientes comandos ls cd hadoop-1.2.1 ls cd conf/

# Archivos que se van a configurar

hdfs-site.xml

core-site.xml

mapred-site.xml

hadoop-env.sh # Editar core-site.xml vim core-site.xml fs.default.name hdfs://hadoopBigData:9000 hadoop.tmp.dir /var/hadoop/hadoop-${user.name}

20


HADOOP -

# Editar mapred-site.xml vim mapred-site.xml

mapred.job.tracker hadoopBigData:9001

# Editar hdfs-site.xml vim hdfs-site.xml dfs.replication 1

21


HADOOP - # Editar hadoop-env.sh vim hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.6.0_31 export HADOOP_HOME=/opt/hadoop export HADOOP_CONF_DIR=/opt/hadoop/conf

Configuraciones Fundamentales En el Master:

1. Copiar el contenido HADOOP: scp -r hadoop-1.2.1 hdp1:~/ Como root:

2. Copiar el directorio de HADOOP en el siguiente PATH tanto en el Master como en el slave: cp -r /home/hadoop/hadoop-1.2.1/ /opt/

3. Ejecutar las siguientes sentencias tanto en el Master como en el slave: cd /opt ls mv hadoop-1.2.1/ hadoop ls

22


HADOOP - 4. Ejecutar tanto en el Master como en el slave:

mkdir /var/hadoop chown -R hadoop.hadoop /opt/hadoop/ chown -R hadoop.hadoop /var/hadoop/

5. Configurar en el Master: # Regresar al usuario hadoop su - hadoop # Abrir el directorio de configuracin de HADOOP cd /opt/hadoop/conf/ # Editar el archivo masters vim masters

# Editar el archivo Slaves vim slaves

# Resumen de consola

23


HADOOP - Probando HADOOP Como usuario HADOOP

1. Vamos a formatear los nodos: cd /opt/hadoop bin/hadoop namenode -format

2. Iniciar procesos: bin/start-all.sh

24


HADOOP - 3. Verificamos que todo est bien, abrir un navegador y en la url digitar:

http://hadoopbigdata:50070/ Mostrar lo siguiente:

Damos click en Live Nodes:

25


HADOOP - BIBLIOGRAFA

https://www.youtube.com/watch?v=c1KFvHx9HHI

http://tecadmin.net/steps-to-install-hadoop-on-centosrhel-6/

http://apache.claz.org/hadoop/common/stable1/

http://hadoop.apache.org/releases.html#Download

Manual Instalación

Documents

Transcript of Manual Instalación