Instalar Apache Zookeeper y Kafka en Centos

1.    Instalar y montar Máquina Virtual con S.O. Centos

Descargamos el instalable de VirtualBox y lo instalamos:

https://download.virtualbox.org/virtualbox/6.1.6/VirtualBox-6.1.6-137129-Win.exe

Descargamos la MV de CentOS:

https://mega.nz/file/4SYVHQxa#uRzM5NGnsQqfPMwq4QYhItm5Op_V0jho9FqrzNnR--A

Al picar 2 veces encima del archivo descargado, este se instalará en el VirtualBox.

Ya podemos iniciar el Sistema Operativo instalado:

la contraseña del usuario es usuario

la contraseña del root es Curso2020

2.    Instalación de Apache Zookeeper y Apache Kafka

Accedemos a la Web de Apache Zookeeper y descargamos el fichero de instalación:

https://zookeeper.apache.org/

Una vez descargado, lo descomprimimos y lo instalamos.

La documentación de cómo se instala también puedes verla en el siguiente Link, aunque te lo vamos a explicar paso a paso a continuación: https://zookeeper.apache.org/doc/r3.6.1/index.html

$ su -

# cd /home/usuario/Descargas/

# ls

# tar -xzvf apache-zookeeper-3.6.1-bin.tar.g

Movemos el programa a /usr/local/zookeeper y hacemos una copia del fichero ejemplo de configuración

# mv apache-zookeeper-3.6.1-bin /usr/local/zookeeper

# cd /usr/local/zookeeper/

# ls

# cp zoo_sample.cfg zoo.cfg

Realizamos los ajustes de configuración, …

# nano zoo.cfg

Estas son las variables del fichero a tener en cuenta para su configuración:

tickTime=2000

dataDir=/var/lib/zookeeper

clientPort=2181

·         tickTime : la unidad de tiempo básica en milisegundos utilizada por ZooKeeper. Se utiliza para hacer latidos y el tiempo de espera mínimo de la sesión será el doble del tiempo tick.

·         dataDir : la ubicación para almacenar las instantáneas de la base de datos en memoria y, a menos que se especifique lo contrario, el registro de transacciones de las actualizaciones a la base de datos.

·         clientPort : el puerto para escuchar las conexiones del cliente

Ahora que se ha creado el archivo de configuración, se puede iniciar ZooKeeper:

# /usr/local/zookeeper/bin/zkServer.sh start

# /usr/local/zookeeper/bin/zkServer.sh status

Accedemos a la Web de Apache Kafka y descargamos el fichero de instalación:

https://kafka.apache.org/downloads

Descargamos los ficheros binarios para no tener luego problemas en el arranque del servicio.
En este caso el 2.13.

Una vez descargado, lo descomprimimos y lo instalamos:

# tar -xzvf kafka_2.13-2.5.0.tgz

Con el usuario de root, movemos el programa a /usr/local/kafka:

# mv kafka_2.13-2.5.0 /usr/local/kafka

# cd /usr/local/

# ls

Accedemos al fichero de Configuración, …

# cd kafka/

# cd config/

# nano server.properties

Verificamos que por defecto está bien configurado el enlace con Zookeeper:

listeners=PLAINTEXT://localhost:9092

Arrancamos el servicio:

# bin/kafka-server-start.sh config/server.properties

Nos da un error de arraque.

Vamos a ver que versión de java tenemos y vamos a actualizarla:

# java -version

# yum install java-1.8.0-openjdk

Una vez actualizado Java, ya podemos iniciar de nuevo Kafka, teniendo en cuenta que, si se ha modificado algo del fichero de configuración, debemos parar y arrancar primero zookeeper:

# /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties