Cómo instalar Apache Kafka en CentOS 8

En este tutorial, le mostraremos cómo instalar Apache Kafka en CentOS 8. Para aquellos de ustedes que no sabían, Apache Kafka es un agente de mensajes distribuidos diseñado para manejar grandes volúmenes de información en tiempo real de manera efectiva. A diferencia de los agentes tradicionales como ActiveMQ y RabbitMQ, Kafka funciona como un grupo de uno o más servidores que lo hacen altamente escalable y, debido a la naturaleza distribuida, tiene tolerancia a fallas incorporada y proporciona un mayor rendimiento en comparación con sus contrapartes.

Este artículo asume que tiene al menos conocimientos básicos de Linux, sabe cómo usar el shell y, lo que es más importante, aloja su sitio en su propio VPS. La instalación es bastante simple y se supone que está ejecutando en la cuenta raíz, si no, es posible que deba agregar ‘ sudo ‘ a los comandos para obtener privilegios de root. Te mostraré la instalación paso a paso de Apache Kafka en un servidor CentOS 8.

requisitos previos

  • Un servidor que ejecuta uno de los siguientes sistemas operativos: CentOS 8.
  • Se recomienda que utilice una instalación de sistema operativo nueva para evitar posibles problemas.
  • UN non-root sudo user o acceder a la root user . Recomendamos actuar como un non-root sudo user sin embargo, puede dañar su sistema si no tiene cuidado al actuar como root.

Instalar Apache Kafka en CentOS 8

Paso 1. Primero, comencemos asegurándonos de que su sistema esté actualizado.

                      sudo dnf update
                    

Paso 2. Instalación de Java.

Apache Kafka requiere que Java esté instalado en su servidor. Puede instalar OpenJDK en su máquina ejecutando el siguiente comando:

                      sudo dnf install java-11-openjdk
                    

Verifique la versión de Java ejecutando el siguiente comando:

                      java -version
                    

Paso 3. Instalación Apache Kafka en CentOS 8.

Primero, descargue y extraiga Kafka de la Apache sitio web. Puedes usar wget para descargar Kafka:

                      wget https://www-us.apache.org/dist/kafka/2.4.0/kafka_2.13-2.4.0.tgz
                    

Luego extraiga el archivo comprimido:

                      tar xzf kafka_2.13-2.4.0.tgz
mv kafka_2.13-2.4.0 /usr/local/kafka
                    

Paso 4. Configure los archivos de unidad de Kafka Systemd.

Primero, crea systemd archivo de unidad para Zookeeper con el siguiente comando:

                      nano /etc/systemd/system/zookeeper.service
                    

Agregue el contenido a continuación:

                      [Unit]
Description=Apache Zookeeper server
Documentation=https://zookeeper.apache.org
Requires=network.target remote-fs.target
After=network.target remote-fs.target

[Service]
Type=simple
ExecStart=/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties
ExecStop=/usr/local/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target
                    

Luego, para crear un Kafka systemd archivo de unidad usando el siguiente comando:

                      nano /etc/systemd/system/kafka.service
                    

Agrega el siguiente contenido:

                      [Unit]
Description=Apache Kafka Server
Documentation=https://kafka.apache.org/documentation.html
Requires=zookeeper.service

[Service]
Type=simple
Environment="JAVA_HOME=/usr/lib/jvm/jre-11-openjdk"
ExecStart=/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties
ExecStop=/usr/local/kafka/bin/kafka-server-stop.sh

[Install]
WantedBy=multi-user.target
                    

recargar el systemd daemon para aplicar cambios:

                      systemctl daemon-reload
                    

Paso 5. Inicie el servidor Kafka.

Kafka requería ZooKeeper, así que primero, inicie un servidor ZooKeeper en su sistema:

                      sudo systemctl start zookeeper
                    

A continuación, inicie el servidor Kafka y vea el estado de ejecución:

                      sudo systemctl start kafka
sudo systemctl status kafka
                    

Paso 6. Creación de temas en Apache Kafka.

El “productor” es el proceso responsable de poner datos en nuestro Kafka. Kafka viene con un cliente de línea de comandos que tomará la entrada de un archivo o de la entrada estándar y la enviará como mensajes al clúster de Kafka:

                      cd /usr/local/kafka
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testTopic

Created topic NewTopic.
                    

Puede crear varios temas ejecutando el mismo comando que el anterior. Después de eso, puede ver los temas creados en Kafka ejecutando el siguiente comando:

                      bin/kafka-topics.sh --list --zookeeper localhost:2181

NewTopic
KafkaonCentOS8
KafkaonCentOS8
                    

Paso 7. Apache Productor y Consumidor Kafka.

Ejecutemos el productor y luego escribamos algunos mensajes en la consola para enviar al servidor:

                      bin/kafka-console-producer.sh --broker-list localhost:9092 --topic NewTopic

>Welcome to kafka
>This is my new topic
>
                    

Kafka también tiene un consumidor de línea de comandos para leer datos del clúster de Kafka y mostrar mensajes en la salida estándar:

                      bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic NewTopic --from-beginning

Welcome to kafka
This is my new topic
                    

¡Felicidades! Ha instalado con éxito Apache Kafka. Gracias por usar este tutorial para instalar Apache Kafka en el sistema CentOS 8. Para obtener ayuda adicional o información útil, le recomendamos que consulte el oficial Apache Sitio web de Kafka .

Related Posts