Cómo instalar Apache Kafka en Rocky Linux 9

En este tutorial, le mostraremos cómo instalar Apache Kafka en Rocky Linux 9. Para aquellos de ustedes que no sabían, Apache Kafka es un software de código abierto que permite el almacenamiento y procesamiento de flujos de datos a través de una plataforma de transmisión distribuida. Está desarrollado por Apache Software Foundation y escrito en Java y Scala. Apache Kafka se utiliza para crear canalizaciones de datos de transmisión en tiempo real y aplicaciones que se adaptan al flujo de datos, especialmente para aplicaciones de nivel empresarial y aplicaciones de misión crítica.

Este artículo asume que tiene al menos un conocimiento básico de Linux, sabe cómo usar el shell y, lo que es más importante, aloja su sitio en su propio VPS. La instalación es bastante simple y se supone que está ejecutando en la cuenta raíz, si no, es posible que deba agregar ‘ sudo ‘ a los comandos para obtener privilegios de root. Te mostraré la instalación paso a paso de Apache Plataforma de transmisión distribuida Kafka. en RockyLinux. 9.

requisitos previos

  • Un servidor que ejecuta uno de los siguientes sistemas operativos: Linux rocoso 9 .
  • Se recomienda que utilice una instalación de sistema operativo nueva para evitar posibles problemas.
  • Acceso SSH al servidor (o simplemente abra la Terminal si está en una computadora de escritorio).
  • A non-root sudo user o acceder a la root user . Recomendamos actuar como un non-root sudo user sin embargo, puede dañar su sistema si no tiene cuidado al actuar como raíz.

Instalar Apache Kafka en Rocky Linux 9

Paso 1. El primer paso es actualizar su sistema a la última versión de la lista de paquetes. Para hacerlo, ejecute los siguientes comandos:

                      sudo dnf check-update
sudo dnf install dnf-utils
sudo dnf install epel-release
                    

Paso 2. Instalación de Java.

Apache Kafka es una aplicación basada en Java, por lo que Java debe estar instalado en su servidor. Ahora ejecute el siguiente comando a continuación para instalar Java en su sistema:

                      sudo dnf install java-11-openjdk
                    

Verifique la instalación de Java usando el siguiente comando:

                      java --version
                    

Para obtener recursos adicionales sobre la instalación de Java, lea la publicación a continuación:

  • Cómo instalar Java en Rocky Linux √

Paso 3. Instalación Apache Kafka en RockyLinux 9.

Primero, creamos un nuevo usuario del sistema para Kafka con el directorio de inicio predeterminado ‘ /opt/kafka ‘:

                      sudo useradd -r -d /opt/kafka -s /usr/sbin/nologin kafka
                    

Por defecto, Apache Kafka no está disponible en el repositorio base de Rocky Linux 9. Ahora ejecute el siguiente comando a continuación para descargar la última versión de Apache Kafka a su sistema:

                      cd /opt
sudo curl -fsSLo kafka.tgz https://downloads.apache.org/kafka/3.3.1/kafka_2.12-3.3.1.tgz
                    

A continuación, extraiga el archivo descargado:

                      tar -xzf kafka.tgz
sudo mv kafka_2.12-3.3.1 /opt/kafka
                    

Tendremos que cambiar algunos permisos de carpetas:

                      sudo chown -R kafka:kafka /opt/kafka
                    

Luego, creamos un nuevo directorio de registros para Apache Kafka. Además, edite la configuración predeterminada ‘ server.properties ‘ usando el editor de texto favorito:

                      sudo -u kafka mkdir -p /opt/kafka/logs
sudo -u kafka nano /opt/kafka/config/server.properties
                    

Descomentar el ‘ log.dirs ‘ opción y cambie el valor a ‘ /opt/kafka/logs ‘:

                      # logs configuration for Apache Kafka
log.dirs=/opt/kafka/logs
                    

Paso 4. Crear Systemd para Apache Kafka y Zookeeper.

Para el entorno de producción, se recomienda crear un archivo de servicio systemd para ejecutar Zookeeper y Kafka en segundo plano.

Ahora creamos un systemd archivo de servicio para Zookeeper con el siguiente comando:

                      sudo nano /etc/systemd/system/zookeeper.service
                    

Agregue el siguiente archivo:

                      [Unit]
Requires=network.target remote-fs.target
After=network.target remote-fs.target

[Service]
Type=simple
User=kafka
ExecStart=/opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties
ExecStop=/opt/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target
                    

Después de eso, A continuación, cree un nuevo archivo de servicio para Apache Kafka:

                      sudo nano /etc/systemd/system/kafka.service
                    

Agregue el siguiente archivo:

                      [Unit]
Requires=zookeeper.service
After=zookeeper.service

[Service]
Type=simple
User=kafka
ExecStart=/bin/sh -c '/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties > /opt/kafka/logs/start-kafka.log 2>&1'
ExecStop=/opt/kafka/bin/kafka-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target
                    

Guarde los cambios y salga del archivo, luego inicie y habilite el Apache Servicio de Kafka usando los siguientes comandos:

                      sudo systemctl daemon-reload
sudo systemctl start zookeeper
sudo systemctl start kafka
                    

A continuación, habilite los servicios kafka y zookeeper para que se ejecuten automáticamente al iniciar el sistema mediante el siguiente comando systemctl.

                      sudo systemctl enable zookeeper
sudo systemctl enable kafka
                    

Paso 5. Cree temas de prueba en Kafka.

Kafka nos permite leer, escribir, almacenar y procesar eventos en varias máquinas; sin embargo, para almacenar estos eventos, necesitamos un lugar o carpeta llamado “ Topics “. Ahora cambiamos el directorio a Apache Kafka y cree un tema de prueba denominado topic1 con el siguiente comando:

                      cd /usr/local/kafka/
bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic topic1
                    

Ahora verifique su tema creado usando el siguiente comando:

                      bin/kafka-topics.sh --list --bootstrap-server localhost:9092
                    

Producción:

                      topic1
                    

Primero, ejecute el siguiente comando para crear un evento llamado event1 usando el siguiente comando a continuación:

                      bin/kafka-console-producer.sh --broker-list localhost:9092 --topic event1
                    

A continuación, escriba el texto que desea transmitir y mostrar en el Consumidor:

                      >Hi, this is my first event
                    

Abra otra terminal y ejecute el siguiente comando para mostrar los datos del evento generado en tiempo real:

                      bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic event1 --from-beginning
                    

Obtendrá el siguiente resultado:

                      Hi, this is my first event
                    

¡Felicidades! Ha instalado con éxito Apache Kafka. Gracias por usar este tutorial para instalar Apache Plataforma de transmisión distribuida Kafka. en su sistema Rocky Linux 9. Para obtener ayuda adicional o información útil, le recomendamos que consulte el oficial Apache sitio web .

Related Posts