Lección 255: Registro de eventos en microservicios con ELK

¿Alguna vez has intentado encontrar un error revisando un montón de archivos de texto con registros? Imagina que hay unas decenas de esos archivos y que están repartidos en distintos servidores. Para facilitar situaciones así se inventó el stack ELK. ELK — es el trío de herramientas: Elasticsearch, Logstash y Kibana, que ayudan a recopilar, almacenar, analizar y visualizar los registros.

En una arquitectura de microservicios cada servicio genera sus propios registros. Si surge un error, queremos poder encontrar rápida y fácilmente dónde ocurrió, revisar la cadena de eventos y entender por qué todo falló. El registro centralizado permite:

• Reunir los registros de todos los microservicios en un solo lugar.
• Analizar los registros cómodamente usando queries (en vez de "mirar a mano").
• Encontrar rápidamente las interacciones entre servicios y averiguar la causa de los problemas.
• Visualizar los datos para entender mejor lo que pasa.

¿Qué es el stack ELK?

Veamos cada una de las tres letras de ELK:

1. Elasticsearch — es un almacén de datos y motor de búsqueda. Encuentra los registros necesarios en volúmenes enormes de datos en fracciones de segundo. También soporta queries basados en JSON.
2. Logstash — es un procesador de datos. Recoge registros de diferentes fuentes, los filtra o transforma y los manda a Elasticsearch. Se podría decir que es el "repartidor" de los registros.
3. Kibana — es la herramienta de visualización. Toma datos de Elasticsearch y dibuja gráficos, diagramas y tablas para que puedas entender lo que ocurre sin sufrir.

Cuando estas tres herramientas trabajan juntas, convierten los aburridos archivos de texto en una potente herramienta de análisis.

Instalación y configuración de ELK

Elasticsearch

Empecemos instalando Elasticsearch, que será nuestro almacén de registros.

1. Descarga e instala Elasticsearch.
2. Después de la instalación abre el archivo de configuración elasticsearch.yml, que se encuentra en la carpeta config.
3. Comprueba que Elasticsearch esté accesible localmente:

   network.host: 127.0.0.1
   http.port: 9200
   

4. Arranca Elasticsearch:

   ./bin/elasticsearch
   

   Tras el arranque el servicio estará disponible en http://localhost:9200.

Logstash

Ahora vamos a configurar el segundo componente — Logstash. Es el puente que recibirá los registros de nuestra aplicación Spring Boot y los enviará a Elasticsearch.

1. Descarga e instala Logstash.
2. Crea el archivo de configuración logstash.conf:

   
   input {
       beats {
           port => 5044
       }
   }
   
   output {
       elasticsearch {
           hosts => ["localhost:9200"]
       }
   }
   

   • En input indicamos que queremos recibir registros por el puerto 5044.
   • En output configuramos Logstash para enviar los datos a Elasticsearch.
3. Arrancamos Logstash:

   ./bin/logstash -f logstash.conf
   

Kibana

El último paso — instalar y arrancar Kibana, para poder visualizar los datos.

1. Descarga e instala Kibana.
2. Configura Kibana editando el archivo kibana.yml:

   server.port: 5601
   server.host: "localhost"
   elasticsearch.hosts: ["http://localhost:9200"]
   

3. Arranca Kibana:

   ./bin/kibana
   

   Ahora la interfaz de Kibana está disponible en http://localhost:5601.

Así que los componentes principales están instalados. Ahora podemos integrar nuestra aplicación Spring Boot con ELK.

Integración de microservicios con ELK

Configuración del logging en Spring Boot

Es el momento de hacer que tu aplicación envíe los registros directamente a Logstash.

1. Abre pom.xml y añade las siguientes dependencias:

   <dependency>
       <groupId>net.logstash.logback</groupId>
       <artifactId>logstash-logback-encoder</artifactId>
       <version>7.4</version>
   </dependency>
   

2. Configura logback-spring.xml para enviar los registros a Logstash:

   
   <configuration>
       <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
           <destination>127.0.0.1:5044</destination>
           <encoder class="net.logstash.logback.encoder.LogstashEncoder" />
       </appender>
   
       <root level="INFO">
           <appender-ref ref="LOGSTASH" />
       </root>
   </configuration>
   

3. Reinicia la aplicación. Ahora los registros se enviarán automáticamente a Logstash y desde ahí a Elasticsearch.

Comprobación de los registros

1. Abre la interfaz de Kibana (http://localhost:5601).
2. Ve a la sección Discover.
3. Configura el índice (por ejemplo, logstash-*) y verás los registros de tu aplicación.

Configuración práctica de ELK para microservicios

Imaginemos que tenemos dos microservicios:

1. User Service — se encarga de gestionar los datos de usuarios.
2. Order Service — se encarga de procesar pedidos.

Pasos:

1. Añade la configuración de Logstash en cada servicio, como se mostró antes.
2. Configura ambos servicios para que envíen los registros a Logstash.
3. Usa Kibana para analizar los registros:
   • Busca las requests que pasan por ambos servicios.
   • Si las requests están relacionadas entre sí (por ejemplo, Trace ID de Sleuth), sigue su rastro.

¿Qué debes tener en cuenta?

El registro es una herramienta potente, pero tiene algunos retos asociados:

• Consumo de recursos. Generar y procesar grandes volúmenes de registros puede ralentizar el sistema.
• Seguridad. Asegúrate de que los datos sensibles (por ejemplo, contraseñas) no acaben en los registros.
• Almacenamiento. Elasticsearch tiene límites en la cantidad de datos, así que los registros antiguos deben archivarse o eliminarse.

Ahora, cuando tus microservicios tengan registro centralizado mediante ELK, podrás dormir mucho más tranquilo. La diagnosis de problemas pasará a ser cuestión de segundos, y la visualización de los registros en Kibana seguro que dejará contento a tu equipo. (O al menos a tu líder de equipo.)