8.1 Configuration de l'index pour les logs Docker
Pour la démonstration, j'ai créé une image Docker avec ELK et Filebeat, qui inclut un programme de test pour générer des logs. Dans cet exemple, on se concentre sur la configuration de l'index pour les logs Docker dans Kibana.
Étape 1 : Cloner le repository et lancer la stack ELK
Téléchargez le repository avec les configurations Docker Compose pour la stack ELK et lancez-la :
git clone https://github.com/et-soft/habr-elk
cd habr-elk
docker compose up
Pour plus de simplicité, l'option -d est omise, afin que vous puissiez voir le processus de lancement de la stack ELK. Le démarrage peut prendre plusieurs minutes. Après un démarrage réussi, une entrée comme celle-ci devrait apparaître dans les logs :
{"type":"log","@timestamp":"2020-09-20T05:55:14Z","tags":["info","http","server","Kibana"],
"pid":6,"message":"http server running at http://0:5601"}
Étape 2 : Accéder à Kibana
Ouvrez un navigateur web et allez à l'adresse http://localhost:5601.
Étape 3 : Configurer l'index pour les logs
Sélectionnez dans le menu à gauche de Kibana la section Discover pour aller à la page de création d'un index.
Étape 4 : Créer un nouvel index
Cliquez sur le bouton Create index pattern pour ouvrir le formulaire de configuration. Dans le champ Index pattern name, entrez logstash-*. Si la configuration est correcte, Kibana affichera les index correspondant à la règle.
Étape 5 : Choisir le champ temporel
Sur la page suivante, sélectionnez le champ clé avec le timestamp — @timestamp.
Étape 6 : Vérifiez l'index
Une fois la configuration terminée, vous verrez la page des paramètres d'index. Aucune action supplémentaire n'est requise pour le moment.
Étape 7 : Visualiser les logs
Revenez à la section Discover, où vous pourrez voir les entrées de logs des conteneurs Docker.
8.2 Création de dashboards pour visualiser les logs
Étape 1. Crée des dashboards pour visualiser les logs
Dans le menu de gauche, clique sur la section "Dashboard" — ça te mènera à la page où les dashboards sont créés.
Étape 2. Tape sur «Create new dashboard», et tu seras redirigé vers l’écran où tu peux ajouter des objets à ce Dashboard.
Étape 3. Clique sur le bouton «Create new», et Kibana te proposera de choisir comment afficher les données. Il y a plein d’options, mais pour l'exemple, on va se concentrer sur deux — les graphiques de type «Vertical Bar» et la présentation tabulaire «Data Table». Tout le reste se configure de manière similaire.
8.3 Histogramme des logs
Prenons l'exemple de «Vertical Bar» et faisons un histogramme pour montrer le rapport entre les requêtes réussies et celles échouées du service. Une fois configuré, on obtient quelque chose comme ça :
Les requêtes réussies sont celles avec un code réponse < 400, et tout ce qui est >= 400 est considéré comme problématique.
Tout d'abord, il faut choisir la source de données pour le graphique. Prenons l'Index Pattern que nous avons créé auparavant.
Une fois la source sélectionnée, un graphique général s'affiche par défaut. Configurons-le.
Dans la section «Buckets», clique sur «Add», choisis «X-axis» et configure l'axe X. Les timestamps y seront affichés. Dans le champ «Aggregation», choisis «Date Histogram», et dans «Field», renseigne «@timestamp». Le champ «Minimum interval» peut rester en «Auto».
Clique sur «Update», et le graphique affichera le nombre de requêtes toutes les 30 secondes.
Maintenant, configurons les colonnes sur l'axe Y. Pour l'instant, le graphique montre le nombre total de requêtes sur l'intervalle de temps. Changeons l'agrégation en «Sum Bucket» pour ajouter des requêtes réussies et problématiques. Dans la section Bucket → Aggregation, choisis «Filters» et configure le filtre : «statusCode >= 400». Dans le champ «Custom label», mets un nom clair pour la métrique.
Clique sur «Update», et le graphique montrera uniquement les requêtes problématiques.
Tu veux changer la couleur des colonnes ? Clique sur le cercle dans la légende du graphique et une fenêtre pour choisir la couleur s'ouvrira.
Ajoutons maintenant les données pour les requêtes réussies. Dans la section «Metrics», clique sur «Add», puis choisis «Y-axis». Configure de la même manière, mais pour le filtre, indique «statusCode < 400».
Change la couleur de la nouvelle colonne, et on obtient une visualisation du rapport entre les requêtes réussies et problématiques.
N'oublie pas de sauvegarder le graphique en cliquant sur «Save» en haut de l'écran. Indique un nom, et il apparaîtra sur le Dashboard.
8.4 Tableau des logs
Créons un tableau «Data Table» pour voir une liste de tous les URL qui ont reçu des requêtes et leur nombre. On commence, comme avec Vertical Bar, par sélectionner la source des données.
Après avoir sélectionné la source, un tableau avec une seule colonne apparaît sur l'écran, montrant le nombre total de requêtes pour l'intervalle de temps choisi.
Maintenant, configurons le tableau. On va dans la section «Buckets», on clique sur «Add» et on choisit «Split rows».
Dans le champ «Aggregation» qui apparaît, on choisit «Terms», et dans «Field» on indique «url.keyword».
Dans le champ «Custom label», on entre un nom compréhensible, par exemple «Url». Ensuite, on clique sur «Update» — et notre tableau est prêt. Il affiche le nombre de requêtes pour chaque URL pour l'intervalle de temps choisi.
Pour enregistrer le tableau, on clique sur «Save» en haut de l'écran, on indique un nom (par exemple, «Urls»), et on retourne sur le Dashboard. Maintenant, on voit nos deux visualisations créées.
GO TO FULL VERSION