ELK Stack : guide complet pour comprendre Elasticsearch, Logstash et Kibana

Qu'est-ce que la stack ELK ?

ELK est l'acronyme de trois outils open source développés par la société Elastic : Elasticsearch (moteur de recherche et d'analyse), Logstash (pipeline de collecte et de transformation de données) et Kibana (interface de visualisation). Ensemble, ils forment une plateforme complète pour centraliser, indexer, rechercher et visualiser des données — en particulier des logs et des événements système.

Depuis l'ajout de Beats (agents légers de collecte), la stack est officiellement appelée Elastic Stack. Dans l'usage courant, le terme "ELK" reste largement utilisé par les équipes techniques.

Le principe est comparable à un moteur de recherche interne pour vos données techniques. Au lieu de chercher manuellement dans des fichiers de logs dispersés sur plusieurs serveurs, vous interrogez Elasticsearch en quelques millisecondes et Kibana affiche les résultats sous forme de graphiques, tableaux ou cartes.

Elasticsearch : le cœur de la stack

Elasticsearch est un moteur de recherche et d'analyse distribué, basé sur Apache Lucene. Il stocke les données sous forme de documents JSON et les rend accessibles via une API REST. Sa force : des recherches full-text extrêmement rapides, même sur des milliards de documents.

Comment ça fonctionne

Quand une donnée arrive dans Elasticsearch, elle est indexée automatiquement. Le moteur crée un index inversé (similaire à l'index d'un livre) qui permet de retrouver n'importe quel terme en quelques millisecondes, quelle que soit la taille du dataset.

Les données sont réparties sur plusieurs shards (fragments) distribués sur un ou plusieurs nœuds (serveurs). Ce modèle distribué garantit la scalabilité horizontale : pour traiter plus de données, il suffit d'ajouter des nœuds au cluster.

Fonctionnalités clés

Elasticsearch est utilisé bien au-delà des logs : moteur de recherche e-commerce, analyse de données IoT, détection de fraude, SIEM (Security Information and Event Management). C'est cette polyvalence qui en fait le composant central de l'Elastic Stack.

Logstash : le pipeline d'ingestion et de transformation

Logstash est le composant qui collecte les données depuis de multiples sources, les transforme et les envoie vers Elasticsearch (ou une autre destination). Il fonctionne comme un ETL (Extract, Transform, Load) spécialisé pour les données temps réel.

Architecture input → filter → output

Chaque pipeline Logstash se compose de trois étapes :

Le filtre Grok est l'un des plus utilisés : il permet de parser des logs non structurés (comme les logs Apache ou Nginx) en champs exploitables. Par exemple, transformer une ligne de log brute en champs séparés : adresse IP, date, méthode HTTP, code de statut, etc.

Kibana : visualisation et analyse

Kibana est l'interface web qui se connecte à Elasticsearch. C'est ici que les données techniques deviennent visuelles et compréhensibles. Kibana permet de créer des dashboards interactifs, d'explorer des données en temps réel et de configurer des alertes.

Ce que Kibana permet de faire

• Discover : explorer les données brutes avec des filtres et le langage KQL (Kibana Query Language)
• Dashboards : créer des tableaux de bord interactifs avec graphiques, histogrammes, camemberts, cartes
• Lens : outil de visualisation drag-and-drop pour construire des graphiques sans écrire de requête
• Alerting : définir des règles d'alerte (ex : notification si le taux d'erreurs 500 dépasse un seuil)
• Machine Learning : détection d'anomalies automatique sur les séries temporelles
• Dev Tools : console intégrée pour exécuter des requêtes Elasticsearch en direct

En pratique, Kibana est l'outil que les équipes consultent quotidiennement. Un dashboard Kibana bien configuré remplace des dizaines de scripts de monitoring et offre une vue unifiée de l'état de l'infrastructure.

Architecture technique de la stack ELK

Voici le flux de données typique dans une stack ELK en production :

Les agents Beats

Beats sont des agents légers installés sur chaque machine. Chaque Beat est spécialisé :

En production, l'architecture typique utilise Filebeat sur chaque serveur pour collecter les logs, avec éventuellement un buffer Kafka ou Redis entre Beats et Logstash pour absorber les pics de charge. Elasticsearch est généralement déployé en cluster de 3 nœuds minimum pour la haute disponibilité.

Cas d'usage concrets

1. Centralisation des logs applicatifs

Le cas d'usage le plus courant. Au lieu de se connecter en SSH sur chaque serveur pour lire les logs, ELK les centralise. Un développeur peut rechercher une erreur 500 survenue il y a 3 jours sur n'importe quel serveur en quelques secondes via Kibana.

2. Monitoring d'infrastructure

Avec Metricbeat et Kibana, vous obtenez des dashboards montrant l'état de vos serveurs en temps réel : charge CPU, utilisation mémoire, espace disque, trafic réseau. Des alertes vous préviennent avant qu'un serveur ne sature.

3. Sécurité et SIEM

ELK est la base de nombreuses solutions SIEM. Elle permet de détecter des comportements suspects : tentatives de connexion SSH échouées, accès inhabituels, exfiltration de données. Elastic Security (extension payante) ajoute des règles de détection prêtes à l'emploi.

4. Observabilité Kubernetes et microservices

Dans un environnement conteneurisé (Docker, Kubernetes), les logs sont éphémères. ELK les capture avant que les conteneurs ne disparaissent, permettant de corréler les événements entre services et de diagnostiquer les problèmes dans des architectures distribuées.

5. Analyse business

Au-delà du technique, ELK sert à analyser des données métier : comportement utilisateur sur un site web, performances des API, tendances de vente, analyse de clickstream.

ELK vs Splunk vs Datadog vs Grafana + Loki

La stack ELK n'est pas la seule solution du marché. Voici un comparatif objectif des principales alternatives :

En résumé : ELK est la solution de choix quand vous voulez une stack puissante, open source et personnalisable. Splunk convient aux grandes entreprises avec du budget. Datadog est idéal si vous préférez un SaaS clé en main. Grafana + Loki est pertinent si vous êtes déjà dans l'écosystème Prometheus/Grafana et que la recherche full-text n'est pas prioritaire.

Comment démarrer avec ELK

Option 1 : installation locale (apprentissage)

La méthode la plus simple pour découvrir ELK est d'utiliser Docker. Trois conteneurs suffisent pour avoir une stack fonctionnelle :

# Télécharger et lancer Elasticsearch
docker run -d --name elasticsearch -p 9200:9200 -e "discovery.type=single-node" elasticsearch:8.12.0

# Lancer Kibana
docker run -d --name kibana -p 5601:5601 --link elasticsearch kibana:8.12.0

# Vérifier
curl http://localhost:9200
# Ouvrir Kibana : http://localhost:5601

Note : ces commandes sont simplifiées pour l'apprentissage. En production, la configuration sécurité (TLS, authentification) est indispensable.

Option 2 : Elastic Cloud (production rapide)

Elastic propose un service cloud managé avec 14 jours d'essai gratuit. L'avantage : pas d'infrastructure à gérer, mises à jour automatiques, scalabilité en un clic. C'est l'option recommandée pour démarrer rapidement en production.

Option 3 : suivre une formation structurée

Si vous préférez un apprentissage guidé avec des exercices pratiques, une formation vous fait gagner du temps. Vous évitez les erreurs de configuration courantes et vous apprenez les bonnes pratiques dès le départ.

ELK et le marché de l'emploi

La maîtrise de la stack ELK est une compétence recherchée dans plusieurs métiers techniques :

• Ingénieur DevOps / SRE : mise en place de l'observabilité, monitoring des pipelines CI/CD
• Administrateur système : centralisation des logs, surveillance d'infrastructure
• Analyste SOC / Cybersécurité : détection d'intrusions, analyse SIEM avec Elastic Security
• Data Engineer : ingestion et transformation de données à grande échelle
• Développeur backend : debugging applicatif, monitoring des performances

Elastic propose également des certifications officielles (Elastic Certified Engineer, Elastic Certified Analyst) qui valident votre expertise et renforcent votre profil sur le marché de l'emploi.

Les formations présentielle sur ELK coûtent généralement entre 1 500€ et 2 500€ HT pour 2 à 3 jours. La formation ELK de Lenidit permet d'acquérir les mêmes compétences fondamentales à partir de 19€/mois, avec un accès illimité et à votre rythme.