Monitoring Kafka : métriques, lag et dépannage — chapitre 11
Maîtriser les métriques, analyser les lags, diagnostiquer les pannes et mettre en place une observabilité complète de Kafka grâce à JMX, Prometheus,…
Contexte
Kafka est conçu pour supporter de très forts débits et des charges critiques. Pour garantir sa fiabilité, il est indispensable de mettre en place un monitoring Kafka robuste couvrant :
- les brokers (CPU, heap, GC, réplication, ISR),
- les producteurs (taux d’échec, latence),
- les consommateurs (lag, rebalances, commits),
- les topologies Kafka Streams,
- les connecteurs Kafka Connect,
- la santé des partitions,
- le cluster (sous / surcharge, rééquilibrage).
Ce chapitre présente une méthodologie complète pour monitorer, diagnostiquer et dépanner Kafka.
Lexique
Lag
Différence entre la position du consommateur et le dernier message produit.
JMX
Interface Java exposant les métriques internes des brokers Kafka.
Prometheus
Collecte et stocke les métriques sous format time-series.
Grafana
Visualise les métriques avec des tableaux de bord interactifs.
Cruise Control
Outil d’équilibrage automatique pour Kafka (rebalance, optimisation).
Under-replicated partitions
Partitions dont les ISR ne contiennent pas tous les réplicas.
Diagramme
La suite de cette leçon est réservée aux abonnés
Les 3 premières leçons de chaque formation sont gratuites. Débloquez la suite pour continuer.
Déjà abonné ? Se connecter
