Le monitoring Kafka offre une visibilité en temps réel sur vos clusters Apache Kafka afin d'assurer une diffusion de données fiable et d'éviter les temps d'arrêt coûteux dans les systèmes distribués. En utilisant OpenTelemetry Collector, vous obtenez un monitoring complète grâce à une approche flexible et neutre vis-à-vis des fournisseurs qui fonctionne dans les environnements auto-hébergés et Kubernetes avec Strimzi.
Monitorez vos clusters Kafka avec des dashboards complets affichant l'état du cluster, l'état du broker, les métriques des sujets et les performances du groupe de consommateurs.
Pourquoi le monitoring de Kafka ?
- Prévenez les pannes - Recevez des alertes en cas de défaillances de broker, de partitions sous-répliquées et de sujets hors ligne avant qu'elles ne provoquent des temps d'arrêt.
- Optimiser les performances - Identifier le retard des consommateurs, les producteurs lents et les goulots d'étranglement du réseau qui affectent la vitesse de traitement des données
- Planifier la capacité - Suivre l'utilisation des ressources, les débits de messages et le nombre de connexions pour évoluer de manière proactive
- Assurez l'intégrité des données - Monitorez l'état de la réplication et l'équilibre des partitions pour éviter la perte de données
Cas d'utilisation courant
Que vous diffusiez des transactions financières, traitiez des données de capteurs IoT ou gériez la communication des microservices, le monitoring Kafka vous aide à détecter les problèmes avant qu'ils n'aient un impact sur votre entreprise. Soyez alerté lorsque les pics de retard des consommateurs menacent les dashboards en temps réel, lorsque les pannes de broker risquent de provoquer une perte de données ou lorsque les goulots d'étranglement du réseau ralentissent les pipelines de données critiques. Ce monitoring est essentiel pour les plateformes de commerce électronique, les systèmes d'analyse en temps réel et toute application où les retards ou les pannes de livraison de messages peuvent affecter l'expérience utilisateur ou les opérations commerciales.
Démarrer
Choisissez votre environnement Kafka pour commencer le monitoring. Chaque guide d'installation comprend des prérequis, des étapes de configuration et des conseils de dépannage.
Comment ça marche
Le collecteur OpenTelemetry se connecte à votre cluster Kafka à l'aide de deux récepteurs spécialisés :
Collecte de données :
- Le récepteur de métriques Kafka se connecte au port bootstrap de Kafka pour la santé du cluster, le retard du consommateur, les métriques de rubrique et l'état des partitions.
- Récepteur JMX se connecte aux ports JMX du broker pour les métriques de performance, les données JVM et des informations opérationnelles détaillées
Flux de données :
- Les collecteurs collectent les métriques des deux récepteurs simultanément
- Les données sont traitées, enrichies et regroupées pour une transmission efficace
- Les métriques sont exportées vers New Relic via l'exportateur OTLP
- New Relic crée automatiquement des entités et remplit les dashboards
Ce que vous obtenez : Les principales métriques incluent le retard du consommateur, l'état du broker, les taux de requêtes, le débit du réseau, l'état de la réplication des partitions et l'utilisation des ressources.
Pour les noms de métriques complets, les descriptions et les recommandations d'alerte, consultez Référence des métriques Kafka.
Facultatif : Ajouter un monitoring au niveau de l'application
La configuration du monitoring ci-dessus suit l'état et les performances de votre cluster Kafka. Pour avoir une vue d'ensemble de la façon dont les données circulent dans votre système, vous pouvez également monitorer les applications qui envoient et reçoivent des messages de Kafka.
Le monitoring des applications ajoute :
- Latences des requêtes de vos applications vers Kafka
- Métriques de débit au niveau de l'application
- Taux d'erreur et traces distribuées
- Visibilité complète des producteurs → brokers → consommateurs
Configuration rapide : Utilisez l'OpenTelemetry Java Agent pour l'instrumentation Kafka sans code. Pour une configuration avancée, consultez la documentation d'instrumentation Kafka.
Prochaines étapes
Prêt à commencer à monitorer vos clusters Kafka ?
Configurer le monitoring :
- Kafka auto-hébergé - Monitorer Kafka fonctionnant sur des machines physiques ou virtuelles
- Kubernetes avec Strimzi - Monitorer Kafka déployé sur Kubernetes
Après la configuration :
- Trouver et interroger vos données - Naviguez dans l'interface utilisateur de New Relic et écrivez des requêtes NRQL
- Explorer les métriques Kafka - Référence complète des métriques avec recommandations d'alerte