Cette traduction automatique est fournie pour votre commodité.
En cas d'incohérence entre la version anglaise et la version traduite, la version anglaise prévaudra. Veuillez visiter cette page pour plus d'informations.
Le monitoring OpenTelemetry Kafka utilise deux récepteurs complémentaires :
Récepteur de métriques Kafka: Se connecte au port de démarrage de Kafka pour collecter les métriques du cluster, des sujets, des partitions et des groupes de consommateurs
Récepteur JMX: se connecte au port JMX (généralement 9999) pour collecter des métriques détaillées du broker et des métriques JVM
Métriques du récepteur de métriques Kafka
Ces métriques sont collectées auprès des brokers Kafka en utilisant le protocole Kafka (port de démarrage). Basé sur les métadonnées du kafkametricsreceiver, avec certaines métriques désactivées par défaut ou dans les configurations typiques.
Nom métrique
Description
Type
kafka.brokers
Nombre total de brokers dans le cluster
Jauge (int)
Nom métrique
Description
Type
Attributs
kafka.topic.partitions
Nombre de partitions dans le sujet
Somme (int)
sujet
kafka.topic.min_insync_replicas
Réplicas synchronisés minimum d'un sujet
Jauge (int)
sujet
kafka.topic.replication_factor
Facteur de réplication d'un sujet
Jauge (int)
sujet
Nom métrique
Description
Type
Attributs
kafka.partition.replicas_in_sync
Nombre de réplicas synchronisés pour une partition
Somme (int)
sujet, partition
kafka.partition.replicas_in_sync.total
Nombre total de répliques synchronisées agrégées sur toutes les partitions pour un sujet
Somme (int)
sujet
Nom métrique
Description
Type
Attributs
kafka.consumer_group.members
Nombre de membres dans le groupe de consommateurs
Somme (int)
groupe
kafka.consumer_group.offset
Décalage actuel du groupe de consommateurs à la partition du sujet
Jauge (int)
groupe, sujet, partition
kafka.consumer_group.offset_sum
Somme de l'offset du groupe de consommateurs sur les partitions du sujet
Jauge (int)
groupe, sujet
kafka.consumer_group.lag
Retard approximatif actuel du groupe de consommateurs au niveau de la partition du sujet
Jauge (int)
groupe, sujet, partition
kafka.consumer_group.lag_sum
Somme approximative actuelle du retard du groupe de consommateurs sur toutes les partitions du sujet
Jauge (int)
groupe, sujet
Métriques du récepteur JMX
Le récepteur JMX collecte des métriques détaillées à partir des MBeans du broker Kafka via JMX (généralement le port 9999). Les métriques sont collectées à l’aide de deux configurations :
Système cible Kafka par défaut - Métriques spécifiques à Kafka intégrées à partir de target_system: kafka (kafka.yaml)
Métriques JMX personnalisées - Métriques Kafka et JVM supplémentaires définies dans la configuration personnalisée
Métriques système cibles Kafka par défaut
Ces métriques sont collectées automatiquement lors de l'utilisation de target_system: kafka:
Ces métriques sont collectées à partir du broker du contrôleur et fournissent des informations à l’échelle du cluster :
Nom métrique
Description
Type
kafka.partition.offline
Le nombre de partitions hors ligne dans le cluster
Jauge
kafka.leader.election.rate
Le nombre d'élections du leader
Comptoir
kafka.unclean.election.rate
Nombre d'élections de leader non propres - une augmentation indique des défaillances du broker
Comptoir
Nom métrique
Description
Type
kafka.message.count
Le nombre de messages reçus par le broker
Comptoir
kafka.request.count
Le nombre de requêtes reçues par le broker
Comptoir
kafka.request.failed
Le nombre de requêtes ayant échoué
Comptoir
kafka.request.time.total
Le temps total passé à traiter les requêtes (ms)
Comptoir
kafka.request.time.avg
Temps moyen de traitement des requêtes (ms)
Jauge
kafka.request.time.50p
Temps de requête au 50e percentile (ms)
Jauge
kafka.request.time.99p
Temps de requête au 99e percentile (ms)
Jauge
kafka.network.io
Octets reçus ou envoyés par courtier par seconde (inclut l'attribut de direction : entrant/sortant)
Comptoir
kafka.purgatory.size
Le nombre de requêtes en attente au purgatoire (opérations de production et d'extraction)
Jauge
kafka.partition.count
Le nombre de partitions sur le broker
Jauge
kafka.partition.under_replicated
Le nombre de partitions sous-répliquées sur ce broker
Jauge
kafka.isr.operation.count
Opérations de réplica synchronisées (réduction ou extension)
Comptoir
kafka.lag.max
Lag maximum entre les réplicas suiveurs et le leader
Jauge
kafka.controller.active.count
Si ce broker est le contrôleur actif (0 ou 1)
Jauge
kafka.logs.flush.count
Nombre de vidages de logs
Comptoir
kafka.logs.flush.time.50p
Temps de vidage des logs - 50e percentile (ms)
Jauge
kafka.logs.flush.time.99p
Temps de vidage des logs - 99e percentile (ms)
Jauge
Attributs : De nombreuses métriques incluent l'attribut type indiquant le type de requête (par exemple, fetch, produce), ou state pour les opérations ISR (par exemple, shrink, expand), ou direction pour les E/S réseau (in, out).
Métriques JMX personnalisées
Ces métriques Kafka et JVM supplémentaires sont collectées lors de l’utilisation d’un fichier de configuration JMX personnalisé (comme indiqué dans la configuration auto-hébergée). La configuration personnalisée vous permet de collecter des métriques spécifiques à Kafka supplémentaires au-delà de l’ensemble par défaut, ainsi que des métriques d’intégrité JVM.
Nom métrique
Description
Type
kafka.cluster.topic.count
Le nombre total de sujets dans le cluster
Jauge
kafka.cluster.partition.count
Le nombre total de partitions dans le cluster
Jauge
kafka.broker.fenced.count
Le nombre de brokers clôturés dans le cluster
Jauge
kafka.partition.non_preferred_leader
Le nombre de partitions de sujet pour lesquelles le leader n'est pas le leader préféré
Jauge
Nom métrique
Description
Type
kafka.partition.under_min_isr
Le nombre de partitions où le nombre de réplicas synchronisés est inférieur au minimum
Jauge
kafka.broker.uptime
Durée de fonctionnement du courtier (ms)
Jauge
kafka.broker.leader.count
Nombre de partitions pour lesquelles ce broker est le leader
Jauge
Nom métrique
Description
Type
Attributs
kafka.prod.msg.count
Le nombre de messages reçus par rubrique
Comptoir
sujet
kafka.topic.io
Les octets reçus ou envoyés par sujet
Comptoir
sujet, direction (entrant/sortant)
Nom métrique
Description
Type
jvm.memory.heap.used
Mémoire heap utilisée actuelle (octets)
Jauge
jvm.memory.heap.max
Mémoire heap maximale disponible (octets)
Jauge
jvm.memory.heap.committed
Mémoire de tas validée (octets)
Jauge
jvm.gc.collections.count
Nombre total de collectes de mémoire qui se sont produites
Comptoir
jvm.gc.collections.elapsed
Le temps écoulé approximatif de la collecte accumulée (ms)
Comptoir
jvm.thread.count
Nombre total de threads (plage typique de Kafka de 100 à 300 threads)
Jauge
jvm.system.cpu.load_1m
Charge système moyenne (1 minute) - alerter si supérieure au nombre de CPU
Jauge
jvm.cpu.count
Nombre de processeurs disponibles
Jauge
jvm.cpu.recent_utilization
Utilisation récente du CPU pour le processus JVM (0,0 à 1,0)
Jauge
jvm.system.cpu.utilization
Utilisation récente du processeur pour l'ensemble du système (0,0 à 1,0)
Jauge
jvm.file_descriptor.count
Nombre de descripteurs de fichiers ouverts - alerte si supérieur à 80 % de ulimit
Jauge
jvm.class.count
Nombre de classes actuellement chargées
Jauge
jvm.memory.pool.used
Utilisation du pool de mémoire par génération (G1 Old Gen, Eden, Survivor) en octets
Jauge
jvm.memory.pool.max
Taille maximale du pool de mémoire (octets)
Jauge
jvm.memory.pool.used_after_last_gc
Mémoire utilisée après le dernier GC - affiche la base de référence de la mémoire conservée (octets)
Jauge
Attributs : les métriques JVM incluent des attributs tels que name (pour les noms de collecteurs GC ou les noms de pools de mémoire).
Métriques du client Kafka (agent OpenTelemetry Java)
Ces métriques sont collectées à partir des applications producteur et consommateur Kafka instrumentées avec l'agent OpenTelemetry Java avec l'instrumentation Kafka activée. Celles-ci fournissent une visibilité côté client sur les interactions des applications avec les brokers Kafka et complètent les métriques côté broker en fournissant la perspective de l'application.
Métriques de connexion et de réseau
Nom métrique
Description
Attributs
kafka.producer.connection_count
Nombre de connexions actives
client-id
kafka.producer.connection_creation_rate
Taux de nouvelles connexions établies
client-id
kafka.producer.connection_creation_total
Total des connexions créées
client-id
kafka.producer.connection_close_rate
Taux de connexions fermées
client-id
kafka.producer.network_io_rate
Taux d'opérations réseau
client-id
kafka.producer.network_io_total
Nombre total d'opérations réseau
client-id
kafka.producer.outgoing_byte_rate
Débit d'octets sortants
identifiant-client, identifiant-nœud
kafka.producer.outgoing_byte_total
Octets sortants totaux
identifiant-client, identifiant-nœud
Métriques de requête et de réponse
Nom métrique
Description
Attributs
kafka.producer.request_rate
Taux de requêtes envoyées
identifiant-client, identifiant-nœud
kafka.producer.request_total
Nombre total de requêtes envoyées
identifiant-client, identifiant-nœud
kafka.producer.request_size_avg
Taille moyenne des requêtes
identifiant-client, identifiant-nœud
kafka.producer.request_size_max
Taille maximale de la requête
identifiant-client, identifiant-nœud
kafka.producer.request_latency_avg
Latence moyenne des requêtes (ms)
identifiant-client, identifiant-nœud
kafka.producer.request_latency_max
Latence maximale des requêtes (ms)
identifiant-client, identifiant-nœud
kafka.producer.response_rate
Débit de réponses reçues
identifiant-client, identifiant-nœud
kafka.producer.response_total
Total des réponses reçues
identifiant-client, identifiant-nœud
kafka.producer.requests_in_flight
Nombre de requêtes en cours
client-id
Métriques d'enregistrement
Nom métrique
Description
Attributs
kafka.producer.record_send_rate
Taux d'enregistrements envoyés
identifiant-client, sujet
kafka.producer.record_send_total
Total des enregistrements envoyés
identifiant-client, sujet
kafka.producer.record_error_rate
Débit d'erreurs d'envoi d'enregistrements
identifiant-client, sujet
kafka.producer.record_error_total
Nombre total d'erreurs d'envoi d'enregistrements
identifiant-client, sujet
kafka.producer.record_retry_rate
Taux de nouvelles tentatives d'enregistrement
identifiant-client, sujet
kafka.producer.record_retry_total
Nombre total de nouvelles tentatives d'enregistrement
identifiant-client, sujet
kafka.producer.record_size_avg
Taille moyenne des enregistrements
client-id
kafka.producer.record_size_max
Taille maximale des enregistrements
client-id
kafka.producer.record_queue_time_avg
Temps moyen passé par les enregistrements dans le tampon d'envoi (ms)
client-id
kafka.producer.record_queue_time_max
Temps maximum passé par les enregistrements dans le tampon d'envoi (ms)
Authentifications réussies sans réauthentification
client-id
kafka.consumer.successful_reauthentication_rate
Taux de réauthentifications réussies
client-id
kafka.consumer.successful_reauthentication_total
Nombre total de réauthentifications réussies
client-id
kafka.consumer.failed_authentication_rate
Taux d'échecs d'authentification
client-id
kafka.consumer.failed_authentication_total
Nombre total d'authentifications ayant échoué
client-id
kafka.consumer.failed_reauthentication_rate
Taux de réauthentifications échouées
client-id
kafka.consumer.failed_reauthentication_total
Nombre total de réauthentifications échouées
client-id
kafka.consumer.reauthentication_latency_avg
Latence moyenne de réauthentification (ms)
client-id
kafka.consumer.reauthentication_latency_max
Latence maximale de réauthentification (ms)
client-id
Métriques diverses
Nom métrique
Description
Attributs
kafka.consumer.select_rate
Taux d'appels select
client-id
kafka.consumer.select_total
Nombre total d’appels select
client-id
attribut métrique
Les métriques peuvent être filtrées et regroupées à l'aide des attributs suivants :
Attributs courants :
kafka.cluster.name - Nom du cluster Kafka (toutes les métriques)
instrumentation.provider - Toujours opentelemetry (toutes les métriques)
topic - Nom du sujet Kafka
partition - Numéro de partition
group - Nom du groupe de consommateurs
broker.id - Identifiant du broker (métriques JMX)
client-id - Identifiant du client (métriques client)
node-id - Identifiant du nœud de broker (métriques client)
type - Type de requête (par exemple, fetch, produce)
direction - Direction des données (entrant, sortant)
state - État de l'opération ISR (réduction, expansion)
name - Nom du collecteur GC ou du pool de mémoire (métriques JVM)
Prochaines étapes
Interrogez et visualisez vos données - Trouvez des métriques dans l'interface utilisateur New Relic, écrivez des requêtes NRQL, créez des dashboards et configurez des alertes