Trouver et interroger les données Kafka dans New Relic

Une fois votre monitoring Kafka configuré avec OpenTelemetry, vos métriques apparaîtront à plusieurs endroits dans New Relic. Ce guide vous montre où trouver vos données et comment les interroger efficacement.

Accéder à vos données Kafka

Vos métriques Kafka apparaissent à plusieurs endroits sur la plateforme New Relic, chacune étant optimisée pour différents cas d'utilisation :

1. Explorateur d'entités

Idéal pour : Contrôles de santé rapides et relations d'entités

Aller à one.newrelic.com > All capabilities > On host integrations
Afficher les types d'entités des brokers, des clusters et des sujets Kafka

Entity explorer showing Kafka broker, cluster, and topics entity types

2. Files d'attente et flux

Idéal pour : Monitoring axé sur la file d'attente de messages

Aller à one.newrelic.com > All capabilities > Queues & Streams
Filtrez par provider=opentelemetry et cliquez sur la ligne du compte où vous avez instrumenté Kafka pour afficher vos données.

Queues & Streams view showing Kafka data filtered by OpenTelemetry provider

/* ### 3. Services tiers Idéal pour : le monitoring axé sur l'intégration 1. Accédez à <DNT>**[one.newrelic.com](https\://one.newrelic.com) > All capabilities > Infrastructure > Third-party services**</DNT> 2. Sélectionnez <DNT>**Kafka (OpenTelemetry)**</DNT> > <DNT>**OTel Kafka Dashboard**</DNT> <img title="Services tiers OTel Kafka" alt="Vue des services tiers montrant l'intégration Kafka (OpenTelemetry)" src="/images/infrastructure_screenshot-crop_otel-kafka-third-party-integrations.webp" /> */

3. Dashboards de bord pré-construits

Idéal pour : Monitoring et visualisation complets

Aller à one.newrelic.com > Dashboards > Recommended dashboards (View all)
Rechercher "OTel Kafka Dashboard"

Pre-built dashboard showing Kafka cluster health, network throughput, and broker metrics

Interrogez les données Kafka avec NRQL

Utilisez NRQL pour créer des requêtes et des dashboards personnalisés pour vos données Kafka.

Afficher toutes les métriques Kafka :

FROM Metric SELECT *
WHERE instrumentation.provider='opentelemetry'
AND kafka.cluster.name IS NOT NULL
LIMIT 100

Monitorer un cluster spécifique :

FROM Metric SELECT *
WHERE kafka.cluster.name = 'production-cluster'
AND instrumentation.provider='opentelemetry'

Retard du consommateur par groupe :

FROM Metric SELECT latest(kafka.consumer_group.lag)
WHERE instrumentation.provider='opentelemetry'
FACET kafka.consumer_group.name, kafka.topic.name
SINCE 1 hour ago TIMESERIES

Alerte de retard de consommateur élevé :

FROM Metric SELECT max(kafka.consumer_group.lag)
WHERE instrumentation.provider='opentelemetry'
AND kafka.consumer_group.name = 'your-consumer-group'

Nombre de brokers actifs :

FROM Metric SELECT latest(kafka.brokers)
WHERE instrumentation.provider='opentelemetry'
AND kafka.cluster.name = 'your-cluster'
TIMESERIES

Partitions sous-répliquées :

FROM Metric SELECT latest(kafka.partition.under_replicated)
WHERE instrumentation.provider='opentelemetry'
FACET kafka.topic.name SINCE 1 hour ago

Débit de messages par sujet :

FROM Metric SELECT rate(sum(kafka.topic.messages), 1 minute) as 'Messages/min'
WHERE instrumentation.provider='opentelemetry'
FACET kafka.topic.name SINCE 1 hour ago TIMESERIES

E/S réseau par broker :

FROM Metric SELECT rate(sum(kafka.network.io.bytes), 1 minute) as 'Bytes/min'
WHERE instrumentation.provider='opentelemetry'
FACET kafka.broker.id, direction SINCE 1 hour ago TIMESERIES

Requêtes avancées

Pour des exemples de requêtes plus complets, organisés par domaine de monitoring :

Obtenez des statistiques de cluster de haut niveau :

FROM Metric SELECT
  latest(kafka.brokers) AS 'Active Brokers',
  latest(kafka.cluster.topic.count) AS 'Total Topics',
  latest(kafka.cluster.partition.count) AS 'Total Partitions'
WHERE kafka.cluster.name = 'production-cluster'
  AND instrumentation.provider='opentelemetry'
TIMESERIES

Monitorez l'état de santé et le leadership de chaque broker :

FROM Metric SELECT
  latest(kafka.partition.under_replicated) AS 'Under-replicated Partitions',
  latest(kafka.broker.leader.count) AS 'Leader Count',
  latest(kafka.partition.count) AS 'Total Partitions'
WHERE kafka.cluster.name = 'production-cluster'
  AND instrumentation.provider='opentelemetry'
FACET broker.id
TIMESERIES

Suivez l'intégrité globale du cluster et l'état des partitions :

FROM Metric SELECT
  latest(kafka.partition.offline) AS 'Offline Partitions',
  latest(kafka.cluster.partition.count) AS 'Total Partitions',
  latest(kafka.cluster.topic.count) AS 'Total Topics'
WHERE kafka.cluster.name = 'production-cluster'
  AND instrumentation.provider='opentelemetry'
TIMESERIES

Monitorez les débits de messages et le débit de données par rubrique :

FROM Metric SELECT
  rate(sum(kafka.prod.msg.count), 1 minute) AS 'Messages/min',
  rate(filter(sum(kafka.topic.io), WHERE direction = 'in'), 1 minute) AS 'Bytes In/min',
  rate(filter(sum(kafka.topic.io), WHERE direction = 'out'), 1 minute) AS 'Bytes Out/min'
WHERE kafka.cluster.name = 'production-cluster'
  AND instrumentation.provider='opentelemetry'
FACET topic
TIMESERIES

Suivre le retard du groupe de consommateurs et les délais de traitement :

FROM Metric SELECT
  latest(kafka.consumer_group.lag_sum) AS 'Total Lag'
WHERE kafka.cluster.name = 'production-cluster'
  AND instrumentation.provider='opentelemetry'
FACET group
TIMESERIES

Monitorer les temps de traitement des requêtes et les performances :

FROM Metric SELECT
  latest(kafka.request.time.avg) AS 'Avg Latency',
  latest(kafka.request.time.99p) AS '99th Percentile'
WHERE kafka.cluster.name = 'production-cluster'
  AND instrumentation.provider='opentelemetry'
FACET type
TIMESERIES

Monitorer les métriques JVM pour les brokers Kafka :

FROM Metric SELECT
  (latest(jvm.memory.heap.used) / latest(jvm.memory.heap.max)) * 100 AS 'Heap Usage %',
  rate(sum(jvm.gc.collections.count), 1 minute) AS 'GC Count/min'
WHERE kafka.cluster.name = 'production-cluster'
  AND instrumentation.provider='opentelemetry'
FACET broker.id
TIMESERIES

Créer des dashboards personnalisés

Combinez plusieurs requêtes pour créer des dashboards de monitoring Kafka complets :

Accédez à one.newrelic.com > Dashboards
Cliquez sur « Create a dashboard »
Ajouter des widgets à l'aide des requêtes NRQL ci-dessus
Organiser les widgets par domaine d'intérêt :
- État du cluster : Nombre de brokers, partitions sous-répliquées, état du contrôleur
- Performances du consommateur : Retard, débit, appartenance au groupe
- Métriques de rubrique : Débits de messages, nombres de partitions, état de la réplication
- Utilisation des ressources : E/S réseau, métriques JVM, utilisation du disque

Configurer des alertes

Conseil

New Relic fournit des alertes de métriques dorées préconfigurées pour Kafka. Lors de la création d'une nouvelle condition d'alerte, sélectionnez Guided mode → Host integrations → Kafka (brokers, cluster ou topics) pour afficher les modèles d'alerte recommandés.

Vous pouvez également créer des alertes personnalisées à l'aide de requêtes NRQL :

Alerte lorsque le retard du consommateur dépasse votre seuil acceptable :

FROM Metric SELECT
  latest(kafka.consumer_group.lag_sum)
WHERE kafka.cluster.name = 'production-cluster'
  AND instrumentation.provider='opentelemetry'
FACET group

Seuil recommandé: Alerte lorsque le retard > 10 000 messages pour les groupes de consommateurs critiques.

Alerte lorsque les partitions perdent la réplication :

FROM Metric SELECT
  sum(kafka.partition.under_replicated)
WHERE kafka.cluster.name = 'production-cluster'
  AND instrumentation.provider='opentelemetry'

Seuil recommandé: Alerter lorsque des partitions deviennent sous-répliquées (> 0).

Alerter immédiatement lorsque les partitions sont hors ligne :

FROM Metric SELECT
  latest(kafka.partition.offline)
WHERE kafka.cluster.name = 'production-cluster'
  AND instrumentation.provider='opentelemetry'

Seuil recommandé: Alerte immédiatement lorsque des partitions sont hors ligne (> 0).

Alerte lorsque les partitions tombent en dessous du nombre minimal de répliques synchronisées :

FROM Metric SELECT
  latest(kafka.partition.under_min_isr)
WHERE kafka.cluster.name = 'production-cluster'
  AND instrumentation.provider='opentelemetry'
FACET broker.id

Seuil recommandé: Alertez lorsque des partitions tombent en dessous du ISR minimum (> 0).

Alerte lorsque l'utilisation du tas est critique :

FROM Metric SELECT
  (latest(jvm.memory.heap.used) / latest(jvm.memory.heap.max)) * 100
WHERE kafka.cluster.name = 'production-cluster'
  AND instrumentation.provider='opentelemetry'
FACET broker.id

Seuil recommandé: alertez lorsque l'utilisation du tas est > 85 % pendant des périodes prolongées.

Alerter en cas de taux d'échec de requêtes élevé :

FROM Metric SELECT
  rate(sum(kafka.request.failed), 1 minute)
WHERE kafka.cluster.name = 'production-cluster'
  AND instrumentation.provider='opentelemetry'
FACET type

Seuil recommandé: Alerte lorsque le taux d'échec est > 1 % du total des requêtes.

Alerte sur les élections de leader non propres (indique des défaillances de broker) :

FROM Metric SELECT
  rate(sum(kafka.unclean.election.rate), 1 minute)
WHERE kafka.cluster.name = 'production-cluster'
  AND instrumentation.provider='opentelemetry'

Seuil recommandé: Alertez sur les élections de leader non propres (> 0).

Prochaines étapes

Référence des métriques Kafka - Liste complète des métriques disponibles avec des descriptions
Créer des conditions d'alerte NRQL - Mettre en place un monitoring proactif
Tutoriel NRQL - Apprenez des techniques de requête avancées

Cette traduction automatique est fournie pour votre commodité.

Trouver et interroger les données Kafka dans New Relic

Accéder à vos données Kafka

1. Explorateur d'entités

2. Files d'attente et flux

3. Dashboards de bord pré-construits

Interrogez les données Kafka avec NRQL

Requêtes de base

Monitoring du retard du consommateur

Requêtes d'intégrité du broker

Monitoring des performances

Requêtes avancées

Aperçu du cluster

État de santé du broker

Santé Cluster

Débit et E/S des sujets

Retard du consommateur

Latence des requêtes

Santé JVM

Créer des dashboards personnalisés

Configurer des alertes

Conseil

Retard élevé du consommateur

Partitions sous-répliquées

Partitions hors ligne

Partitions sous ISR minimum

Utilisation élevée de la mémoire JVM

Échecs de requêtes

Élections de leader non propres

Prochaines étapes

Cette traduction automatique est fournie pour votre commodité.

Trouver et interroger les données Kafka dans New Relic

Accéder à vos données Kafka .css-21sua1{background:none;border:none;width:0;padding:0;}

1. Explorateur d'entités

2. Files d'attente et flux

3. Dashboards de bord pré-construits

Interrogez les données Kafka avec NRQL

Monitoring du retard du consommateur

Requêtes d'intégrité du broker

Monitoring des performances

Requêtes avancées

Aperçu du cluster

État de santé du broker

Santé Cluster

Débit et E/S des sujets

Retard du consommateur

Latence des requêtes

Santé JVM

Créer des dashboards personnalisés

Configurer des alertes

Conseil

Retard élevé du consommateur

Partitions sous-répliquées

Partitions hors ligne

Partitions sous ISR minimum

Utilisation élevée de la mémoire JVM

Échecs de requêtes

Élections de leader non propres

Prochaines étapes

Accéder à vos données Kafka