Intégration d'Amazon Managed Kafka (MSK)

Important

Activez l' intégrationAWS CloudWatch Metric Streams pour monitorer toutes les métriques CloudWatch de vos services AWS, y compris l'espace de nommage personnalisé. L’intégration individuelle n’est plus notre option recommandée.

New Relic propose une intégration pour collecter vos données Amazon Web Services Managed Streaming pour Apache Kafka . Ce document explique comment activer cette intégration et décrit les données qui peuvent être signalées.

Activer l'intégration

Pour activer cette intégration, suivez les procédures standard pour connecter les services AWS à New Relic.

configuration et sondage

Pour modifier la fréquence d'interrogation et filtrer les données, utilisez les options de configuration.

Informations d'interrogation par défaut pour l'intégration d'Amazon Managed Kafka :

Intervalle d'interrogation de New Relic : 5 minutes
Intervalle de données Amazon CloudWatch : 1 minute

Afficher et utiliser les données

Pour afficher vos données d’intégration, accédez à one.newrelic.com > All capabilities > Infrastructure > AWS et sélectionnez une intégration.

Vous pouvez interroger et explorer vos données en utilisant le type d'événement suivant :

Entité	Type d'événement	Fournisseur
Cluster	`AwsMskClusterSample`	`AwsMskCluster`
Courtier	`AwsMskBrokerSample`	`AwsMskBroker`
Sujet	`AwsMskTopicSample`	`AwsMskTopic`

Pour en savoir plus sur l’utilisation de vos données, consultez Comprendre et utiliser les données d’intégration.

données métriques

Cette intégration enregistre les données Amazon Managed Kafka pour cluster, le courtier et l'entité de rubrique.

Données Cluster Kafka gérées

métrique	Unité	Description
`activeControllerCount`	Compter	Un seul contrôleur par cluster doit être actif à un moment donné.
`globalPartitionCount`	Compter	Nombre total de partitions sur tous les courtiers du cluster.
`globalTopicCount`	Compter	Nombre total de sujets sur tous les courtiers du cluster.
`offlinePartitionsCount`	Compter	Nombre total de partitions hors ligne dans le cluster.

Données gérées par Kafka Broker

métrique	Unité	Description
`bytesInPerSec`	Octets par seconde	Le nombre d'octets par seconde reçus des clients.
`bytesOutPerSec`	Octets par seconde	Le nombre d'octets par seconde envoyés aux clients.
`cpuSystem`	Pour cent	Le pourcentage de CPU dans l'espace noyau.
`cpuUser`	Pour cent	Le pourcentage de CPU dans l'espace utilisateur.
`cpuIdle`	Pour cent	Le pourcentage de temps d'inactivité du processeur.
`fetchConsumerLocalTimeMsMean`	Millisecondes	Le temps moyen en millisecondes pendant lequel la demande du consommateur est traitée par le leader.
`fetchConsumerRequestQueueTimeMsMean`	Millisecondes	Le temps moyen en millisecondes pendant lequel la demande du consommateur attend dans la file d'attente des demandes.
`fetchConsumerResponseQueueTimeMsMean`	Millisecondes	Le temps moyen en millisecondes pendant lequel la demande du consommateur attend dans la file d'attente de réponse.
`fetchConsumerResponseSendTimeMsMean`	Millisecondes	Le temps moyen en millisecondes nécessaire au consommateur pour envoyer une réponse.
`fetchConsumerTotalTimeMsMean`	Millisecondes	Le temps total moyen en millisecondes que le consommateur passe à récupérer des données auprès du courtier.
`fetchFollowerLocalTimeMsMean`	Millisecondes	Le temps moyen en millisecondes pendant lequel la demande du suiveur est traitée par le leader.
`fetchFollowerRequestQueueTimeMsMean`	Millisecondes	Le temps moyen en millisecondes pendant lequel la demande du suiveur attend dans la file d'attente des demandes.
`fetchFollowerResponseQueueTimeMsMean`	Millisecondes	Le temps moyen en millisecondes pendant lequel la demande du suiveur attend dans la file d'attente de réponse.
`fetchFollowerResponseSendTimeMsMean`	Millisecondes	Le temps moyen en millisecondes nécessaire à l'abonné pour envoyer une réponse.
`fetchFollowerTotalTimeMsMean`	Millisecondes	Le temps total moyen en millisecondes que les abonnés passent à récupérer des données auprès du courtier.
`fetchMessageConversionsPerSec`	Compter par seconde	Le nombre de conversions de messages de récupération par seconde pour le courtier.
`fetchThrottleTime`	Millisecondes	Le temps moyen de limitation de la récupération en millisecondes.
`fetchThrottleByteRate`	Octets par seconde	Le nombre d'octets limités par seconde.
`fetchThrottleQueueSize`	Compter	Le nombre de messages dans la file d'attente.
`kafkaAppLogsDiskUsed`	Pour cent	Le pourcentage d'espace disque utilisé pour le log d'application.
`kafkaDataLogsDiskUsed`	Pour cent	Le pourcentage d'espace disque utilisé pour le log de données.
`leaderCount`	Compter	Le nombre de répliques du leader.
`memoryBuffered`	Octets	La taille en octets de la mémoire tampon du courtier.
`memoryCached`	Octets	La taille en octets de la mémoire cache pour le courtier.
`memoryFree`	Octets	La taille en octets de la mémoire libre et disponible pour le courtier.
`memoryUsed`	Octets	La taille en octets de la mémoire utilisée par le courtier.
`messagesInPerSec`	Compter par seconde	Le nombre de messages entrants par seconde pour le courtier.
`networkProcessorAvgIdlePercent`	Pour cent	Le pourcentage moyen de temps pendant lequel le processeur réseau est inactif.
`networkRxDropped`	Compter	Le nombre de paquets reçus abandonnés.
`networkRxErrors`	Compter	Le nombre d'erreurs de réception du réseau pour le courtier.
`networkRxPackets`	Compter	Le nombre de paquets reçus par le courtier.
`networkTxDropped`	Compter	Le nombre de paquets de transmission abandonnés.
`networkTxErrors`	Compter	Le nombre d'erreurs de transmission réseau pour le courtier.
`networkTxPackets`	Compter	Le nombre de paquets transmis par le courtier.
`partitionCount`	Compter	Le nombre de partitions pour le courtier.
`produceLocalTimeMsMean`	Millisecondes	Le temps moyen en millisecondes nécessaire à l'abonné pour envoyer une réponse.
`produceMessageConversionsPerSec`	Compter par seconde	Le nombre de conversions de messages produits par seconde pour le courtier.
`produceMessageConversionsTimeMsMean`	Millisecondes	Le temps moyen en millisecondes consacré aux conversions de format de message.
`produceRequestQueueTimeMsMean`	Millisecondes	Le temps moyen en millisecondes que les messages de demande passent dans la file d'attente.
`produceResponseQueueTimeMsMean`	Millisecondes	Le temps moyen en millisecondes que les messages de réponse passent dans la file d'attente.
`produceResponseSendTimeMsMean`	Millisecondes	Le temps moyen en millisecondes consacré à l'envoi de messages de réponse.
`produceTotalTimeMsMean`	Millisecondes	Le temps moyen de production en millisecondes.
`produceThrottleTime`	Millisecondes	Le temps moyen de production en millisecondes.
`produceThrottleByteRate`	Octets par seconde	Le nombre d'octets limités par seconde.
`produceThrottleQueueSize`	Compter	Le nombre de messages dans la file d'attente.
`requestBytesMean`	Compter	Le nombre moyen d'octets de demande pour le courtier.
`requestExemptFromThrottleTime`	Millisecondes	Le temps moyen passé dans le réseau du courtier et dans les threads d'I/O pour traiter requests exemptées de limitation.
`requestHandlerAvgIdlePercent`	Pour cent	Pourcentage moyen du temps pendant lequel les threads du gestionnaire de requêtes sont inactifs.
`requestThrottleQueueSize`	Compter	Le nombre de messages dans la file d'attente.
`requestThrottleTime`	Millisecondes	Le temps moyen de limitation des demandes en millisecondes.
`requestTime`	Millisecondes	Le temps moyen passé dans le réseau du courtier et les threads d'I/O pour traiter requests.
`rootDiskUsed`	Pour cent	Le pourcentage du disque racine utilisé par le courtier.
`swapUsed`	Octets	La taille en octets de la mémoire d'échange utilisée par le courtier.
`swapFree`	Octets	La taille en octets de la mémoire d'échange disponible pour le courtier.
`underMinIsrPartitionCount`	Compter	Le nombre de partitions sous minIsr pour le courtier.
`underReplicatedPartitions`	Compter	Le nombre de partitions sous-répliquées pour le courtier.
`zooKeeperRequestLatencyMsMean`	Millisecondes	Latence moyenne en millisecondes pour requests ZooKeeper du courtier.
`zooKeeperSessionState`	Autre	État de connexion de la session ZooKeeper du courtier qui peut être l'un des suivants : NOT_CONNECTED : « 0.0 », ASSOCIATING : « 0.1 », CONNECTING : « 0.5 », CONNECTEDREADONLY : « 0.8 », CONNECTED : « 1.0 », CLOSED : « 5.0 », AUTH_FAILED : « 10.0 ».

Données de sujet Kafka gérées

métrique	Unité	Description
`bytesInPerSec`	Octets par seconde	Le nombre d'octets reçus par seconde.
`bytesOutPerSec`	Octets par seconde	Le nombre d'octets envoyés par seconde.
`fetchMessageConversionsPerSec`	Compter par seconde	Le nombre de messages récupérés convertis par seconde.
`messagesInPerSec`	Compter par seconde	Le nombre de messages reçus par seconde.
`produceMessageConversionsPerSec`	Compter par seconde	Le nombre de conversions par seconde pour les messages produits.

Et ensuite ?

Data and UI

Découvrez comment utiliser New Relic pour monitorer votre cluster Kafka

Cette traduction automatique est fournie pour votre commodité.