Intégration monitoring AWS Kinesis Data Analytics

Important

Activez l' intégrationAWS CloudWatch Metric Streams pour monitorer toutes les métriques CloudWatch de vos services AWS, y compris l'espace de nommage personnalisé. L’intégration individuelle n’est plus notre option recommandée.

Notre intégration demonitoring d'infrastructure inclut une intégration pour signaler vos données AWS Kinesis Data Analytics à nos produits. Lisez la suite pour en savoir plus sur la manière d’activer l’intégration et sur les données qu’elle collecte.

Activer l'intégration

Pour activer cette intégration, suivez les procédures standard pour connecter les services AWS à New Relic.

configuration et sondage

Vous pouvez modifier la fréquence d'interrogation et filtrer les données à l'aide des options de configuration.

Informations d'interrogation par défaut pour l'intégration AWS Kinesis Data Analytics :

Intervalle d'interrogation de New Relic : 5 minutes
Intervalle de données Amazon CloudWatch : 1 minute

Rechercher et utiliser des données

Pour trouver vos données d'intégration dans notre UI infrastructure, accédez à one.newrelic.com > All capabilities > Infrastructure > AWS et sélectionnez une intégration.

Les données sont jointes au type d’événement suivant :

Entité	Type d'événement	Fournisseur
Application	`AwsKinesisAnalyticsApplicationSample`	`AwsKinesisAnalyticsApplication`
DemandeKpu	`AwsKinesisAnalyticsApplicationSample`	`AwsKinesisAnalyticsApplication`
Tâche	`AwsKinesisAnalyticsTaskSample`	`AwsKinesisAnalyticsTask`
Opérateur de tâche	`AwsKinesisAnalyticsTaskOperatorSample`	`AwsKinesisAnalyticsTaskOperator`
Parallélisme des tâches	`AwsKinesisAnalyticsTaskParallelismSample`	`AwsKinesisAnalyticsTaskParallelism`
Parallélisme de l'opérateur de tâche	`AwsKinesisAnalyticsTaskOperatorParallelismSample`	`AwsKinesisAnalyticsTaskOperatorParallelism`

Pour en savoir plus sur l’utilisation de vos données, consultez Comprendre et utiliser les données d’intégration.

données métriques

Cette intégration collecte les données AWS Kinesis Data Analytics pour Application, ApplicationKpu, Task, TaskOperator, TaskParallelism et TaskOperatorParallelism.

Données d'application Kinesis Data Analytics

métrique	Unité	Description
`bytesConsumedRate`	Octets par seconde	Le nombre moyen d'octets consommés par seconde pour un sujet.
`commitsFailed`	Compter	Nombre total d'échecs de validation de décalage sur Kafka, si la validation de décalage et le point de contrôle sont activés.
`commitsSucceeded`	Compter	Le nombre total de validations de décalage réussies sur Kafka, si la validation de décalage et les points de contrôle sont activés.
`cpuUtilization`	Pour cent	Pourcentage global d'utilisation du processeur dans les gestionnaires de tâches. Par exemple, s’il existe cinq gestionnaires de tâches, Kinesis Data Analytics publie cinq échantillons de cette métrique par intervalle de rapport.
`currentInputWatermark`	Millisecondes	Le dernier filigrane que cette application/opérateur/tâche/thread a reçu.
`currentOutputWatermark`	Millisecondes	Le dernier filigrane que cette application/opérateur/tâche/thread a émistre.
`downtime`	Millisecondes	Pour les tâches actuellement en situation d'échec/de récupération, le temps écoulé pendant cette panne.
`fullRestarts`	Compter	Le nombre total de fois où cette tâche a été entièrement redémarrée depuis sa soumission. Cette métrique ne mesure pas les redémarrages à granularité fine.
`heapMemoryUtilization`	Pour cent	Utilisation globale de la mémoire du tas dans les gestionnaires de tâches. Par exemple, s’il existe cinq gestionnaires de tâches, Kinesis Data Analytics publie cinq échantillons de cette métrique par intervalle de rapport.
`lastCheckpointDuration`	Millisecondes	Le temps qu'il a fallu pour franchir le dernier point de contrôle.
`lastCheckpointSize`	Octets	La taille totale du dernier point de contrôle.
`numRecordsInPerSecond`	Compter par seconde	Le nombre total d'enregistrements que cet opérateur ou cette tâche a reçus par seconde.
`numRecordsOut`	Compter	Le nombre total d'enregistrements que cet opérateur ou cette tâche a émis.
`numRecordsOutPerSecond`	Compter par seconde	Le nombre total d'enregistrements que cet opérateur ou cette tâche doit émettre par seconde.
`numberOfFailedCheckpoints`	Compter	Le nombre de fois où le point de contrôle a échoué.
`numRecordsIn`	Compter	Le nombre total d’enregistrements que cet opérateur ou cette tâche a reçus.
`oldGenerationGcCount`	Compter	Le nombre total d'anciennes opérations de récupération de place qui ont eu lieu dans tous les gestionnaires de tâches.
`oldGenerationGcTime`	Millisecondes	Le temps total passé à effectuer d'anciennes opérations de collecte des déchets.
`recordsLagMax`	Compter	Le décalage maximal en termes de nombre d'enregistrements pour n'importe quelle partition dans cette fenêtre.
`threadsCount`	Compter	Le nombre total de threads actifs utilisés par l'application.
`uptime`	Millisecondes	Le temps pendant lequel le travail a été exécuté sans interruption.
`bytes`	Octets	Le nombre d'octets lus (par flux d'entrée) ou écrits (par flux de sortie).
`inputProcessing.DroppedRecords`	Compter	Le nombre d'enregistrements renvoyés par une fonction Lambda qui ont été marqués avec le statut Abandonné.
`inputProcessing.Duration`	Millisecondes	Le temps nécessaire à chaque invocation de la fonction AWS Lambda effectuée par Kinesis Data Analytics.
`inputProcessing.OkBytes`	Compter	La somme des octets des enregistrements renvoyés par une fonction Lambda qui ont été marqués avec le statut Ok.
`inputProcessing.OkRecords`	Compter	Le nombre d'enregistrements renvoyés par une fonction Lambda qui ont été marqués avec le statut Ok.
`inputProcessing.ProcessingFailedRecords`	Compter	Le nombre d'enregistrements renvoyés par une fonction Lambda qui ont été marqués avec le statut ProcessingFailed.
`inputProcessing.Success`	Compter	Le nombre d'invocations Lambda réussies par Kinesis Data Analytics.
`lambdaDelivery.DeliveryFailedRecords`	Compter	Le nombre d'enregistrements renvoyés par une fonction Lambda qui ont été marqués avec le statut DeliveryFailed.
`lambdaDelivery.Duration`	Millisecondes	Le temps nécessaire à chaque invocation de fonction Lambda effectuée par Kinesis Data Analytics.
`lambdaDelivery.OkRecords`	Compter	Le nombre d'enregistrements renvoyés par une fonction Lambda qui ont été marqués avec le statut Ok.
`millisBehindLatest`	Millisecondes	Indique à quel point une application est en retard par rapport à l'heure actuelle en ce qui concerne la lecture de la source de streaming.
`records`	Compter	Le nombre d'enregistrements lus (par flux d'entrée) ou écrits (par flux de sortie).
`success`	Compter	1 pour chaque tentative de livraison réussie à la destination configurée pour votre application ; 0 pour chaque tentative de livraison échouée. La valeur moyenne de cette métrique indique le nombre d'accouchements réussis.
`bytesRequestedPerFetch`	Octets	Les octets demandés dans un seul appel à getRecords.
`committedOffsets`	Autre	Les derniers décalages validés avec succès sur Kafka, pour chaque partition. La métrique d'une partition particulière peut être spécifiée par le nom du sujet et l'ID de partition.
`currentOffsets`	Autre	Le décalage de lecture actuel du consommateur, pour chaque partition. La métrique d'une partition particulière peut être spécifiée par le nom du sujet et l'ID de partition.

Application d'analyse de données KinesisDonnées Kpu

métrique	Unité	Description
`KPUs`	Compter	Le nombre d'unités de traitement Kinesis (KPU) actuellement utilisées. Known issue:comme cette métrique a un décalage plus long que les autres, dans certains cas, elle n'est pas affichée

métrique

Unité

Description

KPUs

Compter

Le nombre d'unités de traitement Kinesis (KPU) actuellement utilisées.

Known issue:comme cette métrique a un décalage plus long que les autres, dans certains cas, elle n'est pas affichée

Données de tâches de Kinesis Data Analytics

métrique	Unité	Description
`commitsFailed`	Compter	Nombre total d'échecs de validation de décalage sur Kafka, si la validation de décalage et le point de contrôle sont activés.
`commitsSucceeded`	Compter	Le nombre total de validations de décalage réussies sur Kafka, si la validation de décalage et les points de contrôle sont activés.
`currentInputWatermark`	Millisecondes	Le dernier filigrane que cette tâche a reçu.
`currentOutputWatermark`	Millisecondes	Le filigrane actuellement en sortie.
`numLateRecordsDropped`	Compter	Le nombre d'enregistrements que cette tâche a supprimés en raison d'une arrivée tardive.
`numRecordsIn`	Compter	Le nombre total d’enregistrements que cette tâche a reçus.
`numRecordsInPerSecond`	Compter par seconde	Le nombre total d'enregistrements que cette tâche a reçus par seconde.
`numRecordsOut`	Compter	Le nombre total d'enregistrements que cette tâche doit émettre.
`numRecordsOutPerSecond`	Compter par seconde	Le nombre total d'enregistrements que cette tâche doit émettre par seconde.
`recordsLagMax`	Compter	Le décalage maximal en termes de nombre d'enregistrements pour n'importe quelle partition dans cette fenêtre.

Données de l'opérateur de tâches Kinesis Data Analytics

métrique	Unité	Description
`bytesConsumedRate`	Octets par seconde	Le nombre moyen d'octets consommés par seconde pour un sujet.
`commitsFailed`	Compter	Nombre total d'échecs de validation de décalage sur Kafka, si la validation de décalage et le point de contrôle sont activés.
`commitsSucceeded`	Compter	Le nombre total de validations de décalage réussies sur Kafka, si la validation de décalage et les points de contrôle sont activés.
`currentInputWatermark`	Millisecondes	Le dernier filigrane que cette tâche a reçu.
`currentOutputWatermark`	Millisecondes	Le dernier filigrane que cette application/opérateur/tâche/thread a émistre.
`numLateRecordsDropped`	Compter	Le nombre d'enregistrements que cet opérateur ou cette tâche a abandonnés en raison d'une arrivée tardive.
`numRecordsIn`	Compter	Le nombre total d’enregistrements que cette tâche a reçus.
`numRecordsInPerSecond`	Compter par seconde	Le nombre total d'enregistrements que cette tâche a reçus par seconde.
`numRecordsOut`	Compter	Le nombre total d'enregistrements que cette tâche doit émettre.
`numRecordsOutPerSecond`	Compter par seconde	Le nombre total d'enregistrements que cette tâche doit émettre par seconde.
`recordsLagMax`	Compter	Le décalage maximal en termes de nombre d'enregistrements pour n'importe quelle partition dans cette fenêtre.

Tâche d'analyse des données KinesisParallélisme des données

métrique	Unité	Description
`currentInputWatermark`	Millisecondes	Le dernier filigrane que cette application/opérateur/tâche/thread a reçu.
`numLateRecordsDropped`	Compter	Le nombre d'enregistrements que cette tâche a supprimés en raison d'une arrivée tardive.
`numRecordsIn`	Compter	Le nombre total d’enregistrements que cette tâche a reçus.
`numRecordsInPerSecond`	Compter par seconde	Le nombre total d'enregistrements que cette tâche a reçus par seconde.
`numRecordsOut`	Compter	Le nombre total d'enregistrements que cette tâche doit émettre.
`numRecordsOutPerSecond`	Compter par seconde	Le nombre total d'enregistrements que cette tâche doit émettre par seconde.

Kinesis Data Analytics TaskOperatorParallélisme des données

métrique	Unité	Description
`bytesConsumedRate`	Octets par seconde	Le nombre moyen d'octets consommés par seconde pour un sujet.
`commitsFailed`	Compter	Nombre total d'échecs de validation de décalage sur Kafka, si la validation de décalage et le point de contrôle sont activés.
`commitsSucceeded`	Compter	Le nombre total de validations de décalage réussies sur Kafka, si la validation de décalage et les points de contrôle sont activés.
`currentInputWatermark`	Millisecondes	Le dernier filigrane que cette application/opérateur/tâche/thread a reçu.
`currentOutputWatermark`	Millisecondes	Le dernier filigrane que cette application/opérateur/tâche/thread a émistre.
`numRecordsIn`	Compter	Le nombre total d’enregistrements que cet opérateur ou cette tâche a reçus.
`numRecordsInPerSecond`	Compter par seconde	Le nombre total d'enregistrements que cet opérateur ou cette tâche a reçus par seconde.
`numRecordsOut`	Compter	Le nombre total d'enregistrements que cet opérateur ou cette tâche a émis.
`numRecordsOutPerSecond`	Compter par seconde	Le nombre total d'enregistrements que cet opérateur ou cette tâche doit émettre par seconde.
`recordsLagMax`	Compter	Le décalage maximal en termes de nombre d'enregistrements pour n'importe quelle partition dans cette fenêtre.

Cette traduction automatique est fournie pour votre commodité.