Intégration monitoring AWS Glue

Important

Activez l' intégrationAWS CloudWatch Metric Streams pour monitorer toutes les métriques CloudWatch de vos services AWS, y compris l'espace de nommage personnalisé. L’intégration individuelle n’est plus notre option recommandée.

Actuellement, AWS métriques CloudWatch prend en charge uniquement les tâches ETL AWS Glue Spark. Ils ne prennent pas en charge les tâches AWS Glue Python Shell. Une demande de fonctionnalité active a été soumise à l'équipe AWS Glue pour inclure cette prise en charge.

New Relic propose une intégration pour générer des rapports sur vos données AWS Glue . Ce document explique comment activer cette intégration et décrit les données qui peuvent être signalées.

Activer l'intégration

Pour activer cette intégration, suivez les procédures standard pour connecter les services AWS à New Relic.

configuration et sondage

Vous pouvez modifier la fréquence d'interrogation et filtrer les données à l'aide des options de configuration.

Informations d'interrogation par défaut pour l'intégration AWS Glue :

Intervalle d'interrogation de New Relic : 5 minutes
Intervalle de données Amazon CloudWatch : 1 minute

Rechercher et utiliser des données

Pour trouver vos données d’intégration, accédez à one.newrelic.com > All capabilities > Infrastructure > AWS et sélectionnez une intégration.

Vous pouvez interroger et explorer vos données en utilisant le type d'événement suivant :

Entité	Type d'événement	Fournisseur
Emploi	`AwsGlueJobSample`	`AwsGlueJob`

Pour en savoir plus sur l’utilisation de vos données, consultez Comprendre et utiliser les données d’intégration.

données métriques

Cette intégration collecte les données AWS Glue pour Job.

Données sur le travail de collage

métrique	Unité	Description
`glue.driver.aggregate.bytesRead`	Octets	Le nombre d'octets lus à partir de toutes les sources de données par toutes les tâches Spark terminées exécutées dans tous les exécuteurs.
`glue.driver.aggregate.elapsedTime`	Millisecondes	Le temps écoulé ETL en millisecondes (n'inclut pas les temps bootstrap du travail).
`glue.driver.aggregate.numCompletedStages`	Compter	Le nombre d’étapes terminées dans le travail.
`glue.driver.aggregate.numCompletedTasks`	Compter	Le nombre de tâches terminées dans le travail.
`glue.driver.aggregate.numFailedTasks`	Compter	Le nombre de tâches échouées.
`glue.driver.aggregate.numKilledTasks`	Compter	Le nombre de tâches supprimées.
`glue.driver.aggregate.recordsRead`	Compter	Nombre d'enregistrements lus à partir de toutes les sources de données par toutes les tâches Spark terminées exécutées dans tous les exécuteurs.
`glue.driver.aggregate.shuffleBytesWritten`	Octets	Le nombre d'octets écrits par tous les exécuteurs pour mélanger les données entre eux depuis le rapport précédent (agrégé par le dashboard AWS Glue Métriques comme le nombre d'octets écrits à cette fin au cours de la minute précédente).
`glue.driver.aggregate.shuffleLocalBytesRead`	Octets	Le nombre d'octets lus par tous les exécuteurs pour mélanger les données entre eux depuis le rapport précédent (agrégé par le dashboard AWS Glue Métriques comme le nombre d'octets lus à cette fin au cours de la minute précédente).
`glue.driver.BlockManager.disk.diskSpaceUsed_MB`	Octets	Le nombre de mégaoctets d’espace disque utilisé par tous les exécuteurs.
`glue.driver.ExecutorAllocationManager.executors.numberAllExecutors`	Compter	Le nombre d'exécuteurs de tâches en cours d'exécution.
`glue.driver.ExecutorAllocationManager.executors.numberMaxNeededExecutors`	Compter	Le nombre maximal d'exécuteurs de tâches (en cours d'exécution et en attente) nécessaires pour satisfaire la charge actuelle.
`glue.driver.jvm.heap.usage`	Pour cent	La fraction de mémoire utilisée par le tas JVM pour ce pilote (échelle : 0-1) pour le pilote.
`glue.ALL.jvm.heap.usage`	Pour cent	La fraction de mémoire utilisée par le tas JVM pour ce pilote (échelle : 0-1) pour TOUS les exécuteurs.
`glue.driver.jvm.heap.used`	Octets	Le nombre d'octets de mémoire utilisés par le tas JVM pour le pilote.
`glue.ALL.jvm.heap.used`	Octets	Le nombre d'octets de mémoire utilisés par le tas JVM pour TOUS les exécuteurs.
`glue.driver.s3.filesystem.read_bytes`	Octets	Nombre d'octets lus depuis Amazon S3 par le pilote depuis le rapport précédent (agrégé par le dashboard AWS Glue Métriques comme le nombre d'octets lus au cours de la minute précédente).
`glue.ALL.s3.filesystem.read_bytes`	Octets	Nombre d'octets lus depuis Amazon S3 par TOUS les exécuteurs depuis le rapport précédent (agrégé par le dashboard AWS Glue Métriques comme le nombre d'octets lus au cours de la minute précédente).
`glue.driver.s3.filesystem.write_bytes`	Octets	Nombre d'octets écrits sur Amazon S3 par le pilote depuis le rapport précédent (agrégé par le dashboard AWS Glue Métriques comme le nombre d'octets écrits au cours de la minute précédente).
`glue.ALL.s3.filesystem.write_bytes`	Octets	Nombre d'octets écrits sur Amazon S3 par TOUS les exécuteurs depuis le rapport précédent (agrégé par le dashboard AWS Glue Métriques comme le nombre d'octets écrits au cours de la minute précédente).
`glue.driver.system.cpuSystemLoad`	Pour cent	La fraction de la charge système du processeur utilisée (échelle : 0-1) par le pilote.
`glue.ALL.system.cpuSystemLoad`	Pour cent	La fraction de la charge système CPU utilisée (échelle : 0-1) par TOUS les exécuteurs.