Intégration monitoring Amazon EMR

Important

Activez l' intégrationAWS CloudWatch Metric Streams pour monitorer toutes les métriques CloudWatch de vos services AWS, y compris l'espace de nommage personnalisé. L’intégration individuelle n’est plus notre option recommandée.

L'intégration de New Relic Infrastructure inclut une intégration permettant de signaler vos données Amazon EMR (Elastic MapReduce) à New Relic. Ce document explique comment activer cette intégration et décrit les données qui peuvent être signalées.

Caractéristiques

Vous pouvez monitorer et alerter sur vos données EMR directement depuis New Relic, interroger les données et créer un dashboard.

Activer l'intégration

Pour activer cette intégration, suivez les procédures standard pour connecter les services AWS à New Relic.

configuration et sondage

Vous pouvez modifier la fréquence d'interrogation et filtrer les données à l'aide des options de configuration.

Informations d'interrogation par défaut pour l'intégration Amazon EMR :

Intervalle d'interrogation de New Relic : 5 minutes
Résolution : 1 point de données toutes les 5 minutes

Explorer les données d'intégration

Pour utiliser vos données d’intégration, accédez à one.newrelic.com > All capabilities > Infrastructure > AWS et sélectionnez l’un des liens d’intégration EMR.

Vous pouvez interroger et explorer vos données en utilisant le type d'événement ElasticMapReduceClusterSample, avec une valeur provider de ElasticMapReduceCluster.

données métriques

Cette intégration collecte les données Amazon EMR suivantes. Pour les cas d'utilisation et les informations supplémentaires, consultez la documentation EMR d'Amazon.

Nom	Description
`isIdle`	Indique qu'un cluster n'effectue plus de travail, mais qu'il est toujours actif et accumule des charges. Il est défini sur 1 si aucune tâche n'est en cours d'exécution et aucun travail n'est en cours d'exécution, et défini sur 0 dans le cas contraire. Cette valeur est vérifiée toutes les cinq minutes et une valeur de 1 indique uniquement que le cluster était inactif lors de la vérification, et non qu'il était inactif pendant les cinq minutes entières. Recommandation : Pour éviter les faux positifs, augmentez un seuil d'alerte lorsque cette valeur est à 1 pendant plus d'un contrôle consécutif de cinq minutes. Par exemple, déclenchez une alerte sur cette valeur si elle est égale à 1 depuis trente minutes ou plus.
`coreNodesRunning`	Le nombre de nœuds principaux en fonctionnement. Les points de données pour cette métrique sont signalés uniquement lorsqu'un groupe instance correspondant existe.
`coreNodesPending`	Le nombre de nœuds principaux en attente d’être attribués. Il se peut que tous les nœuds principaux demandés ne soient pas immédiatement disponibles ; cette mesure indique les requests en attente. Les points de données pour cette métrique sont signalés uniquement lorsqu'un groupe instance correspondant existe.
`liveDataNodesPercentage`	Le pourcentage de nœuds de données qui reçoivent du travail de Hadoop.
`s3WrittenBytes`	Le nombre d'octets écrits sur Amazon S3. Cette métrique regroupe uniquement les tâches MapReduce. Cela ne s’applique pas aux autres charges de travail sur EMR.
`s3ReadBytes`	Le nombre d'octets lus depuis Amazon S3. Cette métrique regroupe uniquement les tâches MapReduce et ne s'applique pas aux autres charges de travail sur EMR.
`hdfsUtilizationPercentage`	Le pourcentage de stockage HDFS actuellement utilisé.
`hdfsReadBytes`	Le nombre d'octets lus à partir de HDFS.
`hdfsWrittenBytes`	Le nombre d'octets écrits sur HDFS.
`missingBlocks`	Le nombre de blocs dans lesquels HDFS n'a pas de répliques. Il peut s'agir de blocs corrompus.
`totalLoad`	Le nombre total actuel de lecteurs et d'écrivains signalés par tous les DataNodes d'un cluster.
`mostRecentBackupDurationMinutes`	Le temps nécessaire à la sauvegarde précédente pour être terminée. Cette métrique est définie indépendamment du fait que la dernière sauvegarde terminée ait réussi ou échoué. Pendant que la sauvegarde est en cours, cette métrique renvoie le nombre de minutes après le début de la sauvegarde. Cette métrique est uniquement signalée pour le cluster HBase.
`timeSinceLastSuccessfulBackupMinutes`	Le nombre de minutes écoulées après le démarrage de la dernière sauvegarde HBase réussie sur votre cluster. Cette métrique est uniquement signalée pour le cluster HBase.

Les métriques suivantes apparaissent dans l’exemple en fonction de la version Hadoop de la ressource.

Métriques des AMI Hadoop 1

Nom	Description
`jobsRunning`	Le nombre de tâches du cluster actuellement en cours d'exécution.
`jobsFailed`	Le nombre de tâches du cluster qui ont échoué.
`mapTasksRunning`	Le nombre de tâches cartographiques en cours d'exécution pour chaque travail. Si vous avez un planificateur installé et plusieurs tâches en cours d'exécution, plusieurs graphiques sont générés.
`mapTasksRemaining`	Le nombre de tâches cartographiques restantes pour chaque travail. Si vous avez un planificateur installé et plusieurs tâches en cours d'exécution, plusieurs graphiques sont générés. Une tâche de carte restante est une tâche qui n’est dans aucun des états suivants : `Running`, `Killed` ou `Completed`.
`mapSlotsOpen`	La capacité de tâche de carte inutilisée. Il s'agit du nombre maximal de tâches cartographiques pour un cluster donné, moins le nombre total de tâches cartographiques actuellement en cours d'exécution dans ce cluster.
`remainingMapTasksPerSlot`	Le rapport entre le nombre total de tâches de carte restantes et le nombre total d'emplacements de carte disponibles dans le cluster.
`reduceTasksRunning`	Le nombre de tâches de réduction en cours d'exécution pour chaque travail. Si vous avez un planificateur installé et plusieurs tâches en cours d'exécution, plusieurs graphiques sont générés.
`reduceTasksRemaining`	Le nombre de tâches de réduction en cours d'exécution pour chaque travail. Si vous avez un planificateur installé et plusieurs tâches en cours d'exécution, plusieurs graphiques sont générés.
`reduceSlotsOpen`	Capacité de tâche réduite inutilisée. Il s'agit de la capacité maximale de réduction des tâches pour un cluster donné, moins le nombre de tâches de réduction actuellement en cours d'exécution dans ce cluster.
`taskNodesRunning`	Le nombre de nœuds de tâches en cours d'exécution. Les points de données pour cette métrique sont signalés uniquement lorsqu'un groupe instance correspondant existe.
`taskNodesPending`	Le nombre de nœuds principaux en attente d’être attribués. Il se peut que tous les nœuds de tâches demandés ne soient pas immédiatement disponibles ; cette mesure indique les requests en attente. Les points de données pour cette métrique sont signalés uniquement lorsqu'un groupe instance correspondant existe.
`liveTaskTrackersPercentage`	Le pourcentage de suivi des tâches qui sont fonctionnels.
`backupFailed`	Si la dernière sauvegarde a échoué. Cette valeur est définie sur 0 par défaut et mise à jour sur 1 si la tentative de sauvegarde précédente a échoué. Cette métrique est uniquement signalée pour le cluster HBase.

Métriques des AMI Hadoop 2

Nom	Description
`containerAllocated`	Le nombre de conteneurs de ressources alloués par le ResourceManager.
`containerReserved`	Le nombre de conteneurs de ressources alloués par le ResourceManager.
`containerPending`	Le nombre de conteneurs dans la file d'attente qui n'ont pas encore été alloués.
`containerPendingRatio`	Le rapport entre le conteneur en attente et le conteneur alloué.
`appsCompleted`	Le nombre de candidatures soumises à YARN qui ont été finalisées.
`appsFailed`	Le nombre de candidatures soumises à YARN qui n'ont pas été finalisées.
`appsKilled`	Le nombre d'applications soumises à YARN qui ont été supprimées.
`appsPending`	Le nombre de demandes soumises à YARN qui sont en attente.
`appsRunning`	Le nombre d'applications soumises à YARN qui sont en cours d'exécution.
`appsSubmitted`	Le nombre de candidatures soumises à YARN.
`mrTotalNodes`	Le nombre de nœuds actuellement disponibles pour les tâches MapReduce.
`mrActiveNodes`	Le nombre de nœuds exécutant actuellement des tâches ou des travaux MapReduce.
`mrLostNodes`	Le nombre de nœuds alloués à MapReduce qui ont été marqués dans un état PERDU.
`mrUnhealthyNodes`	Le nombre de nœuds disponibles pour les tâches MapReduce marqués dans un état NON SAIN.
`mrDecommissionedNodes`	Le nombre de nœuds alloués aux applications MapReduce qui ont été marqués dans un état DÉCOMMISSIONNÉ.
`mrRebootedNodes`	Le nombre de nœuds disponibles pour MapReduce qui ont été redémarrés et marqués dans un état REBOOTED.
`corruptBlocks`	Le nombre de blocs que HDFS signale comme corrompus.
`memoryTotalBytes`	La quantité totale de mémoire dans le cluster.
`memoryReservedBytes`	La quantité de mémoire réservée.
`memoryAvailableBytes`	La quantité de mémoire disponible à allouer.
`memoryAllocatedBytes`	La quantité de mémoire allouée au cluster.
`yarnMemoryAvailablePercentage`	Le pourcentage de mémoire restant disponible pour YARN
`underReplicatedBlocks`	Le nombre de blocs qui doivent être répliqués une ou plusieurs fois.
`dfsPendingReplicationBlocks`	L'état de la réplication des blocs : blocs en cours de réplication, âge des requests de réplication et requests de réplication infructueuses.
`capacityRemainingBytes`	La quantité de capacité restante du disque HDFS.
`hbaseBackupFailed`	Si la dernière sauvegarde a échoué. Cette valeur est définie sur 0 par défaut et mise à jour sur 1 si la tentative de sauvegarde précédente a échoué. Cette métrique est uniquement signalée pour le cluster HBase.

Cette traduction automatique est fournie pour votre commodité.