Intégration Apache Hadoop

Installer l' agent d'infrastructure

Pour utiliser l’intégration Apache Hadoop, vous devez d’abord installer l’agent d’infrastructure sur le même hôte. L'agent infrastructure monitore l'hôte lui-même, tandis que l'intégration que vous installerez à l'étape suivante étend votre monitoring avec des données spécifiques à Hadoop.

Configurer NRI-Flex pour Apache Hadoop

Notre intégration flexible est fournie avec l'agent New Relic Infrastructure et est utilisée pour envoyer vos données Apache Hadoop à New Relic. Pour créer un fichier de configuration flexible, suivez ces étapes :

1. Créez un fichier nommé nri-flex-hadoop-config.yml dans le chemin /etc/newrelic-infra/integrations.d .

2. Utilisez notre modèle de configuration pour mettre à jour les champs EVENT_TYPE et YOUR_DOMAIN dans le fichier créé nommé nri-flex-hadoop-config.yml. La valeur sur event_type est utilisée pour stocker des métriques sur la NRDB.

   Exemple:

   • EVENT_TYPE1 peut être mis à jour pour HadoopResourceManagerSample
   • EVENT_TYPE2 peut être mis à jour pour HadoopNameNodeSample

   Votre fichier nri-flex-hadoop-config.yml devrait ressembler à ceci :

   integrations:
     - name: nri-flex
       # interval: 30s
       config:
         name: hadoopMetrics
         apis:
           - event_type: EVENT_TYPE1
             commands: 
               # run any command, you could cat .json file, or run some commands that produce a json output
               # the example just calls an API that returns json
               - run: curl -s https://YOUR_DOMAIN:9870/jmx #json output is retrieved from this command
           - event_type: EVENT_TYPE2
             commands: 
               - run: curl -s https://YOUR_DOMAIN:8088/jmx?qry=Hadoop:*

   Copier

Transférer le log Apache Hadoop vers New Relic

Vous pouvez utiliser notre transfert de log pour transférer le log Apache Hadoop vers New Relic.

1. Créer un fichier de log nommé logging.yml dans /etc/newrelic-infra/logging.d/

2. Après avoir créé le fichier de log, ajoutez le script suivant au fichier logging.yml :

   logs:
     - name: hadoop_secondarynamenode_log
       file: /usr/local/hadoop/logs/hadoop-hadoopuser-secondarynamenode-hadoop-master.log
       attributes:
         logtype: hadoop_secondarynamenode_logs
     - name: hadoop_resourcemanager_log
       file: /usr/local/hadoop/logs/hadoop-hadoopuser-resourcemanager-hadoop-master.log
       attributes:
         logtype: hadoop_hadoop_resourcemanager_logs
     - name: hadoop_namenode_log
       file: /usr/local/hadoop/logs/hadoop-hadoopuser-namenode-hadoop-master.log
       attributes:
         logtype: hadoop_namenode_logs

   Copier

Redémarrez l'agent New Relic Infrastructure

Avant de pouvoir commencer à utiliser vos données, redémarrez votre agent d’infrastructure.

La commande suivante devrait fonctionner pour la plupart des systèmes :

$
sudo systemctl restart newrelic-infra.service

Trouvez vos données

Vous pouvez choisir notre modèle dashboard prédéfini nommé Apache Hadoop pour monitorer les métriques de votre serveur Apache Hadoop. Suivez ces étapes pour utiliser notre modèle dashboard prédéfini :

1. De one.newrelic.com, aller à la page + Integrations & Agents .

2. Cliquez sur Dashboards.

3. Dans la barre de recherche, tapez apache hadoop.

4. Le Apache Hadoop dashboard devrait apparaître. Cliquez dessus pour l'installer.

   Votre Apache Hadoop dashboard est considéré comme un dashboard personnalisé et peut être trouvé dans l'UI Dashboards. Pour obtenir des documents sur l'utilisation et la modification du dashboard, consultez notre documentation dashboard .

   Voici une requête NRQL pour vérifier les utilisateurs actifs à partir du gestionnaire de ressources :

   SELECT latest(activeUsers) 
   FROM HadoopResourceManagerSample

   Copier

   Voici une requête NRQL pour afficher le nombre de clients actifs à partir du nœud nommé :

   SELECT latest(numActiveClients) 
   FROM HadoopNameNodeSample

   Copier