Plugin Fluent Bit pour le transfert de log

Si vos données log sont déjà monitorées par Fluent Bit, vous pouvez utiliser notre plugin de sortie Fluent Bit pour transférer et enrichir vos données log dans New Relic.

La transmission de votre Fluent Bit log vers New Relic vous offrira des gestion des logscapacités améliorées pour collecter, traiter, explorer, interroger et alerter sur vos log données . Vous disposez de ces options pour installer Fluent Bit :

• Installation de Kubernetes
• Utilisation d'une image Docker
• Installation sur l'hôte

Installation de Kubernetes

New Relic dispose d'un plugin de sortieFluent Bit pour transmettre votre log à New Relic gestion des log . Vous pouvez installer ce plugin en tant qu'image Docker autonome dans un cluster Kubernetes, où il fonctionne comme un DaemonSet, également connu sous le nom de plugin Kubernetes.

Vous pouvez l'installer dans votre cluster en utilisant notre charte Helm de deux manières :

• Grâce à notre installation guidée
• Installation manuelle

Utilisation de notre installation guidée

Bien que le graphique newrelic-logging fonctionne de manière autonome, nous vous recommandons de l'installer dans le cadre du graphique nri-bundle .

La meilleure façon de l'installer est de suivre notre processus d'installation guidée . Cette installation guidée génère les commandes Helm nécessaires à son installation.

Installation manuelle

Vous pouvez l'installer manuellement à l'aide de Helm, bien que cette option ne soit pas recommandée. Exécutez cette commande pour installer le référentiel (dépôt) :

$
helm repo add newrelic https://helm-charts.newrelic.com

Pour mettre à jour le référentiel, exécutez cette commande :

$
helm repo update newrelic

Consultez Désinstaller l’intégration Kubernetes si vous souhaitez la désinstaller.

Utilisation d'une image Docker

Si vous disposez de votre propre intégration Kubernetes personnalisée, nous vous recommandons d'utiliser notre image Docker fournie avec le plugin newrelic-fluent-bit-output . Vous pouvez également utiliser l’image Docker comme image de base et superposer vos propres fichiers de configuration personnalisés.

Installation sur l'hôte

Pour une installation sur l'hôte du plugin Fluent Bit, suivez ces étapes :

1. Ouvrez le référentiel de plugins Fluent Bit de New Relic sur GitHub.

2. Depuis la page du référentiel, clonez ou téléchargez le référentiel.

3. Exécutez cette commande pour créer votre plugin :

$
cd newrelic-fluent-bit-output && make all

4. Stockez out_newrelic.so ou out_newrelic_winXX.dll à un emplacement où le daemon fluent-bit peut y accéder.

Mettre à jour le plugin Fluent Bit

Avant de mettre à niveau votre plug-in Fluent Bit, exécutez la requête NRQL suivante pour trouver les versions actuelles du plug-in de sortie que vous utilisez sur votre système :

FROM K8sContainerSample 
SELECT latest(containerImage) 
WHERE podName like '%newrelic-logging%' 
FACET clusterName

Pour mettre à jour, suivez les instructions d'installation ou récupérez la dernière version précompilée à partir de notre référentiel GitHub.

Configurer le plugin Fluent Bit

Fluent Bit doit connaître l'emplacement du plugin New Relic et du New Relic clé de licencepour générer des données vers New Relic.

Pour configurer votre plugin Fluent Bit, suivez ces étapes :

1. Localisez ou créez le fichier plugins.conf dans votre répertoire de plugins.

2. Dans le fichier plugins.conf , ajoutez une référence à out_newrelic.so, adjacente à votre fichier fluent-bit.conf :

[PLUGINS]
    Path /PATH/TO/newrelic-fluent-bit-output/out_newrelic.so

3. Dans le fichier fluent-bit.conf , ajoutez la ligne suivante sous le bloc service :

[SERVICE]
    # This is the main configuration block for fluent bit.
    # Ensure the follow line exists somewhere in the SERVICE block
    Plugins_File plugins.conf

4. Au bas du fichier fluent-bit.conf , ajoutez ce qui suit pour configurer les sections d’entrée, de filtre et de sortie. Remplacez le texte de l'espace réservé par votre clé de licence:

   [INPUT]
       Name tail
       Tag  my.tag
       Path /PATH/TO/YOUR/LOG/FILE
       
   # If you have multiple sources, just add another [INPUT] section like this:
   [INPUT] 
       Name tail 
       Tag  my.other.tag 
       Path /PATH/TO/SOME/OTHER/LOG/FILE 
   
   # Having multiple [FILTER] blocks allows you to control the flow of changes as they read top down. 
   [FILTER]
       Name modify
       # Here we only match on one tag, my.tag, defined in the [INPUT] section earlier
       Match  my.tag
       # Below, we're renaming the host.cpu attribute to CPU
       Rename host.cpu CPU
   
   [FILTER]
       Name   record_modifier
       # Match on all tags, *, so all logs get decorated per the Record clauses below. Record adds attributes + their values to each record.
       Match  *
       # Adding a logtype attribute ensures your logs will be automatically parsed by our built-in parsing rules
       Record logtype nginx
       # Add the server's hostname to all logs generated
       Record hostname ${HOSTNAME}
   
   [OUTPUT]
       Name       newrelic
       Match      *
       licenseKey YOUR_LICENSE_KEY

   Copier

5. Redémarrez votre instance Fluent Bit. Exécutez cette commande :

   bash

   Copier

   $
   fluent-bit -c /PATH/TO/fluent-bit.conf

Testez le plugin Fluent Bit

Pour tester si votre plugin Fluent Bit reçoit une entrée d'un fichier de log:

1. Exécutez cette commande pour ajouter un message de test de log à votre fichier de log:

   bash

   Copier

   $
   echo "test message" >> /PATH/TO/YOUR/LOG/FILE

2. Recherchez test message dans notre interface utilisateur de logs .

Pour plus d'options, consultez le filtre modify dans la documentation Fluent Bit. Consultez également notre documentation pour transférer votre log en utilisant l'agent infrastructure .

Facultatif : configurer l’attribut du plug-in

Une fois que vous avez installé et configuré le plugin Fluent Bit , vous pouvez utiliser l'attribut suivant pour configurer la manière dont le plugin envoie les données à New Relic :

Afficher les données log

Si vous avez tout configuré correctement et que New Relic collecte vos données, vous devriez voir les données log à ces deux endroits :

• Notre UI de logs

• Nos outils pour exécuter des requêtes NRQL . Par exemple, vous pouvez exécuter une requête comme celle-ci :

SELECT * 
FROM Log

Si vous n'obtenez aucune donnée après avoir activé nos fonctionnalités de gestion logdes , suivez nos log procédures standard de dépannage.

Quelle est la prochaine étape ?

Explorez les données de logging sur votre plateforme avec notre interface utilisateur de log.

• Obtenez une visibilité plus approfondie sur les données de performances de votre application et de votre plateforme en transmettant votre log avec nos capacités de logs en contexte .

• Configurer des alertes.

• interrogez vos données et créez un dashboard.

Désactiver le transfert de log

Pour désactiver les fonctionnalités de transfert de log , suivez les procédures standard dans la documentationFluent Bit . Vous n'avez rien d'autre à faire dans New Relic.