Plugin Fluentd pour le transfert de log

Si vos données log sont déjà monitorées par Fluentd, vous pouvez utiliser notre intégration Fluentd pour transférer et enrichir vos données log dans New Relic.

La transmission de votre Fluentd log vers New Relic vous offrira des gestion des logscapacités améliorées pour collecter, traiter, explorer, interroger et alerter sur vos log données .

Processus de base

Pour activer les fonctionnalités de gestion des log :

1. Assurez-vous d'avoir :

   • Une New Relicclé de licence
   • Fluentd 1.0 ou supérieur

2. Installez le plugin Fluentd.

3. Configurer le plugin Fluentd.

4. Le cas échéant, configurez le point de terminaison UE

5. Testez le plugin Fluentd.

6. Générez du trafic et attendez quelques minutes, puis vérifiez les données de votre compte .

Installer le plugin Fluentd

Pour installer le plugin Fluentd :

$
fluent-gem install fluent-plugin-newrelic

$
td-agent-gem install fluent-plugin-newrelic

Configurer le plugin Fluentd

Pour configurer votre plugin Fluentd :

1. Dans votre fichier fluent.conf , ou td-agent.conf si vous utilisez td-agent, ajoutez le bloc de données suivant, en remplaçant le texte de l'espace réservé par votre clé de licence:

   #Tail one or more log files
   <source>
     @type tail
     <parse>
       @type none
     </parse>
     path /path/to/file
     tag example.service
   </source>
   
   #Add hostname and service_name to all events with "example.service" tag
   <filter example.service>
     @type record_transformer
     <record>
       service_name ${tag}
       hostname "#{Socket.gethostname}"
     </record>
   </filter>
   
   #Forward all events to New Relic
   
   <match>
     @type newrelic
     license_key YOUR_LICENSE_KEY
   </match>

   Copier

2. Redémarrez le service Fluentd pour vous assurer que vos modifications sont appliquées.

Configurer le plugin Fluentd pour les comptes de l'UE

Par défaut, le plugin Fluentd transmet le log à notre point de terminaison américain : https://log-api.newrelic.com/log/v1. Si votre organisation New Relic se trouve dans notre data centerde l'UE, vous devez définir manuellement la propriété base_uri sur le point de terminaison de l'UE. Par exemple:

#Tail one or more log files
<source>
  @type tail
  <parse>
    @type none
  </parse>
  path /path/to/file
  tag example.service
</source>

#Add hostname and service_name to all events with "example.service" tag
<filter example.service>
  @type record_transformer
  <record>
    service_name ${tag}
    hostname "#{Socket.gethostname}"
  </record>
</filter>

#Forward all events to New Relic EU Endpoint
<match>
  @type newrelic
  license_key YOUR_LICENSE_KEY
  base_uri https://log-api.eu.newrelic.com/log/v1
</match>

Tester le plugin Fluentd

Pour tester si votre plugin Fluentd reçoit une entrée d'un fichier de log:

1. Exécutez la commande suivante pour ajouter un message de test de log à votre fichier de log:

   bash

   Copier

   $
   echo "test message" >> /PATH/TO/YOUR/LOG/FILE

2. Recherchez test message dans notre interface utilisateur des logs .

Afficher les données log

Si tout est configuré correctement et que vos données sont collectées, vous devriez voir un log à ces deux endroits :

• Notre UI de logs
• Nos outils pour exécuter des requêtes NRQL . Par exemple, vous pouvez exécuter une requête comme celle-ci :

SELECT * FROM Log

Si aucune donnée n'apparaît après avoir activé nos fonctionnalités de gestion des log , suivez nos procédures standard de dépannage log .

Log de réglage log tampon Fluentd

Par défaut, le plugin envoie le log à New Relic toutes les cinq secondes. Si vous souhaitez modifier ce timing, ajoutez un bloc <buffer> à la configuration en suivant cet exemple :

[...]

# Forward all events to New Relic EU Endpoint
<match>
  @type newrelic
  license_key YOUR_LICENSE_KEY

  <buffer time>
    timekey 60s
  </buffer>
</match>

Pour plus d'informations, consultez la documentation Fluentd sur les configurations de tampon.

Configurer la transformation UTF-16LE en UTF-8

Dans cet exemple de log d’erreurs Microsoft SQL Server, utilisez Fluentd pour envoyer le log codé UTF-16LE à New Relic avec le codage UTF-8 requis pour l’ingestion. Vous pouvez également adapter cet exemple à d’autres encodages.

#Tail one or more log files
<source>
  @type tail
  <parse>
    @type none
  </parse>
  path "D:/sqlserver/error.log"
  tag example.service
  encoding UTF-8
  from_encoding UTF-16LE
</source>

#Add hostname and service_name to all events with "example.service" tag
<filter example.service>
  @type record_transformer
  <record>
    service_name ${tag}
    hostname "#{Socket.gethostname}"
    logtype MSSQL
  </record>
</filter>

#Forward all events to New Relic
<match>
  @type newrelic
  license_key YOUR_LICENSE_KEY
</match>

Configurer la transformation Shift-JIS en UTF-8

Les fichiers log japonais encodés en Shift-JIS (CP932) sont convertis en encodage UTF-8 requis et sont nécessaires pour l'importation et l'envoi de données log à New Relic.

<source>
#Tail one or more log files
  @type tail
  path C:¥opt¥fluent¥cp932text.log  # Full path of the log file you want to collect
  tag example.service
  from_encoding CP932 #logFile character encoding
  encoding UTF-8 #Character encoding when sending to New Relic
  <parse>
    @type none
  </parse>
</source>

#Forward all events to New Relic
<match>
  @type newrelic
  license_key YOUR_LICENSE_KEY
</match>

Quelle est la prochaine étape ?

Explorez les données de logging sur votre plateforme avec notre interface utilisateur de logs.

• Obtenez une visibilité plus approfondie sur les données de performances de votre application et de votre plateforme en transmettant votre log avec nos capacités de logs en contexte .
• Configurer des alertes.
• interrogez vos données et créez un dashboard.

Désactiver le transfert de log

Pour désactiver les fonctionnalités de transfert de log , suivez les procédures standard dans la documentationFluentd . Vous n'avez rien d'autre à faire dans New Relic.