Réduisez la complexité et le coût log en filtrant

Les systèmes modernes créent des quantités massives de logs. Tous ne sont pas utiles. En fait, il y a de fortes chances qu'en regardant vos logs, vous trouviez que la plupart d'entre eux ne sont pas utiles. Vous pouvez avoir un service qui génère des logs à chaque chargement de page ou un service de sauvegarde pour lequel vous n'avez jamais besoin de monitorer les logs.

Avec New Relic, vous pouvez créer des règles de dépôt qui examinent vos logs et ignorent les logs que vous n'avez pas sélectionnés pour l'ingestion. Cela présente quelques avantages clés :

• Réduisez les coûts en stockant uniquement le log correspondant à votre compte.
• Réduisez les coûts en abandonnant un attribut spécifique
• Réduisez le travail en stockant uniquement les logs précieux.

Comment fonctionnent les règles de filtrage des gouttes

Une règle de filtre de dépôt fait correspondre les données en fonction d'une requête. Lorsqu'elle est déclenchée, la règle de filtre de suppression supprime les données correspondantes du pipeline d'ingestion avant qu'elles ne soient écrites dans la base de données New Relic (NRDB).

Cela crée une distinction entre les logs transmis depuis votre domaine et les données collectées par New Relic. Étant donné que les données supprimées par la règle de filtre de suppression n'atteignent pas notre backend, elles ne peuvent pas être interrogées : les données ont disparu et ne peuvent pas être restaurées.

Décidez quels logs supprimer

Déterminer quels logs conserver et quels logs abandonner est une décision très spécifique pour chaque équipe et organisation. Des logs utiles à une organisation peuvent ne pas l’être à une autre. Quoi qu’il en soit, voici quelques suggestions pour vous aider à décider quels logs sont utiles et lesquels doivent être abandonnés :

• What logs does your team rely on today?:Si votre équipe examine déjà manuellement un sous-ensemble de logs régulièrement, cela indique que ces logs sont précieux et ne doivent pas être supprimés. De même, s’il existe un ensemble de logs que votre équipe ne consulte jamais, cela peut indiquer qu’ils doivent être abandonnés.
• What apps and systems produce the most logs?:Une application ou un système qui crée une grande quantité de logs indique que vous devez consacrer du temps à décider quoi faire avec ces logs. Est-ce une application précieuse et largement utilisée qui indique que vous devez conserver la majeure partie des logs ? S'agit-il d'un système redondant qui crache des logs avec une valeur minimale ?

Veuillez noter que même si une application ou un système est rarement utilisé, cela ne signifie pas que ses logs n'ont aucune valeur. Vous détesteriez supprimer les logs d'une application à peine utilisée uniquement pour que cette application tombe en panne dans quelques mois sans moyen simple de résoudre le problème.

Filtrez votre log d'ingestion

Les étapes suivantes vous guideront dans la manière de supprimer les logs dans l'interface utilisateur de New Relic.

Disons qu'Acme Corp crée 2 To de logs chaque jour. Ils décident que c'est trop de logs à ingérer pour des raisons de coût et de convivialité. Ils jettent un œil à leurs logs et réalisent que plus de la moitié de leurs logs quotidiens proviennent d’une application legacy Node.js Bien qu'ils aient besoin de conserver l'application, ils ne se soucient pas des logs créés par cette application. Ils ont décidé de supprimer tous les logs créés à partir de l'application Node.js

Accéder à l'interface utilisateur

Aller à one.newrelic.com > Logs

Créez votre règle de dépôt

Filtrez ou interrogez l'ensemble spécifique de logs contenant les données que vous souhaitez supprimer.

Il existe plusieurs façons de procéder, mais la plus simple consiste à interroger les logs que vous souhaitez supprimer. Dans ce cas, vous feriez ce qui suit :

1. Sélectionnez All partitions près de la barre de recherche.
2. Entrez leur requête. Dans ce cas logtype=node.
3. Appuyez sur Entrée et confirmez que les logs corrects apparaissent.
4. Une fois la requête active, cliquez sur Create drop filter dans le menu de navigation de gauche.
5. Donnez à la règle de dépôt un nom significatif.
6. Enregistrez la règle de filtre de dépôt.

Attribut de suppression

Acme Corp souhaite toujours réduire sa consommation. Ils ont décidé qu'ils n'avaient pas besoin de certains attributs dans leurs logs stockés, ils décident donc de supprimer des attributs tels que purchase_order.

1. Dans All logs, cliquez sur un log qui contient l’attribut que vous souhaitez supprimer pour ouvrir la vue détaillée log .
2. Cliquez sur l'attribut que vous souhaitez déposer pour ouvrir le menu des attributs. Dans ce cas purchase_order.
3. Cliquez sur Create drop filter from attribute.
4. Donnez à la règle de dépôt un nom significatif.
5. Enregistrez la règle de filtre de dépôt.

Répétez les étapes ci-dessus autant de fois que nécessaire jusqu’à ce que vous soyez satisfait de votre ingestion log . Si vous avez besoin d'aide pour interroger les logs et l'attribut, consultez notre documentation sur la syntaxe spécifique log ou notre documentation sur le filtrage log plus complexe.