Les modèles de logs sont le moyen le plus rapide de découvrir de la valeur dans les données log sans recherche.
Les données du log sont des données télémétriques à volume élevé avec une faible valeur par enregistrement individuel. La recherche peut rapidement conduire à des logs fournissant une explication de la cause première, mais la plupart des données sont répétitives et difficiles à contextualiser lors de la navigation. Les modèles peuvent rendre les données log détectables sans passer beaucoup de temps à lire des données de faible valeur.
one.newrelic.com > All capabilities > Logs > Patterns: les modèles de logs vous aident à repérer les pics ou les baisses suspects dans les messages du log sans avoir à passer du temps supplémentaire à chercher.
Aperçu technique
La fonctionnalité des modèles de logs applique l'apprentissage machine pour normaliser et regrouper les messages de log qui sont cohérents dans leur format mais variables dans leur contenu. Ces messages groupés peuvent être triés, ce qui facilite la recherche des ensembles de logs les plus fréquents ou les plus rares dans votre environnement.
Utilisez des modèles comme base pour les alertes lorsque la fréquence des données importantes change ou pour configurer des règles de suppression afin de supprimer les données répétitives inutiles.
Les modèles de logs utilisent des algorithmes de clustering avancés pour log automatiquement les messages similaires. Avec les modèles, vous pouvez :
- Orientez-vous plus rapidement grâce à des millions de log.
- Réduisez le temps nécessaire pour identifier un comportement inhabituel dans votre parc log .
- Monitorez la fréquence des modèles connus au fil du temps pour concentrer votre énergie sur ce qui compte et exclure ce qui n'est pas pertinent.
Disponibilité
Si vous voyez Patterns are turned off dans votre interface utilisateur de log, cliquez sur Configure patterns et activez-le. Si vous ne voyez pas de modèles dans les 30 minutes suivant l'activation de la fonctionnalité, il se peut qu'il manque des données avec un attribut de message pour que le système puisse créer un modèle à partir de celui-ci.
Log Patterns | Limitations et considérations |
|---|---|
Tarifs | Il n'y a pas de tarification distincte pour log patterns. Le seul coût concerne les données supplémentaires générées et ajoutées à vos enregistrements log . Un attribut de modèle sera ajouté à tous les logs qui correspondent à un modèle. L'attribut peut également être ajouté lorsque des valeurs communes sont découvertes, telles que le GUID, les adresses IP, l'URL ou les adresses e-mail. Ces attributs sont automatiquement extraits du message de log dans le cadre du processus de modèle. |
Comptes HITRUST | La fonctionnalité log patterns n'est pas conforme à FedRAMP. Les comptes FedRAMP ou autres comptes HITRUST ne sont pas éligibles à l'utilisation de modèles. |
modèles de logs correspondant aux limites | Nous avons un système de limites de sécurité sur les ressources mémoire et CPU lors de la correspondance des logs avec les modèles. Ces limites de correspondance peuvent avoir un impact sur le pourcentage de logs pouvant être regroupés dans log patterns. Cependant, la correspondance des modèles log est un processus de « meilleur effort » : ce n'est pas une erreur si tous vos logs n'ont pas la possibilité d'être regroupés par modèles. Vous bénéficierez toujours de la valeur du regroupement qui peut être réalisé dans les limites des ressources. |
Démarrer
Pour commencer à examiner les modèles :
- Accédez à one.newrelic.com > All capabilities > Logs et utilisez la liste déroulante du sélecteur de compte pour sélectionner le compte cible sur lequel vous souhaitez explorer les modèles.
- Dans la navigation de gauche de l’interface utilisateur du log, cliquez sur Patterns.
L'interface utilisateur log principal change pour afficher les modèles qui correspondent à la requête dans la barre de requête. Pour consulter le log d'une période spécifique, cliquez sur ce point (ou cliquez et faites glisser une zone) sur le graphique ou utilisez le sélecteur d'intervalle de temps.
Explorer log patterns
Par défaut, l'interface utilisateur log patterns affiche d'abord l'occurrence la plus fréquente des modèles. Pour trier afin d'afficher d'abord les modèles les plus rares, cliquez sur la colonne Count . Vous pouvez également utiliser la barre de requête ou la barre d'attributs pour filtrer vos log patterns.
Si vous voulez... | Fais ceci... |
|---|---|
Comprendre le rythme de changement des modèles | Regardez le graphique linéaire. Les modèles codés par couleur correspondent à la colonne plot du tableau. Vous pouvez basculer entre les modèles plot individuels pour affiner votre concentration. |
Voir le message individuel du log qui correspond à chaque modèle | Cliquez sur pattern pour développer la ligne et voir un tableau des enregistrements log individuels.
|
Regrouper et filtrer les modèles par leur attribut | Utilisez la barre de requêtes et le sélecteur d'intervalle de temps. Au fur et à mesure que vous appliquez différents filtres et fenêtres temporelles, les log patterns s'adaptent à vos nouvelles données cibles. |
Créer une alerte à partir d'un modèle | Ajoutez le modèle à la barre de requête et exécutez la requête. Cliquez ensuite sur Create alert condition dans le menu de navigation de gauche. |
Résoudre les problèmes de messages de log qui n'ont pas été regroupés dans un modèle | Utilisez l’ ongletLogs with no pattern dans l’interface utilisateur Log patterns . |
Cliquer sur un message spécifique du log ouvrira le panneau des détails du message du log que vous connaissez depuis l'interface utilisateur du log.
Explorer le log sans modèle
L'onglet Logs with no pattern regroupe tous les messages log de votre compte qui n'ont pas encore été regroupés selon un modèle connu. Ces messages de log ne représentent aucun problème ou défaut dans le système ; ils n'ont pas de modèle car ils sont trop nouveaux pour avoir été traités par le système d'apprentissage machine. Cela les rend utiles à explorer lorsque vous souhaitez comprendre ce qui a récemment changé dans votre environnement.
Par exemple:
- L’un de ces logs est-il lié à un problème récent ? Il s’agit d’un moyen rapide de découvrir des données log uniques qui apparaissent pour la première fois dans votre environnement.
- Vos données log ont-elles un nouveau format ? Parfois, le log ne représente pas un problème, mais un nouveau format de données log qui s'écarte du modèle de données que vous attendez de vos applications.
La capture précoce de ces logs vous donne la possibilité de demander aux développeurs de corriger tout écart dans leur sortie log . Plus les personnes sont cohérentes dans la manière dont les données log sont générées, plus il devient facile d'utiliser le log dans un ensemble diversifié d'équipes.
Attribut masqué et caractères génériques
Les parties du message de log dans les modèles sont classées comme des variables et sont remplacées par un attribut masqué. Le processus de masquage prend en charge et améliore la phase de cluster en permettant à l'algorithme d'ignorer les détails changeants et de se concentrer sur la structure répétitive.
Les attributs masqués incluent :
date_timeipurluuid
Les attributs masqués sont mis en évidence et sont faciles à identifier, comme le montre l'exemple suivant.
les modèles de log extraient d'autres variables moins triviales qui n'appartiennent à aucun attribut masqué. Ces variables sont indiquées par des caractères génériques *.
Dépannage
Voici quelques raisons pour lesquelles vous avez activé les modèles, mais ne voyez aucune donnée de modèle. Si vous êtes sûr qu'aucun de ces éléments n'est vrai, obtenez de l'aide sur support.newrelic.com.
- Aucune donnée n'est arrivée dans la période que vous observez. Essayez d'élargir la plage horaire que vous visualisez avec le sélecteur d'intervalle de temps.
- Cela fait moins de 24 heures que les modèles ont été activés sur le compte. Cela signifie que le modèle ML n'est peut-être pas encore généré pour le compte.
- Aucune des données entrantes ne possède de champ
message. Les modèles ne seront générés que pour les valeurs du champmessaged'un enregistrement log . Si votre log ne contient pasmessage, il n'y aura pas de données.
Mettre la plateforme au travail avec des modèles
Les modèles sont une valeur qui est enrichie dans le message existant du log en tant que nouvel attribut nommé newrelic.logPattern. Tout ce que vous pouvez faire avec le log peut généralement être fait avec log patterns, tels que :
- Créez votre propre dashboard avec des modèles, pour monitorer un modèle spécifique ou un groupe de modèles qui vous intéressent.
- Créez pour les modèles en ajoutant des alertes NRQL.
- Utilisez la condition d'alerte d'anomalie pour détecter une anomalie dans log patterns connus.