Organiser les données avec des partitions

Les partitions de données sont un moyen de regrouper ou d'organiser les données log pour des requêtes plus rapides et plus efficaces. Lorsqu'une requête cible une seule partition, notre log UI:

• Analyse moins de données non liées
• Renvoie les résultats plus rapidement

Les comptes peuvent avoir plusieurs partitions, et plusieurs partitions peuvent être interrogées en même temps.

Les partitions de données permettent également de mapper les données vers un espace de nommage alternatif ou « secondaire » avec une conservation fixe de 30 jours. Ceci est utile pour maintenir la conformité aux réglementations et normes axées sur la confidentialité, comme le règlement général sur la protection des données (RGPD).

Planifiez votre partition

Avant de commencer à créer des partitions, assurez-vous de disposer des autorisations requises et d’un plan sur la manière d’implémenter les partitions.

Dimensionner et organiser une partition

Vous pouvez obtenir des améliorations de performances significatives grâce à une utilisation appropriée des partitions de données. L'organisation de vos données en partitions discrètes vous permet d'interroger uniquement les données dont vous avez besoin. Vous pouvez interroger une seule partition ou une liste de partitions séparées par des virgules. Les objectifs du partitionnement de vos données doivent être :

• Créez des partitions de données qui correspondent aux catégories de votre environnement ou de votre organisation qui sont statiques ou qui changent rarement (par exemple, par unité commerciale, équipe, environnement, service, etc.).
• Créez des partitions pour optimiser le nombre d'événements qui doivent être analysés pour votre requête la plus courante. Il n'y a pas de règle absolue, mais en général, lorsque le log des événements analysé dépasse 500 millions (en particulier plus d'un milliard) pour votre requête common, vous pouvez envisager d'ajuster votre partitionnement.

Les principaux facteurs moteurs de l’événement scanné :

• Taille de la partition (nombre d'événements)

• Conservation par défaut pour une partition donnée (impacte l'événement potentiel total qui peut être analysé dans une requête)

• Fenêtre temporelle pour la requête NRQL

• Structure du graphique et dashboard

  • Durée de la fenêtre temporelle par défaut
  • Nombre de graphiques dans un dashboard (augmente le nombre de requêtes)

Quelle est la bonne taille de partition ?

Avoir plus de partitions permet des recherches plus ciblées, mais créer trop de partitions peut rendre le log difficile à trouver et augmenter la charge administrative. Il est important de trouver le bon équilibre.

Nous prenons en charge 100 partitions maximum par compte, mais le nombre optimal pour la plupart des comptes dépendra de l'organisation de votre schéma de partition et de votre capacité à coordonner les différentes équipes et membres de l'équipe dans leur utilisation de la plateforme. Bien que certains clients trouvent difficile de gérer plus d'une douzaine de partitions dans un compte, nous pensons que des partitions bien organisées avec des regroupements logiques de données avec des conventions de dénomination mnémotechniques peuvent évoluer bien au-delà.

Conseils pour estimer la taille de votre partition

Afin d'avoir une idée du nombre d'événements qui se produisent dans une partition donnée par jour :

FROM Log_nginx
SELECT count(*)
SINCE 1 day ago

De plus, vous pouvez comprendre l'utilisation réelle de la requête et les performances par rapport à une partition en analysant l'événement NrDbQuery . Cela comporte une variété d'attributs utiles, notamment la durée de la requête, l'instruction NRQL elle-même et la fenêtre temporelle utilisée dans la requête.

Par exemple, la requête suivante renverra un histogramme des tailles de fenêtre temporelle utilisées dans votre requête log pour une partition donnée :

FROM NrdbQuery 
SELECT histogram(timeWindowMinutes, 5, 5) 
WHERE query LIKE '%Log_nginx%'

Une autre technique utile consiste à se concentrer sur la requête la plus lente sur une partition donnée et à comprendre les fenêtres temporelles utilisées sur ces requêtes :

FROM NrdbQuery
SELECT percentile(durationMs, 90)
WHERE query LIKE '%Log_nginx%'
FACET query, timeWindowMinutes

Choisir un espace de nommage

L'espace de nommage d'une partition détermine sa durée de conservation. Nous proposons deux options de conservation :

• Standard: La conservation par défaut du compte est déterminée par votre abonnement New Relic. Il s'agit de la durée de conservation maximale disponible sur votre compte et de l'espace de nommage que vous sélectionnerez pour la plupart de vos partitions.
• Secondary: Conservation de 30 jours. Tous les logs envoyés à une partition membre de l'espace de nommage secondaire seront purgés sur une base continue 30 jours après avoir été ingérés.

La rétention secondaire n’est pas un mécanisme de contrôle des coûts. Les données sont facturées à l'ingestion.

Utilisez l'API NerdGraph pour gérer les partitions de données

Si vous souhaitez gérer vos partitions de données par programmation, vous pouvez utiliser l'explorateur d'API NerdGraph : one.newrelic.com > All capabilities > Apps > NerdGraph API explorer. Le didacticiel sur les partitions de données NerdGraph montre comment interroger, créer et supprimer des partitions de données à l'aide de cette API.

Créer des règles de partition via UI

Pour créer une nouvelle règle de partition :

1. Allez à one.newrelic.com > All capabilities > Logs.
2. À gauche de la barre de requête du log, cliquez sur Partition, puis sur Create new.
3. Définissez un Partition name comme une chaîne alphanumérique commençant par Log_.
4. Ajoutez une description facultative.
5. Sélectionnez l' espace de nommage de rétention pour la partition.
6. Définissez Matching criteria de votre règle : saisissez une clause NRQL WHERE valide pour correspondre au log à stocker dans cette partition.

Rechercher des partitions de données

La partition par défaut est Log. Tout log qui n’est pas affecté par une règle de partition sera stocké dans la partition Log par défaut.

Vous pouvez interroger plusieurs partitions en même temps. Pour des performances optimales, sélectionnez le plus petit nombre de partitions possible.

Pour rechercher des partitions : à gauche de la barre de requête du log, cliquez sur Partition et utilisez la barre de recherche de partition.