Avant de pouvoir optimiser vos données, il est nécessaire d'obtenir une vue d'ensemble de toute la télémétrie que votre organisation génère actuellement. Pour ce faire, vous devrez décomposer les données d’ingestion en différents groupes tels que le compte, le type de télémétrie et l’application. Une fois que vous l'aurez fait, vous pourrez personnaliser votre rapport, télécharger et installer des dashboards facultatifs pour une plus grande granularité et optimiser votre télémétrie afin de comprendre exactement quels groupes au sein de votre organisation contribuent à quels types et à quelle quantité de données.
Ce tutoriel explique comment générer un rapport pour vos données en fonction de l'organisation, des comptes et du type de données télémétriques. Une fois créé, vous apprendrez à créer des répartitions détaillées des données en fonction du type d'application, du cluster Kubernetes et de l'intégration de l'infrastructure.

Installer le dashboard de la base de référence de gouvernance de l'ingestion de données
Il s'agit du dashboard que vous utiliserez pour créer une base de référence et monitorer vos données d'ingestion. L'onglet Overview fournit une variété de graphiques pour vous aider à garder un œil sur votre ingestion, et il existe plusieurs onglets qui fournissent des vues détaillées de types de télémétrie spécifiques tels que les données de navigateur, les données APM, les logs et les traces.
Pour générer le rapport, vous devez commencer à optimiser votre télémétrie. Vous devez utiliser l'onglet Baseline Reports après avoir installé les dashboards en suivant les étapes ci-dessous :
Pour installer le dashboard:
- Accédez au quickstart de la gouvernance de l’ingestion de données.
- Cliquez sur Install this quickstart dans la partie supérieure droite de la fenêtre de votre navigateur.
- Sélectionnez votre compte principal ou de niveau supérieur dans le sélecteur de compte, le cas échéant.
- Cliquez sur Done.
- Une fois l'installation du quickstart terminée, ouvrez le dashboard Data ingest governance baseline.
Ajoutez des indicateurs cibles d'ingestion à votre dashboard
Une fois que vous avez configuré le dashboard de base de référence, vous devez ajouter des indicateurs cibles au dashboard pour le monitorer. Ces indicateurs vous aident à optimiser vos données d'ingestion en fournissant des mesures cibles que vous pouvez dépasser ou ne pas dépasser, en fonction de vos besoins. Voici quelques cibles que vous pourriez vouloir créer :
Un objectif organisationnel global sur un tarif journalier ou mensuel.
cible par type de données pour assurer une répartition optimale (par exemple 1 To par jour pour les logs et 2 To par jour pour les métriques).
cible pour des sous-comptes ou des unités commerciales spécifiques.
Pour ajouter ces indicateurs cibles à votre dashboard, vous pouvez soit créer de nouveaux graphiques entièrement, soit modifier des graphiques déjà existants dans le dashboard.
Pour créer un nouveau graphique :
Dans le dashboard de la base de référence, sélectionnez + Add widget.
Sélectionnez Add a chart.
Saisissez la requête NRQL que le graphique utilisera.
Sélectionnez Run.
Par exemple, si vous souhaitez que votre ingestion organisationnelle totale soit inférieure à 360 To par mois, vous pouvez ajouter un graphique à courbes de seuil en ajoutant le nombre statique
360000
à votre instructionSELECT
à l'aide de l'instruction NRQL suivante :SELECT 360000, rate(sum(GigabytesIngested), 30 day) AS '30 Day Rate' FROM NrConsumption WHERE productLine='DataPlatform' since 30 days ago limit max compare with 1 month ago TIMESERIES 7 daysPour modifier un graphique existant :
Dans le dashboard de base de référence, sélectionnez ... pour le graphique que vous souhaitez modifier.
Sélectionnez Edit.
Modifiez la requête NRQL utilisée par le graphique selon vos besoins.
Sélectionnez Run.
Par exemple, après avoir créé le graphique ci-dessus, vous pouvez décider de créer un objectif de taux d'ingestion quotidien en divisant 360 000 par 30 et en utilisant 12 000 comme nombre cible quotidien. Pour ce faire, vous devez mettre à jour le graphique
Daily ingest rate (compare with 3 months prior)
à l'aide de la requête suivante :SELECT 12000, rate(sum(GigabytesIngested), 1 day) AS avgGbIngestTimeseries FROM NrConsumption WHERE productLine='DataPlatform' TIMESERIES AUTO since 9 months ago limit max COMPARE WITH 3 months ago
Générez votre rapport d'ingestion sur 30 jours

Une fois que vous avez installé le dashboard de base de référence et modifié les données qu'il rapporte en fonction de vos besoins, vous pouvez générer un rapport tabulaire de vos données d'ingestion une fois que suffisamment de temps s'est écoulé pour vous permettre de collecter la quantité appropriée de données. Vous pouvez le faire à partir du Baseline report, et le délai le plus courant est de 30 jours. Pour générer le rapport :
Ouvrez le dashboard de base de référence de gouvernance d'ingestion de données précédemment installé.
Sélectionnez l’onglet Baseline report .
Sélectionnez ... dans la table Last 30 days et choisissez Export as CSV.
Choisissez d'importer le fichier CSV dans Google Sheets ou dans une autre feuille de calcul de votre choix.
Conseil
Si vous n'avez pas installé le dashboard, vous pouvez également accéder à cette requête et créer un graphique personnalisé dans le générateur de requêtes:
SELECT sum(GigabytesIngested) AS 'gb_ingest_30_day_sum', rate(sum(GigabytesIngested), 1 day) AS 'gb_ingest_daily_rate', derivative(GigabytesIngested, 90 day) as 'gb_ingest_90_day_derivative' FROM NrConsumption WHERE productLine='DataPlatform' since 30 days ago facet consumingAccountName, usageMetric limit max
Personnalisez votre rapport
Après avoir créé votre rapport d’ingestion, vous pouvez y ajouter d’autres personnalisations. C'est une bonne idée d'adapter le rapport aux besoins de votre organisation, car cela peut vous aider lorsque viendra le moment de commencer à optimiser votre ingestion. Il existe deux champs que vous pouvez utiliser pour personnaliser votre rapport :
- Remarques : Notez toute anomalie de croissance ainsi que les explications possibles.
- Contact technique : Nom du responsable d'un compte donné ou d'une personne liée au type de télémétrie spécifique.
Maintenant que vous avez créé votre rapport de base de référence et que vous l'avez personnalisé selon vos besoins, vous pouvez passer à l'utilisation de ce rapport pour rechercher des anomalies.