Comprendre votre pipeline d'ingestion

Dans cette section, vous explorerez l'architecture pipeline d'ingestion, qui représente visuellement la manière dont vos données télémétriques circulent dans le système. Vous verrez comment l’utilisation de règles de gateway et de cloud peut avoir un impact sur le volume de données et optimiser votre stratégie de gestion des données.

Composants de votre pipeline d'ingestion

1. Sources MELT :

   • Métriques, événements, logs et traces (MELT) : ce sont les principaux types de données d'observabilité que vous collectez à partir de diverses sources. Ils constituent le point de départ de votre pipeline d’ingestion.

2. Lignes de flux de données :

   • Des lignes émanent de chaque source MELT, représentant les données envoyées au NRDB. Chaque ligne est annotée avec un volume de données, mesuré en millions (M), indiquant la quantité de volume de données en transit.

3. Porte:

   • Située entre les sources MELT et les règles cloud, le gateway agit comme un filtre, appliquant vos règles définies par l'utilisateur pour supprimer les données de faible valeur avant qu'elles ne quittent votre réseau. Cela réduit le volume de données envoyé au NRDB, optimisant ainsi les coûts de stockage et de sortie.

4. Règles du cloud :

   • Les règles du cloud sont appliquées dans le cloud New Relic, filtrant davantage les données avant qu'elles n'atteignent la NRDB. Le diagramme indique le nombre de règles cloud opérationnelles.

5. NRDB :

   • La base de données New Relic (NRDB) est la destination finale des données traitées. Il stocke les données télémétriques affinées, prêtes pour votre analyse et visualisation.

Représentation visuelle

• Sans règles de gateway et de cloud :

  • Le diagramme montre des lignes directes entre les sources MELT et NRDB, avec des volumes de données plus élevés en raison de l'absence de filtrage.

• Avec les règles de gateway et de cloud :

  • Le diagramme illustre la réduction des volumes de données à mesure que les lignes passent par le gateway et les règles cloud. Seule la télémétrie des agents APM configurés pour acheminer via le gateway est traité.