Entendiendo su pipeline de ingesta

En esta sección, explorará la arquitectura de la canalización de ingesta, que representa visualmente cómo fluyen sus telemetry data a través del sistema. Verá cómo el uso de reglas de nube y cloud puede afectar el volumen de datos y optimizar su estrategia de gestión de datos.

Componentes de su canalización de ingesta

1. Fuentes de MELT:

   • Métricas, eventos, logs y trazas (MELT): estos son los principales tipos de datos de observabilidad que se recopilan de varias fuentes. Forman el punto de partida de su canal de ingesta.

2. Líneas de flujo de datos:

   • Las líneas emanan de cada fuente MELT y representan los datos que se envían al NRDB. Cada línea está anotada con un volumen de datos, medido en millones (M), que indica la cantidad de volumen de datos en tránsito.

3. Puerta:

   • Ubicada entre las fuentes MELT y las reglas cloud , la puerta de enlace actúa como un filtro y aplica las reglas definidas por el usuario para descartar datos de bajo valor antes de que salgan de la red. Esto reduce el volumen de datos enviados al NRDB, optimizando los costos de almacenamiento y salida.

4. Reglas de la nube:

   • Las reglas de la nube se aplican dentro de New Relic Cloud, filtrando aún más los datos antes de que lleguen a NRDB. El diagrama indica el número de reglas cloud operativas.

5. Base de datos de recursos NR:

   • La base de datos New Relic (NRDB) es el destino final de los datos procesados. Almacena los telemetry data refinados, listos para su análisis y visualización.

Representación visual

La vista del pipeline de ingesta está organizada en tres secciones principales que muestran su flujo de trabajo de procesamiento de datos:

• Fuentes:

  • Muestra los cuatro tipos de telemetría (métricas, eventos, logs, trazas) que los agentes y recolectores envían a New Relic. Cada fuente muestra el volumen de datos que fluye a través del pipeline. Esto representa los puntos de entrada de sus datos de observabilidad.

• Puerta:

  • Muestra las tarjetas de configuración del procesador que transforman y filtran sus datos. Cada procesador (Regla de muestreo, Filtro, Transformación) muestra su estado de configuración actual y sus reglas. Puede ver y administrar cómo se procesan los datos antes de que salgan de su infraestructura.

• Nube:

  • Indica las reglas cloud que se ejecutan en la infraestructura de New Relic. Muestra el número de reglas activas (por ejemplo, "0 reglas" cuando no hay reglas de cloud configuradas). Esto representa el filtrado adicional aplicado después de que los datos llegan a los extremos de New Relic.