moniteur Apache Airflow avec OpenTelemetry

Monitorez les données Apache Airflow en configurant OpenTelemetry pour envoyer des données à New Relic, où vous pouvez visualiser les tâches, les opérateurs et les exécutions DAG sous forme de métriques.

Prérequis

Avant d'activer OpenTelemetry dans Apache Airflow, vous devez installer le package Airflow avec le supplément otel . La méthode d'installation dépend de votre approche de déploiement Airflow :

Option 1 : Installation à partir de PyPi

1. Suivez les instructions d'installation de la documentation d'Airflow.

2. Lors de l'installation avec pip, ajoutez le otel supplémentaire à la commande. Par exemple:

   bash

   Copier

   $
   pip install "apache-airflow[otel]"

Option 2 : Installation à partir de Docker

1. Configurez l'image Docker Airflow en suivant les instructions de la documentation d'Airflow.

2. Étendez l’image Docker prédéfinie en utilisant un Dockerfile pour installer le otel supplémentaire. Vous pouvez remplacer la dernière tag par la version souhaitée de l'image.

   FROM apache/airflow:latest
   RUN pip install --no-cache-dir "apache-airflow[otel]==$AIRFLOW_VERSION"

   Copier

Configuration

Pour envoyer des métriques Airflow à New Relic, configurez les OpenTelemetry métriques pour exporter les données vers un OpenTelemetry Collector, qui transmettra ensuite les données à un point de terminaison OTLP New Relic à l'aide clé de licenced'un.

Configurer le OpenTelemetry Collector

1. Suivez l'Collector exemple de base pour configurer votre OpenTelemetry Collector.
2. Configurez le Collector avec votre point de terminaison OTLP approprié, tel que https://otlp.nr-data.net:4317.
3. Pour l'authentification, ajoutez votre clé de licenceà la variable d'environnement NEW_RELIC_LICENSE_KEY afin qu'elle remplisse l'en-tête api-key .
4. Assurez-vous que le port 4318 sur le Collector est accessible à partir de l' instance Airflow en cours d'exécution. (Pour Docker, vous devrez peut-être utiliser un réseau Docker.)
5. lancement du Collector.

Configurer les métriques Airflow

Airflow envoie des métriques à l'aide d'OTLP sur HTTP, qui utilise le port 4318. Airflow dispose de plusieurs méthodes pour définir les options de configuration.

Choisissez l’une des méthodes suivantes pour définir les options requises pour Airflow.

1. Définissez les options requises dans le fichier airflow.cfg .

   [metrics]
   otel_on = True
   otel_host = localhost
   otel_port = 4318
   otel_ssl_active = False

   Copier

2. Ou définissez les options requises comme variables d’environnement.

   bash

   Copier

   $
   export AIRFLOW__METRICS__OTEL_ON=True
   $
   export AIRFLOW__METRICS__OTEL_HOST=localhost
   $
   export AIRFLOW__METRICS__OTEL_PORT=4318
   $
   export AIRFLOW__METRICS__OTEL_SSL_ACTIVE=False

Les données de validation sont envoyées à New Relic

Pour confirmer que New Relic collecte vos données Airflow, exécutez un DAG ou un pipeline :

1. Connectez-vous à Airflow.
2. Cliquez sur le bouton Exécuter sur l’un des DAG du didacticiel existants ou sur le vôtre.
3. Attendez que le pipeline termine son exécution.
4. Allez à one.newrelic.com > All capabilities > APM & services > Services - OpenTelemetry > Airflow.
5. Cliquez sur Metrics Explorer pour visualiser les métriques des exécutions de pipeline.

Construire des Dashboards

Avec les métriques Airflow, vous pouvez créer un dashboard autour d'un pipeline individuel, des performances globales ou afficher une comparaison entre différents pipelines. Cliquez ici pour en savoir plus sur l'interrogation de vos métriques.

Cette requête récupère une liste de toutes les métriques signalées pour Airflow :

SELECT uniques(metricName) FROM Metric WHERE entity.name = 'Airflow' 
AND metricName LIKE 'airflow.%' SINCE 30 MINUTES AGO LIMIT 100

Assurez-vous de modifier la limite (100) si vos noms métriques la dépassent.

Cette requête montre une comparaison de différents temps d'exécution pour les exécutions réussies de différents DAG :

SELECT latest(airflow.dagrun.duration.success) FROM Metric 
FACET dag_id WHERE entity.name = 'Airflow' SINCE 30 minutes AGO TIMESERIES

Cette requête affiche le nombre d'exécutions DAG ayant échoué, qui peuvent être utilisées pour créer alertespour le pipeline critique :

SELECT count(airflow.dagrun.duration.failed) FROM Metric 
FACET dag_id WHERE entity.name = 'Airflow' SINCE 30 minutes AGO TIMESERIES