IntégrationGoogle Cloud Dataflow monitoring

L'intégration de New Relic inclut une intégration permettant de signaler vos données GCP Dataflow à nos produits. Nous expliquons ici comment activer l'intégration et quelles données elle collecte.

Activer l'intégration

Pour activer l'intégration, suivez les procédures standard pour connecter votre service GCP à New Relic.

configuration et sondage

Vous pouvez modifier la fréquence d'interrogation et filtrer les données à l'aide des options de configuration.

Informations d'interrogation par défaut pour l'intégration GCP Dataflow :

Intervalle d'interrogation de New Relic : 5 minutes

Rechercher et utiliser des données

Pour trouver vos données d’intégration, accédez à one.newrelic.com > All capabilities > Infrastructure > GCP et sélectionnez une intégration.

Les données sont jointes au type d’événement suivant :

Entité	Type d'événement	Fournisseur
Emploi	`GcpDataflowJobSample`	`GcpDataflowJob`

Pour en savoir plus sur l’utilisation de vos données, consultez Comprendre et utiliser les données d’intégration.

données métriques

Cette intégration collecte les données GCP Dataflow pour Job.

Données de travail Dataflow

métrique	Unité	Description
`job.BillableShuffleDataProcessed`	Octets	Les octets facturables de données de mélange traitées par cette tâche Dataflow.
`job.CurrentNumVcpus`	Compter	Le nombre de vCPU actuellement utilisés par ce travail Dataflow. Il s’agit du nombre actuel de travailleurs multiplié par le nombre de vCPU par travailleur.
`job.CurrentShuffleSlots`	Compter	Les emplacements de mélange actuels utilisés par cette tâche Dataflow.
`job.DataWatermarkAge`	Secondes	L'âge (temps écoulé depuis l'horodatage de l'événement) jusqu'auquel toutes les données ont été traitées par le pipeline.
`job.ElapsedTime`	Secondes	Durée pendant laquelle l'exécution actuelle de ce pipeline a été dans l'état En cours d'exécution jusqu'à présent, en secondes. Lorsqu'une exécution est terminée, la durée de cette exécution reste la même jusqu'au début de l'exécution suivante.
`job.Elements`	Compter	Nombre d'éléments ajoutés à la collection jusqu'à présent.
`job.EstimatedBytes`	Octets	Nombre estimé d'octets ajoutés à la pcollection jusqu'à présent. Dataflow calcule la taille moyenne codée des éléments dans une pcollection et la multiplie par le nombre d'éléments.
`job.IsFailed`	Compter	Ce travail a échoué ?
`job.PerStageDataWatermarkAge`	Secondes	L'âge (temps écoulé depuis l'horodatage de l'événement) jusqu'auquel toutes les données ont été traitées par cette étape du pipeline.
`job.PerStageSystemLag`	Secondes	La durée maximale actuelle pendant laquelle un élément de données a été traité ou en attente de traitement, en secondes, par étape du pipeline.
`job.SystemLag`	Secondes	La durée maximale actuelle pendant laquelle un élément de données a été traité ou en attente de traitement, en secondes.
`job.TotalMemoryUsageTime`	Autre	Le nombre total de Go de secondes de mémoire allouées à cette tâche Dataflow.
`job.TotalPdUsageTime`	Autre	Le nombre total de Go de secondes pour tous les disques persistants utilisés par tous les travailleurs associés à cette tâche Dataflow.
`job.TotalShuffleDataProcessed`	Octets	Le nombre total d'octets de données de mélange traités par ce travail Dataflow.
`job.TotalStreamingDataProcessed`	Octets	Le nombre total d'octets de données de streaming traités par ce travail Dataflow.
`job.TotalVcpuTime`	Secondes	Le nombre total de secondes vCPU utilisées par cette tâche Dataflow.
`job.UserCounter`	Compter	Une métrique de compteur définie par l'utilisateur.