L'intégration New Relic Databricks peut collecter la télémétrie de Spark exécuté sur Databricks ainsi que de tout déploiement Spark qui ne s'exécute pas sur Databricks.
Par défaut, l'intégration se connecte automatiquement et collecte la télémétrie du déploiement Spark dans tous les clusters créés via l'UI ou l'API dans l'espace de travail spécifié. Cette intégration prend en charge la capacité de télémétrie Collect Spark.
Configurer l'intégration
Cette intégration utilise un outil autonome du référentiel expérimental New Relic. Cette intégration peut être exécutée sur un hôte ou localement à des fins de test. Cette intégration fonctionne sur ces plateformes hôtes :
- Linux amd64
- Windows amd64
Conseil
Pour plus d'informations, reportez-vous au fichier GitHub ReadMe pour cette intégration.
déployer sur hôte
Pour déployer cette intégration sur un hôte (exemple : EC2), suivez ces étapes :
Téléchargez l'archive appropriée à votre plateforme à partir de la dernière sortie.
Extraire l’archive dans un répertoire nouveau ou existant.
Créez un répertoire nommé configs dans le même répertoire.
Créez un fichier nommé
config.ymldans le répertoire configs et copiez-y le contenu du fichierconfigs/config.template.ymlde ce référentiel.Modifiez le fichier
config.ymlpour configurer l’intégration de manière appropriée à votre environnement.À partir du répertoire où l'archive a été extraite, exécutez le binaire d'intégration à l'aide de la commande suivante en copiant les options de ligne de commande si nécessaire :
$# Linux$ ./newrelic-databricks-integration $ $ # Windows$ .\newrelic-databricks-integration.exedéployer sur un clusterdatabricks
L'intégration de New Relic Databricks peut être déployée sur le nœud pilote d'un Databricks cluster cluster scriptà l'aide d'un d'initialisation à portée . Le script init utilise des variables d’environnement personnalisées pour spécifier les paramètres de configuration nécessaires à la configuration de l’intégration.
Pour installer le script d'initialisation, procédez comme suit :
Connectez-vous à votre compte Databricks et accédez à l' espace de travail souhaité.
Suivez les recommandations du script init pour stocker le script
cluster_init_integration.shdans votre espace de travail de la manière recommandée. Par exemple, si votre espace de travail est activé pour le catalogue Unity, vous devez stocker le script init dans un volume de catalogue Unity.Accédez à l'onglet Compute et sélectionnez le calculateur polyvalent ou de travail souhaité pour ouvrir l'UI des détails du calculateur.
Cliquez sur le bouton Edit pour modifier la configuration du calculateur.
Suivez les étapes pour utiliser l’ UI pour configurer un d’initialisation à l’échelle et pointez vers l’emplacement où vous avez stocké le cluster script d’initialisation script à l’étape 2 ci-dessus.
Si votre cluster n'est pas en cours d'exécution, cliquez sur le bouton Confirm pour enregistrer vos modifications. Ensuite, redémarrez le cluster. Si votre cluster est déjà en cours d’exécution, cliquez sur le bouton Confirm and restart pour enregistrer vos modifications et redémarrer le cluster.
De plus, suivez les étapes pour définir les variables d’environnement pour ajouter les variables d’environnement suivantes :
NEW_RELIC_API_KEY: Votre clé API utilisateur New Relic.NEW_RELIC_LICENSE_KEY: Votre clé de licence New Relic.NEW_RELIC_ACCOUNT_ID: Votre identifiant de compte New Relic.NEW_RELIC_REGION: La région de votre compte New Relic ; États-Unis ou UE.NEW_RELIC_DATABRICKS_WORKSPACE_HOST: Le nom de l'instance de l'instance Databricks cible.NEW_RELIC_DATABRICKS_ACCESS_TOKEN: Pour vous authentifier avec un jeton d'accès personnel, votre jeton d'accès personnel.NEW_RELIC_DATABRICKS_OAUTH_CLIENT_ID: Pour utiliser un principal de service pour s'authentifier auprès de Databricks (OAuth M2M), l'ID client OAuth pour le principal de service.NEW_RELIC_DATABRICKS_OAUTH_CLIENT_SECRET: Pour utiliser un principal de service pour s'authentifier auprès de Databricks (OAuth M2M), un secret client OAuth associé au principal de service.
Conseil
Notez que NEW_RELIC_API_KEY et NEW_RELIC_ACCOUNT_ID ne sont actuellement pas utilisés, mais sont requis par le modulenew-relic-client-go utilisé par l'intégration.
De plus, notez que seul le jeton d’accès personnel ou les informations d’identification OAuth doivent être spécifiés, mais pas les deux. Si les deux sont spécifiés, les informations d’identification OAuth sont prioritaires.
Enfin, assurez-vous de redémarrer le cluster après la configuration des variables d’environnement.
Installez notre DataBricks monitoring dashboard
Pour configurer notre dashboard DataBricks prédéfini afin de monitorer les métriques de votre application, accédez à l'installation dashboard DataBricks et suivez les instructions. Une fois installé, le dashboard devrait afficher des métriques.
Si vous avez besoin d'aide avec le dashboard, consultez :
- Introduction au dashboard pour personnaliser votre dashboard et effectuer différentes actions.
- Gérez votre dashboard pour ajuster votre mode d'affichage ou pour ajouter plus de contenu à votre dashboard.