DagsHub est une plateforme permettant aux data scientists et aux ingénieurs en machine learning de versionner et de synchroniser leurs données, modèles, expériences et codes. Il permet à vous et à votre équipe de partager, de réviser et de réutiliser facilement votre travail, offrant une expérience de type GitHub pour l'apprentissage machine. DagsHub est construit sur des outils et des formats open source populaires, ce qui le rend facile à intégrer aux outils que vous utilisez déjà comme New Relic.
New Relic inclut un monitoring des performances des modèles intégration avec DagsHub pour monitorer et analyser vos métriques de formation en machine learning en temps réel.
Intégrer DagsHub à New Relic
L'intégration DagsHub et New Relic vous permet d'analyser et de surveiller les métriques d'entraînement du machine learning en temps réel. Vous pouvez visualiser vos métriques dans un dashboard New Relic, créer des métriques personnalisées et définir des alertes pour vous avertir des événements et incidents survenant pendant vos séances d'entraînement.
Afin de recevoir des données de DagsHub dans New Relic, vous avez besoin de votre numéro de compte et d'une clé spéciale que vous pouvez obtenir comme suit :
- Log into your New Relic account: Aller à one.newrelic.com > All capabilities > +Add more data.
- Click on DagsHub: Tapez DagsHub dans la barre de recherche.
- Select the account ID vous souhaitez que DagsHub s'intègre avec.
- Create an access token:Une fois que vous avez sélectionné un identifiant de compte, sous real-time training metrics, cliquez sur Create an API key . Ce sera votre nouvelle clé API de télémétrie. Gardez la page New Relic ouverte pour les étapes futures.
- Log into the DagsHub portal: Une fois connecté, sélectionnez le référentiel sur lequel vous travaillez. Cliquez sur Settings et sélectionnez le bouton integrations dans le menu de gauche. Cliquez sur la tuile New Relic . Pour savoir comment créer un projet avec monitoring d'expérience en temps réel, veuillez lire la page de documentationDagsHub MLflow.
- Copy and paste the token in DagsHub. Revenez au dashboard d'intégration de New Relic et copiez le jeton que vous avez créé en cliquant sur l'icône copy à côté de la touche d'insertion. Sur le portail DagsHub, collez la clé d'insertion sous New Relic Insight insert key et terminez en cliquant sur Next. Le jeton sera vérifié et un écran de confirmation apparaîtra.
Ce document vous a-t-il aidé lors de votre installation ?
Affichez et explorez vos modèles DagsHub dans le dashboard New Relic
Une fois que vous avez configuré l'intégration New Relic dans DagsHub, toutes les métriques d'entraînement enregistrées dans DagsHub en temps réel sont envoyées à New Relic.
Accédez au DagsHub integration dashboard: une fois que vous avez testé votre jeton et confirmé que l'intégration est correctement configurée, revenez au dashboard d'intégration New Relic et cliquez sur See your data. Vous serez redirigé vers un dashboard New Relic généré automatiquement et optimisé par DagsHub.
Analyze the DagsHub dashboard:Le DagsHub dashboard contient un graphique,, Loss metric by repository qui affiche la perte de vos modèles, regroupés par leur référentiel respectif. Cela fonctionne pour tous les modèles que vous avez formés.
Display customized metrics:Vous pouvez facilement personnaliser les métriques de formation provenant de DagsHub. Pour plus d'informations sur l'utilisation de NRQL et la création de requêtes pour suivre vos données, reportez-vous à la référence NRQL .
Set up alerts notifications:Une fois que vous avez créé des graphiques dans un ou plusieurs tableaux de bord, vous pouvez être alerté sur vos données. Pour créer des conditions NRQL à partir d'un graphique, cliquez sur le menu du graphique ... , puis sur Create alert condition. Une fois que vous avez nommé et personnalisé votre condition, vous pouvez l'ajouter à une politique existante ou en créer une nouvelle.
Get notified:Une fois que vous avez créé une condition d'alerte, vous pouvez choisir comment vous souhaitez être averti. Consultez notre documentation sur la façon de configurer le canal de notification.
Vous avez maintenant intégré avec succès New Relic à DagsHub. Les alertes nouvellement créées sont corrélées avec vos alertes New Relic et vous verrez des données sur les prédictions nouvellement signalées.