Aporia est un moyen rapide, simple et sécurisé pour les équipes de science des données de monitorer leurs modèles d'apprentissage machine en production. Avec Aporia, les équipes peuvent créer leur propre outil de monitoring personnalisable en quelques minutes pour recevoir des alertes en direct pour une détection précoce de problèmes tels que la dérive des données, les biais inattendus, les problèmes d'intégrité des données et la dégradation des performances. Aporia dispose également d'une boîte à outils d'investigation permettant une enquête plus approfondie et une analyse des causes profondes. En savoir plus sur Aporia.
Aporia inclut une intégration avec New Relic pour fournir une gestion complète du modèle de votre infrastructure MLOps, avec des personnalisés dans New Relic qui montrent une enquête d'inférence.
Intégrer Aporia à New Relic
Aporia vous permet de connecter les données générées par Aporia le moniteur d' au incident moteur de renseignement sur de New Relic et aux données de prédiction afin de créer un complet monitoring dashboard dans New Relic pour vos modèles.
- Login into Aporia's console:Dans la barre de navigation à gauche, cliquez sur Integrations et choisissez New Relic.
- Login into your New Relic account: Allez à one.newrelic.com > All capabilities > +Add more data.
- Click on Aporia: Dans la barre de recherche, tapez Aporia.
- Select your account ID: Sélectionnez l'ID de compte avec lequel vous souhaitez intégrer Aporia.
- Get a New Relic API key: Une fois que vous avez cliqué sur l’icône Aporia, suivez la première étape. Sous Prediction data & model quality alerts, cliquez soit sur Select pour choisir une clé existante, soit Create API key. Cela a créé New Relic , qui est utilisée pour signaler des données à New Relic.
- Paste the key in Aporia: Accédez maintenant Aporia au dashboard New Relic insert token d' et sous l'écran d'intégration de New Relic, collez la clé sous. Une fois collé, cliquez sur Save.
- Verify the key: Dans le Aporia dashboard, cliquez sur le Verify token bouton pour vérifier que la clé fonctionne correctement. Une coche Green ou des marques d'erreur Red doivent apparaître pour indiquer le statut.
Ce document vous a-t-il aidé lors de votre installation ?
Monitorez vos modèles de machine learning avec Aporia
Maintenant que vous avez intégré New Relic et Aporia, vous pouvez monitorer vos données à l'aide d'un dashboard avec des graphiques automatisés créés par Aporia.
Go to the integration dashboard: Une fois que vous avez vérifié votre jeton et confirmé que l'intégration est correctement configurée, revenez au dashboard d'intégration New Relic et cliquez sur See your data. Cela vous redirigera vers un dashboard généré automatiquement affichant les données signalées à Aporia dans New Relic.
Analyze Aporia's dashboard. Aporia dashboard renseigné dans New Relic contient 6 graphiques :
- Le graphique Most active models affiche les différents modèles qui ont rapporté des prédictions dans la période sélectionnée.
- Le graphique Most active model versions affiche les différentes versions qui ont rapporté des prédictions dans la période sélectionnée.
- Le graphique Model inferences affiche le nombre de prédictions uniques signalées pour chaque modèle et version.
- Le graphique Average numeric inferences affiche les prédictions numériques de valeur moyenne rapportées pour chaque modèle et version.
- Le graphique Numeric inferences heatmaps affiche un histogramme des prédictions numériques rapportées pour chaque modèle et version.
- Les graphiques Categorical inferences affichent les différentes valeurs uniques et leurs fréquences de prédictions catégorielles rapportées pour chaque modèle et version.
Filter data: Cliquez sur le bouton … et cliquez sur Edit. Dans la barre de navigation de droite, sous User as filter, activez Filter the current dashboard et cliquez sur Save.
Setup alert notifications: Une fois que vous avez créé un dashboard, vous pouvez être alerté sur vos données. Pour créer une condition d'alerte NRQL à partir d'un graphique, cliquez sur le widget graphique, puis sur Create alert condition. Une fois que vous avez nommé et personnalisé votre condition, vous pouvez l'ajouter à une politique existante ou en créer une nouvelle.
Get notified: Une fois que vous avez créé une condition d'alerte, vous pouvez choisir comment vous souhaitez être averti. Consultez notre documentation sur la façon de configurer le canal de notification.
Correlate your incidents: En plus de la notification, vous pouvez utiliser l'intelligence incident pour corréler votre incident. Consultez notre documentation sur la façon de corréler les incidents à l'aide de décisions.
