TruEra comble une lacune critique dans votre stack d'IA, en expliquant et en testant la qualité du modèle tout au long du cycle de vie. Les solutions d'IA de TruEraexpliquent, déboguent et monitorent les modèles d'apprentissage machine, conduisant à une qualité et une fiabilité supérieures, ainsi qu'à un déploiement plus rapide. La solution fonctionne sur l'ensemble du cycle de vie du modèle, est indépendante de la plateforme de développement du modèle et s'intègre facilement dans votre stack d'IA existante.
TruEra inclut une monitoring des performances des modèles d'intégration avec New Relic pour aider les équipes MLOps à corréler les signaux tout au long du cycle de vie du ML et à aller au-delà de la précision standard, et à monitorer les dérives d'entrée et de sortie.
Intégrer TruEra à New Relic
Ajouter un modèle d'apprentissage machine à TruEra
TruEra fournit une interface de ligne de commande (CLI) et un client Python pour ingérer le modèle d'apprentissage machine et d'autres données. Les étapes pour ajouter un modèle à l’aide de la CLI incluent la création d’un nouveau projet, la collecte de données, l’ajout de données de formation, le packaging et l’ingestion du modèle et l’ajout de données de production.
Ces étapes peuvent être trouvées sur la page de documentation technique de TruEra.
Flux de données de TruEra vers New Relic
Chaque fois qu'un nouvel ensemble de données est ingéré dans le système de monitoring Truera, il calcule les métriques pertinentes et les stocke. Ces calculs métriques peuvent être périodiquement poussés vers New Relic à l'aide de l'exportateur de données truera2newrelic . Cet exportateur a besoin d'une clé API générée par les consoles Truera et New Relic.
Les instructions suivantes vous montreront comment créer ces clés :
- Connectez-vous à votre compte New Relic : Accédez à one.newrelic.com > All capabilities > + Add more data.
- Cliquez sur TruEra : Dans la barre de recherche, tapez TruEra.
- Sélectionnez un ID de compte : sélectionnez l’ID de compte avec lequel vous souhaitez intégrer TruEra.
- Sélectionnez ou créez une clé API : Vous avez besoin d'un Active dashboard key pour la gestion du dashboard et d'un Model metrics data key pour l'ingestion des métriques. Ces clés font référence au . Créez une nouvelle clé ou sélectionnez-en une existante dans les deux sections de clés.
- Créer une clé sur TruEra: connectez-vous à la console TruEra et accédez à la page utilisateur. Cliquez sur Generate Credentials pour créer un Auth token.
- Vérifiez l'exécution de l'exportation des données et configurez l'exportateur par lots: accédez maintenant à la documentation TruEra pour trouver les étapes à suivre pour vérifier la première exécution d'exportation de données à l'aide de commandes dans votre terminal. Ensuite, configurez l’exportateur de données par lots sur une machine virtuelle.
Ce document vous a-t-il aidé lors de votre installation ?
Afficher le dashboard New Relic prêt à l'emploi à l'aide TruEra
Pour visualiser les mesures monitoring de l'apprentissage machine, TruEra fournit un dashboard squelette pour monitorer et analyser les problèmes à l'aide de thèmes tels que l'état du modèle, l'exploration détaillée des segments, les valeurs des fonctionnalités, la qualité des données, l'équité, etc.
Ceux-ci peuvent être configurés à l'aide de l'outil dashboard truera2newrelic. Pour ce faire, suivez ces étapes :
Vérifiez les métriques de votre modèle: Depuis one.newrelic.com, accédez au menu de navigation et cliquez sur l'onglet dashboard dans le menu de navigation principal. Vous verrez une configuration dashboard générée automatiquement pour le modèle ML donné. Vérifiez que les métriques du modèle récemment exportées sont visibles.
Configurer une notification d'alerte : une fois que vous avez créé un dashboard, vous pouvez être alerté sur vos données. Pour créer une condition NRQL à partir d’un graphique, cliquez sur le widget graphique, puis sur Create alert condition. Une fois que vous avez nommé et personnalisé votre condition, vous pouvez l'ajouter à une politique existante ou en créer une nouvelle.
Soyez averti : Une fois que vous avez créé une condition d'alerte, vous pouvez choisir comment vous souhaitez être averti. Consultez notre documentation sur la façon de configurer le canal de notification.
Corrélez votre incident : En plus de la notification, vous pouvez utiliser l'intelligence incident pour corréler votre incident. Consultez notre documentation sur la façon de corréler les incidents à l'aide de décisions.
Vous avez maintenant intégré avec succès New Relic à TruEra. Les alertes nouvellement créées sont désormais corrélées avec vos alertes New Relic, et vous devriez pouvoir voir les données sur les prédictions nouvellement signalées.