La solution MLOps de New Relic fournit une bibliothèque Python qui facilite le monitoring de vos modèles d'apprentissage machine. New Relic Bring Your Own (BYO) Machine Learning Model Monitoring est une offre de la suite de produits New Relic qui permet à l'utilisateur de monitorer les performances de ses propres modèles d'apprentissage machine, quelle que soit la plate-forme ou framework qu'il utilise. Cela peut aider l'utilisateur à identifier les problèmes avec ses modèles et à prendre des mesures correctives avant que ces problèmes n'affectent la précision ou les performances de ses applications.
Dans un espace numérique de plus en plus complexe, les équipes de données s'appuient fortement sur des moteurs de prédiction pour prendre des décisions. Le monitoring du modèle d’apprentissage machine New Relic permet à votre équipe de prendre du recul et d’avoir une vue d’ensemble. Notre monitoring des performances des modèles permet à votre équipe d'examiner vos modèles ML pour identifier efficacement les problèmes et prendre des décisions en exploitant les fonctionnalités de base de NR telles que la définition d'alertes sur n'importe quelle métrique et la notification une fois que vos performances ML ont changé
Facile à intégrer
Le python ml-performance-monitoring package, basé sur newrelic-télémétrie-sdk-python, vous permet d'envoyer les valeurs de fonctionnalités et de prédiction de votre modèle, ainsi que des métriques personnalisées, en ajoutant simplement quelques lignes à votre code.
Utilisez le package Python pour envoyer les types de données suivants à New Relic :
- Inference data: Diffusez les fonctionnalités et les valeurs de prédiction de votre modèle. Les données d’inférence sont diffusées sous la forme d’un événement personnalisé nommé InferenceData.
- Data metrics: Au lieu d'envoyer toutes vos données d'inférence brutes, sélectionnez l'option de statistiques agrégées sur la fonctionnalité et les prédictions (par exemple, min, max, moyenne ou percentile). Ils seront envoyés automatiquement sous forme de métriques.
- Custom metrics: Calculez vos propres métriques, monitorez les performances de votre modèle ou les données de votre modèle et diffusez-les vers New Relic à l'aide de la fonction record_metrics. Ils seront envoyés sous forme de métriques.
Afficher les prévisions du modèle
En monitoring les performances de vos modèles d’apprentissage machine, vous pouvez identifier les problèmes susceptibles d’avoir un impact sur leur précision ou leurs performances. Vous verrez des informations vitales dans votre dashboard , telles que les prévisions totales de votre modèle et sa distribution au fil du temps. De plus, vous pouvez définir pour suivre tous les changements dans les prédictions totales ou les choix hauts/bas.
Détecter le modèle et dérive des données
Avec monitoring du temps réel, vous pouvez rapidement identifier les problèmes avec vos modèles d'apprentissage machine en détectant le modèle et la dérive des données. Le modèle et la dérive des données sont des changements dans votre environnement réel qui peuvent affecter le pouvoir prédictif de votre modèle. En obtenant des données en temps réel sur votre modèle et la dérive des données, vous pouvez rapidement prendre des mesures correctives avant que ces problèmes n'affectent les performances de vos applications.
Plongez plus profondément dans les fonctionnalités du modèle
Obtenez des informations détaillées et des données statistiques sur votre fonctionnalité et soyez alerté de tout écart par rapport au comportement standard et attendu.
Comment commencer monitoring les performances de votre modèle ML
Tout d’abord, utilisez la documentation de démarrage pour commencer à diffuser les données de votre modèle. Ensuite, cliquez sur Model Performance dans la page All Capabilities de l'interface utilisateur de New Relic (n'oubliez pas de l'épingler) et vous verrez la vue des performances de votre modèle en fonction des données envoyées par votre modèle.
