Les opérations d'apprentissage machine sont un ensemble de pratiques conçues pour augmenter la qualité, simplifier le processus de gestion et automatiser le déploiement de modèles d'apprentissage machine dans un environnement de production à grande échelle.
Alors que de plus en plus d’entreprises investissent dans l’intelligence artificielle et l’apprentissage machine, il existe un fossé de compréhension entre les équipes de science des données qui développent des modèles d’apprentissage machine et les équipes DevOps qui exploitent les applications qui alimentent ces modèles. À ce jour, seulement 15 % des entreprises déploient l’IA pour englober l’ensemble de leurs activités. Le fait que 75 % des modèles d’apprentissage machine en production ne soient jamais utilisés en raison de problèmes de déploiement, monitoring, de gestion et de gouvernance n’aide pas. En fin de compte, cela conduit à une énorme perte de temps pour les ingénieurs et les data scientists travaillant sur les modèles, à une perte nette importante d’argent investi par l’entreprise et à un manque général de confiance lorsque les modèles d’apprentissage machine permettent une croissance quantifiable.
Notre monitoring des performances des modèles offre aux data scientists et aux professionnels du MLOps une visibilité sur les performances de leurs applications de machine learning en monitoring le comportement et l'efficacité des modèles en production. Il permet aux équipes de données de collaborer directement avec les équipes DevOps , ce qui crée un processus continu de développement, de test et monitoring opérationnelle.
Comment monitorer vos modèles d'apprentissage machine
Pour utiliser monitoring des performances des modèles dans les alertes New Relic, vous disposez de plusieurs options différentes :
Bring your own data (BYOD): Il s’agit de l’approche recommandée par New Relic. Notre monitoring ML des performances des modèles fournit une observabilité approfondie de la manière dont vos modèles ML fonctionnent en production. BYOD peut être utilisé depuis n'importe quel environnement (script Python, conteneur, fonction Lambda, SageMaker, etc.) et peut être facilement intégré à n'importe quel framework de machine learning (Scikit-learn, Keras, Pytorch, Tensorflow, Jax, etc.). Grâce à BYOD, vous pouvez intégrer votre propre télémétrie de modèle ML dans New Relic et commencer à tirer profit des données de votre modèle ML. En quelques minutes seulement, vous pouvez obtenir la distribution des fonctionnalités, les données statistiques et la distribution des prédictions ainsi que toutes les autres métriques personnalisées que vous souhaitez monitorer. Pour en savoir plus sur BYOD, consultez notre documentation.
Integrations: New Relic s'est également associé à Amazon SageMaker, vous offrant une vue des mesures de performances de SageMaker dans New Relic et élargissant l'accès à l'observabilité pour les ingénieurs ML et les équipes de science des données. En savoir plus sur notre intégration Amazon SageMaker.
Partnerships: New Relic s'est associé à sept fournisseurs MLOps différents qui proposent des cas d'utilisation et des capacités monitoring spécifiques. Les partenaires sont un excellent moyen d'accéder à des performances organisées et à d'autres outils d'observabilité, en fournissant un dashboard prêt à l'emploi qui vous donne une visibilité instantanée sur vos modèles.
Nous travaillons actuellement en partenariat avec :
Pour commencer à mesurer les performances des modèles d'apprentissage machine en quelques minutes à l'aide de l'une de ces options, consultez les démarrages rapidesmonitoring des performances des modèles.
Comment monitorer les applications OpenAI GPT
Avec l' intégration de l'application de la série GPT, vous aurez la possibilité de monitorer les requêtes d'achèvement OpenAI et log des statistiques utiles dans un dashboard personnalisable New Relic sur vos requests. En ajoutant seulement deux lignes de code, vous pouvez accéder à des indicateurs de performance clés tels que le coût, le temps de réponse et les exemples d'entrées/sorties. Le dashboard entièrement personnalisable permet également à l'utilisateur de suivre le nombre total requests, le nombre moyen de jetons/requests et les noms de modèles. Pour en savoir plus ou installer l'intégration, visitez notre guide de démarrage rapide New Relic OpenAI .