monitoring de l'IA est notre solution de monitoring d'application (APM)) pour l'IA. Lorsque vous activez monitoring de l'IA, notre agent APM peut vous donner une visibilité de bout en bout sur les performances, le coût et la qualité des modèles pris en charge par des fournisseurs tels que OpenAI, Bedrock et DeepSeek. Découvrez comment l'utilisateur interagit avec un assistant IA, approfondissez les détails au niveau tracesur la réponse d'un modèle à un événement IA et comparez les performances de différents modèles dans les environnements d'application.
Accédez à one.newrelic.com > AI monitoring > AI responses.
Comment fonctionne monitoring de l'IA ?
Pour commencer à monitoring l'IA, vous instrument votre application basée sur l'IA avec l'un de nos agents APM. Une fois que vous avez instrumenté votre application, vous pouvez activer monitoring de l'IA afin que l'agent puisse capturer les données d'observabilité LLM.
Lorsque votre assistant IA reçoit une prompt et renvoie une réponse, l'agent capture les données métriques et d'événements générées à partir de LLM externes et de magasins de vecteurs. Notre agent peut :
- Analyser les informations sur l'achèvement, prompt et le jeton de réponse
- Suivez requests et les réponses qui transitent par l'un de nos modèles pris en charge
- Corréler les commentaires négatifs ou positifs à propos d'une réponse de votre utilisateur final
Vous pouvez accéder à toutes ces informations et bien plus encore depuis la plateforme New Relic , puis créer des alertes et des dashboards pour vous aider à gérer efficacement vos données d'IA et à améliorer les performances.
Améliorer les performances de l'IA grâce au monitoring de l'IA
Pour avoir un aperçu des performances de votre application basée sur l'IA : accédez à one.newrelic.com > AI monitoring > AI responses.
monitoring de l'IA peut vous aider à répondre à des questions critiques sur les performances des applications d'IA : votre utilisateur final attend-il trop longtemps une réponse ? Y a-t-il une augmentation récente de l’utilisation du jeton ? Existe-t-il des modèles de retours d’utilisateurs négatifs autour de certains sujets ? Avec monitoring de l'IA, vous pouvez voir les données spécifiques à la couche IA :
- Identifiez les erreurs dans les interactions spécifiques prompt et réponses à partir du tableau de réponses. Si vous cherchez à améliorer votre modèle d'IA, apprenez à analyser votre modèle avec des données de niveau trace.
- Si vous utilisez différents modèles dans différents environnements d'application, vous pouvez comparer le coût et les performances de vos applications avant leur déploiement.
- Êtes-vous préoccupé par la conformité des données ? Découvrez comment créer des filtres de dépôt pour supprimer des données sensibles avant de les envoyer à New Relic.
Démarrer avec monitoring de l'IA
Prêt à commencer ? Assurez-vous de confirmer que vous pouvez instrument votre bibliothèque ou votre framework d'IA. Vous devrez peut-être mettre à jour l'agent si vous avez déjà instrumenté votre application.
Lorsque vous êtes prêt, utilisez notre documentation pour installer manuellement monitoring de l'IA. Ce document vous dirige vers les procédures pertinentes pour l'installation d'un agent APM, puis vous guide dans la configuration de l'agent pour monitoring de l'IA.