Une fois que vous avez installé monitoring de l'IA, vous pouvez configurer le comportement par défaut de l'agent ou mettre à jour votre application pour collecter différents types de données.
Configurer l'agent
Mettez agent à jour le comportement par défaut pour monitoring de l'IA dans ces agent configuration documents :
méthode de comptage des jetons
Si vous n'avez pas désactivé ai_monitoring.record_content.enabled, vous n'avez pas besoin d'implémenter l'API de rappel de comptage de jetons.
La désactivation de ai_monitoring.record_content.enabled empêche l'agent d'envoyer du contenu IA à New Relic, mais empêche également l'agent de transmettre les nombres de jetons pour l'interaction avec votre application. Vous pouvez implémenter un rappel dans le code de votre application pour déterminer le nombre de jetons localement, puis transmettre ces informations à New Relic.
Reportez-vous aux documents ci-dessous pour obtenir des exemples de configuration du comptage de jetons localement :
méthodes de retour d'expérience utilisateur
Si l'utilisateur final peut laisser un commentaire sur une réponse de l'IA, vous pouvez transmettre ces données dans la table monitoring de la réponse de l'IA. Pour ce faire, vous mettrez à jour le code de votre application pour corréler les identifiants de trace des données d’événement AI à l’aide de méthodes de rappel.
Il y a deux méthodes à mettre en œuvre pour transmettre ce type d'informations :