Afficher les données de réponse de l'application IA

L'activation de monitoring de l'IA permet à l'agent de reconnaître et de capturer les métriques de performances et trace les données sur la couche IA de votre application. Avec monitoring de l'IA, vous pouvez suivre l'utilisation des jetons, le nombre d'achèvements et les temps de réponse de l'IA à partir de votre application alimentée par l'IA. Lorsque vous voyez une erreur ou une réponse inexacte, vous pouvez accéder à traceune vue au niveau sur une prompt-réponse donnée interaction pour identifier les problèmes dans la logique de votre service d'IA.

Vous pouvez consulter vos données en allant sur one.newrelic.com > All Capabilities > AI monitoring. Vous pouvez voir vos données à partir de trois pages différentes :

• AI responses: Aperçu des données agrégées de toutes vos entités IA. Suivez vos temps de réponse et vos jetons AI, ou consultez des données sur les invites et les réponses individuelles.
• AI entities: Affichez un tableau récapitulatif de toutes les entités déclarant des données sur l'IA. Voir l'entité avec des données APM standard telles que le taux d'erreur, le débit et le temps de réponse de l'application. Lorsque vous sélectionnez une entité, vous pouvez commencer à explorer la page APM des réponses d'AI .

Page de réponses de l'IA

La page AI responses de niveau supérieur affiche vos données d’IA dans leur ensemble. Les données agrégées prennent en compte le total moyen des réponses, le temps de réponse et l'utilisation du jeton par réponse pour toutes les entités déclarant des données d'IA. Sur cette page, la réponse fait référence à une sortie de votre application alimentée par l'IA lorsqu'une prompt vous est envoyée.

Si vous possédez plusieurs applications avec différentes implémentations de différents frameworks d'IA, vous pouvez avoir une idée générale des performances de votre modèle d'IA.

Suivez le nombre total de réponses, le temps de réponse moyen et l'utilisation du jeton

Les trois tuiles montrent les mesures générales des performances concernant les réponses de votre IA. Ces tuiles ne vous indiquent peut-être pas la cause exacte d'un problème, mais elles sont utiles pour identifier une anomalie dans les performances de votre application.

• Si vous constatez une baisse du nombre total de réponses ou une augmentation du temps de réponse moyen, cela peut indiquer qu'une technologie de votre chaîne d'outils d'IA a empêché votre application basée sur l'IA de publier une réponse.
• Une baisse ou une augmentation de l'utilisation moyenne de jetons par réponse peut vous donner des informations détaillées sur la manière dont votre modèle crée une réponse. Peut-être qu'il tire trop de contexte, augmentant ainsi le coût du jeton tout en générant sa réponse. Peut-être que ses réponses sont trop éparses, ce qui conduit à des coûts de jeton inférieurs et à des réponses inutiles.

Ajuster les graphiques de séries chronologiques

Vous pouvez vous référer aux graphiques de séries chronologiques pour mieux visualiser le moment où un comportement anormal apparaît pour la première fois.

• Ajustez le graphique de la série chronologique en faisant glisser un pic ou en le déposant. Cela limite la série temporelle à une certaine fenêtre temporelle.
• Sélectionnez le menu déroulant pour exécuter une analyse comparative pour différents paramètres de performances. Vous pouvez choisir entre réponses totales, temps de réponse moyen ou jeton moyen par réponse.
• Si vous avez activé la fonctionnalité de commentaires, vous pouvez étendre les graphiques pour analyser les réponses par commentaires positifs et négatifs.

Évaluer les réponses individuelles de l'IA

Votre table de réponse IA organise les données sur l'interaction entre votre utilisateur final et l'application IA. Vous pouvez voir quand une interaction s'est produite, l'invite associée à leurs réponses, l'achèvement et le nombre de jetons, et quel modèle a reçu une prompt.

Vous pouvez ajuster les colonnes du tableau en cliquant sur l'icône en forme d'engrenage en haut à droite. Cela vous permet de choisir les types de données que vous souhaitez analyser.

La table de réponse est un point d’entrée permettant de visualiser les données de trace relatives à une réponse individuelle. Cliquez sur une ligne du tableau pour ouvrir la vue de trace d’une réponse particulière.

AI trace des réponses vue

La vue AI trace des réponses vous donne des informations tracesur la façon dont votre application génère des réponses. Vous souhaiterez peut-être consulter la vue de trace pour identifier où une erreur s'est produite, ou peut-être souhaitez-vous comprendre ce qui a conduit à un retour négatif à partir d'une réponse de jeton élevée. À partir de la vue de trace, vous pouvez :

• Choisissez entre trace ou logs. Lorsque vous sélectionnez les logs, interrogez les logs pour les chaînes de texte ou l'attribut que vous souhaitez approfondir.

• Basculer entre les détails de la réponse ou les métadonnées. La colonne Détails de la réponse affiche la prompt de l'utilisateur et la réponse de l'IA afin que vous puissiez conserver le contexte de votre trace et de vos étendues. métadonnées fournit une vue de liste pour GUID, le modèle, le jeton et le fournisseur de l'entité.

• Lorsqu'une erreur se produit, la vue en cascade met en évidence sa ligne en rouge. Sélectionnez la ligne pour ouvrir les données de la plage, y compris les détails de l'erreur de la plage.

  

  

Page d'entité AI

La page Entité AI organise toutes vos entités qui signalent actuellement des données AI dans un tableau. Cette page affiche vos applications d'IA ainsi que le temps de réponse, le débit et le taux d'erreur.

La sélection d’une entité IA vous amène à la page de résumé APM pour cette application. À partir du APM summary page, sélectionnez AI monitoring dans la navigation de gauche.

Page de réponses de l'IA APM

La sélection d’une entité IA vous amène à la page de résumé de l’APM. Pour trouver vos données d'IA, choisissez AI responses dans le menu de navigation de gauche. Nous vous recommandons d'utiliser cette page lorsque vous avez identifié qu'une entité IA particulière a contribué à une anomalie.

• La version APM des réponses AI contient les mêmes tuiles, graphiques de séries chronologiques et tableaux de réponses collectés que la page des réponses AI de niveau supérieur.
• Au lieu d'afficher des données agrégées, la page de réponses APM AI affiche des données limitées au service que vous avez sélectionné à partir de l'entité AI.
• Alors que la page de réponses de l'IA de niveau supérieur vous permet de filtrer par service sur toutes les entités de l'IA, la page de réponses de l'IA APM limite la fonctionnalité de filtrage à l'attribut propre à l'application.

Pour découvrir comment explorer vos données d’IA, vous pouvez suivre les mêmes modèles expliqués dans la section précédente sur les réponses de l’IA.

Quelle est la prochaine étape ?

Maintenant que vous savez comment trouver vos données, vous pouvez explorer d'autres fonctionnalités que monitoring de l'IA a à offrir.

• Vous souhaitez analyser les données relatives aux appels effectués sur votre modèle d'IA ? Consultez notre document sur l'inventaire des modèles et les pages de comparaison des modèles.
• Vous êtes préoccupé par des informations sensibles ? Apprenez à configurer des filtres de dépôt.
• Si vous souhaitez transmettre des informations de retour d'utilisateur sur les réponses de l'IA de votre application à New Relic, suivez nos instructions pour mettre à jour le code de votre application afin d'obtenir les commentaires des utilisateurs dans l'UI.