Analyser les données du modèle

monitoring de l'IA fait apparaître des données sur votre modèle d'IA afin que vous puissiez analyser les performances du modèle d'IA ainsi que les performances de l'application IA. Vous pouvez trouver des données sur votre modèle d'IA dans deux domaines :

• Model inventory:Une vue centralisée qui affiche les performances et les données d'achèvement de tous les modèles d'IA de votre compte. Isolez l'utilisation des jetons, suivez les performances globales ou explorez les finitions individuelles réalisées par vos modèles.
• Compare models:Effectuer une analyse comparative des performances entre deux modèles au fil du temps. Cette page affiche des données pour une analyse agrégée des performances de votre modèle au fil du temps.

Page d'inventaire des modèles

La page model inventory fournit des informations détaillées sur les performances globales et l'utilisation de votre modèle d'IA. Vous pouvez analyser les données des appels effectués sur votre modèle, afin de comprendre comment le modèle d'IA affecte votre application d'IA.

Depuis l'onglet Aperçu, explorez le nombre de requests adressées à un modèle par rapport à son temps de réponse, ou analysez les graphiques de séries chronologiques pour voir quand le comportement du modèle a changé. À partir de là, examinez les onglets d’erreurs, de performances ou de coûts.

Onglet Erreurs

L'onglet Erreurs utilise des graphiques et des tableaux de séries chronologiques pour organiser les erreurs du modèle.

• Response errors:Suivez le nombre d'erreurs globales provenant de votre modèle d'IA.
• Response errors by model:Déterminez si un modèle spécifique produit plus d’erreurs en moyenne ou si une erreur spécifique se produit dans vos modèles.
• Response errors by type:Voir la fréquence à laquelle certaines erreurs apparaissent.
• Errors table: Afficher le type d’erreur et le message dans le contexte de la demande et de la réponse.

onglet performances

L'onglet Performances regroupe les métriques de réponse et de demande sur tous vos modèles. Consultez les modèles qui prennent le plus de temps pour traiter une demande ou créer une réponse avec les graphiques à secteurs, ou reportez-vous aux graphiques de séries chronologiques pour suivre les augmentations des demandes ou des temps de réponse. Vous pouvez utiliser des graphiques de performances pour localiser la valeur hors norme dans vos modèles.

Onglet Coût

L'onglet Coût utilise une combinaison de graphiques de séries chronologiques et de diagrammes à secteurs pour identifier les facteurs de coût parmi vos modèles. Déterminez le nombre de jetons provenant de l'invite ou des complétions, ou si certains modèles coûtent plus cher en moyenne que d'autres.

• Tokens used and token limit:Évaluez la fréquence à laquelle vos modèles approchent d’une limite de jeton donnée.
• Total tokens by models:Déterminez lequel de vos modèles utilise le plus de jeton en moyenne.
• Total usage by prompt and completion tokens:Comprenez quel rapport de jeton provient de l'invite que votre modèle accepte par rapport au jeton utilisé par complétion.

Comprendre les coûts vous permet d’améliorer la manière dont votre application d’IA utilise un ou plusieurs de vos modèles afin que votre chaîne d’outils d’IA soit plus rentable.

Page de comparaison des modèles

La page de comparaison de modèles organise votre monitoring des données IA pour vous aider à mener des analyses comparatives. Cette page limite vos données de comparaison de modèles à un seul compte, vous fournissant des données agrégées sur le coût et les performances du modèle sur une ou plusieurs applications. Pour générer des données :

1. Choisissez vos modèles dans la liste déroulante.
2. Accédez à un service pour voir les performances dans le contexte d'une application particulière, ou conservez la requête sur Service = All pour voir comment un modèle se comporte en moyenne.
3. Choisissez le paramètre de temps. Cet outil est flexible : vous pouvez effectuer des comparaisons sur différentes périodes, ce qui vous permet de voir comment les performances ou les coûts ont évolué avant et après un déploiement.

Comparer les performances des modèles

Pour commencer à effectuer une analyse comparative, choisissez un service, un modèle et une période spécifiques. Lorsque vous comparez des modèles, vous pouvez évaluer différentes métriques agrégées au fil du temps, en fonction de vos propres paramètres. Voici quelques exemples de cas d’utilisation pour l’analyse comparative :

• Comparez deux modèles dans le même service: le service X utilise le modèle A pendant la première semaine, puis utilise le modèle B pendant la deuxième semaine. Vous pouvez comparer les performances en choisissant le service X, en sélectionnant le modèle A et en définissant les dates de la première semaine. Sur le deuxième côté, choisissez le service X, sélectionnez le modèle B et définissez les dates de la deuxième semaine.
• Comparez les performances d'un modèle au fil du temps: sélectionnez le service X, sélectionnez le modèle A et définissez les dates de la première semaine. Sur le deuxième côté, choisissez le service X, sélectionnez le modèle A et définissez les dates de la deuxième semaine.
• Évaluer les performances du modèle dans deux services différents: Vous avez deux applications différentes qui utilisent deux modèles différents. Pour comparer le total des jetons au cours du dernier mois, choisissez le paramètre pertinent pour le service spécifique et les modèles spécifiques, puis définissez les dates pour la même période.
• Comparez deux modèles: Vous avez application qui utilise le modèle A et vous souhaitez mesurer le modèle A par rapport au modèle B. Pour chaque prompt de l'utilisateur, vous appelez le modèle B en tant que processus d'arrière-plan. Comparez les performances du modèle A par rapport au modèle B sur le même service pendant la même période.

Comparer les coûts des modèles

La colonne coût du modèle décompose l'événement d'achèvement en deux parties : la prompt donnée au modèle et la réponse finale que le modèle fournit à l'utilisateur final.

• Tokens per completion: La moyenne du jeton pour tous les événements d'achèvement.
• Prompt tokens:La moyenne des jetons pour l'invite. Cette moyenne jeton inclut l'invite créée par l'ingénieur prompt et l'utilisateur final.
• Completion tokens: Le nombre de jeton consommé par le modèle lorsqu'il génère la réponse délivrée à l'utilisateur final.

Lors de l'analyse de cette colonne, la valeur du jeton d'achèvement et du jeton prompt doit être égale à la valeur du jeton par achèvement.

Quelle est la prochaine étape ?

Maintenant que vous savez comment trouver vos données, vous pouvez explorer d'autres fonctionnalités que monitoring de l'IA a à offrir.

• Vous souhaitez analyser les performances de votre application d'IA ? Consultez notre documentation sur les pages de réponse des applications d'IA.
• Vous êtes préoccupé par des informations sensibles ? Apprenez à configurer des filtres de dépôt.
• Si vous souhaitez transmettre des informations de retour d'utilisateur sur les réponses de l'IA de votre application à New Relic, suivez nos procédures pour mettre à jour le code de votre application afin d'obtenir les commentaires des utilisateurs dans l'UI.