Envoyez vos traces d’IA générative (GenAI) à New Relic avec OpenTelemetry

Une fois que votre application commence à envoyer des traces d’IA générative (GenAI) OpenTelemetry (OTel) à New Relic, la vue de monitoring de l’IA affiche :

Chaque appel LLM effectué par votre service : prompt, complétion, modèle, latence, nombre de jetons, raison de fin.
Appels d'outils et étapes d'agent dans le cadre de la trace complète de la requête, afin que vous puissiez voir pourquoi un modèle a pris une décision.
Erreurs, échecs de limitation de débit et appels lents présentés avec le reste de vos données APM.

Aucun agent New Relic n’est requis. Si votre application émet déjà des traces OpenTelemetry, vous y êtes presque.

Avant de commencer

Vous aurez besoin de :

Une clé de licence d’ingestion New Relic.
Une application qui appelle un LLM. Des exemples Python pour OpenAI, Anthropic, LangChain et AWS Bedrock sont présentés ci-dessous. Les autres langages dotés de l'instrumentation OpenTelemetry pour l'IA générative (GenAI) fonctionnent de la même manière.
Sortie réseau de votre application vers le point de terminaison OTLP de New Relic pour votre région sur le port 443. Pour obtenir la liste complète des points de terminaison régionaux (US, EU, et JP), des ports pris en charge, et des paramètres de compression, consultez Envoyer des données à New Relic à l’aide du protocole OpenTelemetry (OTLP).

Important

Les instrumentations d’IA générative (GenAI) d’OTel peuvent capturer les prompts et les complétions exacts que vos utilisateurs envoient et reçoivent. Cela peut inclure des informations personnelles identifiables (PII), des identifiants, ou des données réglementées. La capture de contenu est désactivée par défaut. Avant de l’activer, passez en revue les politiques de traitement des données de votre organisation, et consultez Contrôler quels prompts et quelles complétions sont envoyés.

Pointez votre exportateur OpenTelemetry vers New Relic

Définissez ces variables d’environnement sur le processus exécutant votre application :

bash

$# Replace with your region's OTLP endpoint — see the prerequisites above for the full list
$export OTEL_EXPORTER_OTLP_ENDPOINT="<<YOUR_OTLP_ENDPOINT>>"
$export OTEL_EXPORTER_OTLP_HEADERS="api-key=$NEW_RELIC_LICENSE_KEY"
$
$# Name that will identify this service in New Relic
$export OTEL_SERVICE_NAME="my-genai-service"

Ajouter le bon package d'instrumentation

Choisissez la section qui correspond à ce que votre application utilise. Vous pouvez en combiner plusieurs — par exemple, une application LangChain qui appelle Bedrock installerait les deux.

Conseil

Les noms exacts des packages et les versions évoluent rapidement dans l’écosystème d’IA générative (GenAI) d’OpenTelemetry. Consultez toujours le registre contrib Python d’OpenTelemetry, et la documentation du monitoring de l’IA de New Relic pour le package que votre équipe prend actuellement en charge.

Installez l’instrumentation officielle d’IA générative (GenAI) OpenAI du projet OpenTelemetry, puis exécutez votre application avec opentelemetry-instrument ou appelez l’instrumenteur explicitement :

from opentelemetry.instrumentation.openai_v2 import OpenAIInstrumentor
OpenAIInstrumentor().instrument()

from openai import OpenAI
OpenAI().chat.completions.create(
    model="gpt-4o-mini",
    messages=[{"role": "user", "content": "Hello"}],
)

Installez une instrumentation Anthropic OpenTelemetry (disponible dans le registre contrib d’OpenTelemetry et dans les distributions communautaires telles qu’OpenLLMetry). Ensuite :

from opentelemetry.instrumentation.anthropic import AnthropicInstrumentor
AnthropicInstrumentor().instrument()

import anthropic
anthropic.Anthropic().messages.create(
    model="claude-sonnet-4-5",
    max_tokens=1024,
    messages=[{"role": "user", "content": "Hello"}],
)

L'instrumentation LangChain couvre la chaîne, tous les appels d'outils et le client de modèle sous-jacent dans un seul package. Installez l'instrumentation LangChain communautaire de votre choix et activez-la au démarrage :

from opentelemetry.instrumentation.langchain import LangchainInstrumentor
LangchainInstrumentor().instrument()

Vos chaînes ChatOpenAI, ChatAnthropic ou similaires existantes seront tracées automatiquement. Les étapes d'outil et d'agent apparaissent sous forme de spans enfants sous l'invocation de la chaîne parente.

Le trafic Bedrock passe par le SDK AWS. Installez l'instrumentation OpenTelemetry du SDK AWS (botocore) et activez-la :

from opentelemetry.instrumentation.botocore import BotocoreInstrumentor
BotocoreInstrumentor().instrument()

import boto3, json
boto3.client("bedrock-runtime", region_name="us-east-1").invoke_model(
    modelId="anthropic.claude-3-5-sonnet-20241022-v2:0",
    body=json.dumps({
        "anthropic_version": "bedrock-2023-05-31",
        "max_tokens": 256,
        "messages": [{"role": "user", "content": "Hello"}],
    }),
)

Vérifiez que votre version installée émet des attributs d'IA générative (GenAI) (gen_ai.system, gen_ai.request.model et l'utilisation des jetons) pour les appels Bedrock — la prise en charge a été intégrée progressivement au fil des versions.

Vérifier que vos données arrivent

Redémarrez votre application pour que les nouvelles variables d'environnement et l'instrumentation prennent effet.
Déclenchez une petite quantité de trafic réel — quelques complétions de chat suffisent.

Dans New Relic, ouvrez Query Your Data et exécutez :

SELECT count(*) FROM Span
WHERE gen_ai.system IS NOT NULL OR gen_ai.provider.name IS NOT NULL
SINCE 30 minutes ago
FACET service.name, gen_ai.operation.name

En quelques minutes (2 - 5 min), vous devriez voir des lignes réparties par nom de service et par opération (par ex. chat, completion, embeddings).
Accédez à APM & Services > AI Monitoring et sélectionnez votre service pour voir la vue AI Traces se remplir.

Contrôlez quels prompts et complétions sont envoyés

Par défaut, la plupart des instrumentations d'IA générative (GenAI) OpenTelemetry ne capturent pas le texte des prompts ou des complétions. Les spans incluront le modèle, le nombre de jetons, la latence et le statut, mais pas le corps des messages.

Pour rendre le contenu des messages visible dans le monitoring de l'IA, activez-le explicitement. Le nom de l'indicateur dépend du package d'instrumentation que vous avez installé : consultez la documentation de ce package spécifique. Les exemples courants incluent :

OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT=true pour les instrumentations maintenues par OpenTelemetry.
TRACELOOP_TRACE_CONTENT=true pour les instrumentations communautaires (famille OpenLLMetry).

Avant d’activer la capture de contenu en production :

Passez en revue les données que contiennent vos prompts. Si vos utilisateurs soumettent des PII, des identifiants, ou des données réglementées, nous vous recommandons d’utiliser des filtres de suppression, ou une obfuscation au niveau des attributs pour supprimer, ou hacher des champs spécifiques avant qu’ils ne soient envoyés à New Relic. Consultez la documentation de New Relic sur la gestion des données.
Vérifiez les exigences de votre organisation en matière de conservation et de conformité (RGPD, HIPAA, PCI, etc.).

Si vous n'avez besoin que de la visibilité sur la latence, les jetons et les erreurs — et non sur le corps des messages —, laissez la capture de contenu désactivée.

Dépannage

Ce que vous voyez	Ce qu'il faut essayer
La requête de l'étape 3 ne renvoie aucune ligne	Confirmez que votre point de terminaison OTLP correspond à la région de votre compte et que l'en-tête `api-key` contient une clé de licence d'ingestion valide (et non une clé utilisateur).
Les spans arrivent, mais la vue de monitoring de l’IA est vide pour votre service	Les spans peuvent ne pas être tagués avec les attributs d'IA générative (GenAI) attendus. Mettez à niveau le package d'instrumentation ou contactez l'assistance New Relic avec un exemple de span.
Les prompts longs sont coupés	Levez `OTEL_ATTRIBUTE_VALUE_LENGTH_LIMIT` et `OTEL_SPAN_ATTRIBUTE_VALUE_LENGTH_LIMIT` côté application.
Le nombre de jetons est manquant	Le fournisseur LLM les a renvoyés, mais votre version d'instrumentation ne les enregistre pas encore. Mettez à niveau le package d'instrumentation.
Le monitoring de l’IA affiche des traces mais les prompts/complétions sont vides	La capture de contenu est désactivée. Consultez Contrôler quels prompts, et quelles complétions sont envoyés.
Vous vous attendez à ce que le monitoring de l’IA soit disponible, mais la vue n’apparaît pas	Contactez l’équipe de votre compte New Relic pour confirmer que le monitoring de l’IA est activé sur votre compte.

Obtenir de l'aide

Si vous êtes bloqué après avoir suivi les étapes ci-dessus :

Ouvrez un dossier de support New Relic et incluez un exemple de charge de span et le nom de votre service.
Contactez l'équipe de votre compte New Relic pour toute question de configuration au niveau du compte.
Pour les questions générales sur l’IA générative (GenAI) OpenTelemetry, les conventions sémantiques de l’IA générative (GenAI) OpenTelemetry font autorité.

Cette traduction automatique est fournie pour votre commodité.

Envoyez vos traces d’IA générative (GenAI) à New Relic avec OpenTelemetry

Avant de commencer

Important

Pointez votre exportateur OpenTelemetry vers New Relic

Ajouter le bon package d'instrumentation

Conseil

OpenAI

Anthropic

LangChain

Base AWS

Vérifier que vos données arrivent

Contrôlez quels prompts et complétions sont envoyés

Dépannage

Obtenir de l'aide

Cette traduction automatique est fournie pour votre commodité.

Envoyez vos traces d’IA générative (GenAI) à New Relic avec OpenTelemetry

Avant de commencer .css-21sua1{background:none;border:none;width:0;padding:0;}

Important

Pointez votre exportateur OpenTelemetry vers New Relic

Ajouter le bon package d'instrumentation

Conseil

Anthropic

LangChain

Base AWS

Vérifier que vos données arrivent

Contrôlez quels prompts et complétions sont envoyés

Dépannage

Obtenir de l'aide

Avant de commencer