WithLlmCustomAttributes (API d'agent Python )

Syntaxe

with newrelic.agent.WithLlmCustomAttributes(custom_attribute_map):

API de gestionnaire de contexte qui ajoute un attribut spécifié par l'utilisateur aux événements des grands modèles de langage (LLM) (LLM) générés par les appels LLM dans le code de l'application.

Exigences

Agent Python version 10.1.0 ou supérieur.

Description

Cette API de gestionnaire de contexte ajoute un attribut personnalisé spécifié par l'utilisateur à chaque événement LLM généré dans son contexte en fonction des appels effectués aux LLM. L'agent ajoutera automatiquement un préfixe llm. à chaque nom de clé d'attribut personnalisé spécifié dans l'argument du dictionnaire transmis. Cette API doit être appelée dans le contexte d'une transaction active.

Ces attributs personnalisés peuvent être visualisés sur l'événement LLM et la requête dans l'UI New Relic. Pour plus d'informations sur le monitoring de l'IA, consultez notre documentation sur l'IA.

Paramètres

Valeurs de retour

Aucun.

Exemples

Ajouter un attribut personnalisé à un appel de fin de chat OpenAI

import newrelic.agent

    from openai import OpenAI

    client = OpenAI()

    with newrelic.agent.WithLlmCustomAttributes({"custom": "attr", "custom1": "attr1"}):
        response = client.chat.completions.create(
            messages=[{
                "role": "user",
                "content": "Say this is a test",
            }],
            model="gpt-4o-mini",
        )