Intégration OpenAI

Avec notre intégration OpenAI , vous avez la possibilité de monitorer de manière transparente toutes les requêtes OpenAI . En ajoutant seulement deux lignes de code, votre équipe peut accéder à des indicateurs de performance clés tels que le coût, le temps de réponse, les limites de taux, le taux d'erreur, l'historique des discussions et des exemples d'entrées et de sorties. Notre intégration OpenAI fournit des mesures en temps réel pour aider les entreprises à optimiser leur utilisation, à réduire leurs coûts et à obtenir de meilleurs résultats.

Important

Pour intrumenter votre application basée sur OpenAI, nous vous recommandons d'utiliser monitoring de l'IA plutôt que cette ancienne méthode d'installation. Consultez notre documentation pour commencer.

Ce guide vous montrera comment intégrer vos applications OpenAI afin que vous puissiez commencer monitoring vos données.

Installer OpenAI avec pip

Une fois votre importation OpenAI terminée, exécutez :

bash

$pip install nr-openai-observability

Définissez votre variable d’environnement

Obtenez votre et définissez-le comme variable d'environnement : NEW_RELIC_LICENSE_KEY.

Pour plus de détails et d'instructions, consultez notre documentation API REST.

bash

$export NEW_RELIC_LICENSE_KEY=<license key>

import os
os.environ["NEW_RELIC_LICENSE_KEY"] = "<license key>"

Votre NEW_RELIC_LICENSE_KEY peut également être envoyé en paramètre lors de l'appel monitor.initialization() .

Modifiez votre code

Ajoutez les deux lignes suivantes à votre code :

from nr_openai_observability import monitor
monitor.initialization()

Ajoutez votre dashboard

Pour ajouter le dashboard à votre compte New Relic :

import os

import openai
from nr_openai_observability import monitor

monitor.initialization()

openai.api_key = os.getenv("OPENAI_API_KEY")
openai.Completion.create(
    model="text-davinci-003",
    prompt="What is Observability?",
    max_tokens=20,
    temperature=0 
)

Installer OpenAI

Utilisez npm et exécutez :

bash

$npm install @newrelic/openai-observability openai

Modifiez votre code

Appelez monitorOpenAI avec votre client OpenAI configuré.

Voici un exemple de code :

import { Configuration, OpenAIApi } from 'openai';
import { monitorOpenAI } from '@newrelic/openai-observability';

const configuration = new Configuration({
  apiKey: 'OPENAI_API_KEY',
});

const openAIApi = new OpenAIApi(configuration);

monitorOpenAI(openAIApi, {
  applicationName: 'MyApp',
  newRelicApiKey: 'NEW_RELIC_LICENSE_KEY',
});

const response = await openAIApi.createChatCompletion({
  model: 'gpt-3.5-turbo',
  messages: [{ role: 'user', content: 'What is Observability?' }],
});

console.log(response.data.choices[0].message);

Assurez-vous d'ajouter le type de module à package.json:

"type": "module"

Options d'initialisation

export interface MonitorOpenAIOptions {
  /**
   * Your application name in New Relic, must provided.
   */
  applicationName: string;
  /**
   * API key with insert access used to authenticate the request.
   * For more information on creating keys, please see:
   * https://docs.newrelic.com/docs/insights/insights-data-sources/custom-data/introduction-event-api#register
   */
  newRelicApiKey?: string;
  /**
   * Optional host override for event endpoint.
   */
  host?: string;
  /**
   * Optional port override for trace endpoint.
   */
  port?: number;
}

Utilisateur de compte UE

Si vous utilisez un compte UE, vous devez définir votre EVENT_CLIENT_HOST comme suit :

bash

$export EVENT_CLIENT_HOST="insights-collector.eu01.nr-data.net"

import os
os.environ["EVENT_CLIENT_HOST"] = "insights-collector.eu01.nr-data.net"

Trouvez vos données

Après avoir intégré OpenAI, suivez ces étapes pour trouver des données d'observabilité :

De one.newrelic.com.
Cliquez sur Model Performance.
Rechercher sous Applications.

Découvrez comment cela fonctionne

Si vous avez des difficultés avec ces instructions, nous vous encourageons à regarder cette vidéo de démonstration.

Cette traduction automatique est fournie pour votre commodité.

Important

Installation pour les applications Python

Installer OpenAI avec pip

Définissez votre variable d’environnement

Modifiez votre code

Ajoutez votre dashboard

Installer avec Node.js

Installer OpenAI

Modifiez votre code

Options d'initialisation

Utilisateur de compte UE

Trouvez vos données

Découvrez comment cela fonctionne