Observabilité LLM avec OpenLIT

Bien OpenTelemetry offre une norme puissante pour la collecte de données d'application générales (trace, métriques, log), il lui manque la capacité de capturer des indicateurs de performances clés (KPI) spécifiques au modèle d'IA. Les mesures essentielles telles que le suivi des performances, l'utilisation des jetons, les coûts et les données d'interaction des utilisateurs sous forme d'invites et de réponses LLM sont cruciales pour monitoring efficace des applications LLM et un dépannage.

Pour combler cette lacune dans l’observabilité du LLM, OpenLIT est apparu comme une solution sur mesure. Construit sur le framework OpenTelemetry, OpenLIT est un outil open source qui s'intègre parfaitement et étend ses capacités. Il prend en charge les frameworks d'IA largement utilisés tels que OpenAI, Anthropic, Pinecone, LangChain, entre autres. De plus, il fournit des capacités de monitoring GPU prêtes à l'emploi basées sur OpenTelemetry.

Principaux avantages d’OpenLIT :

• Monitoring avancé des performances de LLM et VectorDB: OpenLIT génère automatiquement des traces et des métriques pour une analyse approfondie des performances et des coûts de l'utilisation de LLM et VectorDB, vous aidant à optimiser l'utilisation des ressources et à évoluer efficacement dans divers environnements, tels que la production.

• Suivi des coûts pour les modèles personnalisés et affinés: permet un suivi précis des coûts via un fichier JSON personnalisé, permettant une budgétisation précise et un alignement avec les besoins spécifiques du projet.

• OpenTelemetry- SDK natif et sans fournisseur associé: OpenLIT est conçu avec un support natif pour OpenTelemetry, ce qui lui permet de s'intégrer parfaitement à vos projets. Cette approche sans fournisseur associé réduit les obstacles à l’intégration, faisant d’OpenLIT une partie intuitive de votre stack logicielle plutôt qu’une complexité supplémentaire.

OpenLIT permet aux développeurs d'exploiter les atouts d'OpenTelemetry tout en acquérant les fonctionnalités supplémentaires requises pour monitoring efficace du LLM et une optimisation des performances.

Avant de commencer

• Créez un compte New Relic.
• Obtenez la clé de licence pour le compte New Relic auquel vous souhaitez signaler des données.

instrumentez votre modèle LLM avec OpenLIT

Suivez ces étapes de configuration courantes pour OpenTelemetry APM monitoring basée sur avec New Relic.

OTEL_EXPORTER_OTLP_ENDPOINT = https://otlp.nr-data.net:443
OTEL_EXPORTER_OTLP_HEADERS = "api-key=YOUR_NEWRELIC_LICENSE_KEY"

import openlit
import os
from langchain_openai import ChatOpenAI

os.environ['OPENAI_API_KEY'] = 'OPENAI_API_KEY'
os.environ['OTEL_EXPORTER_OTLP_ENDPOINT'] = 'https://otlp.nr-data.net:443'
os.environ['OTEL_EXPORTER_OTLP_HEADERS'] = 'api-key=YOUR_NEWRELIC_LICENSE_KEY'

openlit.init()

def add_prompt_context():
  llm = ChatOpenAI(
      model="gpt-3.5-turbo",
      temperature=0)
  chain = llm
  return chain

def prep_prompt_chain():
  return add_prompt_context()

def prompt_question():
  chain = prep_prompt_chain()
  return chain.invoke("explain the business of company Newrelic and it's advantages in a max of 50 words")

if  __name__ == "__main__":
  print(prompt_question())