Monitorar agentes e ferramentas de IA

Habilitar o monitoramento de IA permite observar o desempenho de seus agentes de IA de ponta a ponta. Quando sua aplicação executa um workflow de agentes de várias etapas, a New Relic captura a execução completa, cada invocação de agente, cada chamada de ferramenta, cada transferência, para que você possa entender o que aconteceu, onde houve lentidão e onde algo deu errado.

O monitoramento de agentes de IA suporta frameworks de agentes populares, incluindo LangGraph, Strands e AutoGen.

Nenhuma configuração adicional é necessária além de habilitar o monitoramento de IA no seu agente APM existente. Uma vez ativado, o New Relic detecta e instrumenta automaticamente agentes e ferramentas nesses frameworks.

Por que monitorar agentes de IA?

Agentes de IA modernos são complexos. Uma única requisição de usuário pode gerar múltiplos subagentes, chamar ferramentas externas, consultar armazenamentos vetoriais e encadear chamadas de LLM. Quando algo dá errado - uma resposta lenta, um erro inesperado, uma contagem de tokens descontrolada - a causa raramente é óbvia vista de fora.

O monitoramento de agentes de IA ajuda você a abrir a caixa-preta:

• Rastreie cada etapa de um workflow agêntico, desde o gatilho inicial, passando por cada invocação de agente e ferramenta, até a resposta final.
• Identifique a latência em agentes e ferramentas individuais para saber exatamente onde o tempo está sendo gasto.
• Detecte erros precocemente revelando qual agente ou ferramenta na cadeia causou uma falha.
• Rastreie o consumo de tokens no nível do agente para entender os fatores de custo em workflows complexos.

Visão geral do desempenho do agente

Assim que sua aplicação agêntica reportar dados, você pode monitorar o desempenho do agente na página de respostas de IA. Métricas relacionadas ao agente são exibidas junto com seus dados de IA existentes para que você possa ter uma visão completa em um só lugar.

Os indicadores-chave de desempenho disponíveis para agentes incluem:

• Latência: Tempo de resposta de ponta a ponta para cada invocação de agente, ajudando a identificar agentes lentos em um pipeline de várias etapas.
• Taxa de erro: A frequência com que um determinado agente ou ferramenta retorna um erro, para que você possa triar falhas rapidamente.
• Uso de tokens: Contagens de tokens detalhadas no nível do agente, oferecendo uma visão granular da alocação de custos em workflows complexos.

Cada linha na tabela de Respostas representa um trace. Clicar em uma linha da tabela levará você a se aprofundar no trace, onde você pode ver o waterfall e o mapa de entidades.

Agentes de IA no mapa de entidades

A New Relic adiciona agentes de IA e ferramentas de IA como entidades de primeira classe no mapa de entidades. Isso significa que você pode visualizar sua aplicação agêntica como um grafo visual:

• Agentes aparecem como nós distintos, mostrando como se relacionam com os serviços, modelos e ferramentas com os quais interagem.
• Ferramentas de IA aparecem como nós conectados, ilustrando quais agentes invocam quais ferramentas e em que ordem.
• Relacionamentos entre agentes - como um agente delegando trabalho a um subagente - são renderizados como arestas direcionadas, tornando os padrões de orquestração fáceis de entender à primeira vista.

Cascata de rastreamento do agente

A visualização mais detalhada da execução agêntica é a cascata de traces. Agentes de IA e ferramentas de IA estão totalmente integrados à visualização em cascata de traces existente, oferecendo um detalhamento unificado, span por span, de cada etapa em um workflow.

Cada linha na cascata representa um único span. Isso inclui invocações de agentes e ferramentas.

Solução de problemas com a cascata

A cascata de rastreamento é sua principal ferramenta para solucionar problemas em pipelines agênticos complexos:

• Os erros são destacados em vermelho para que você possa identificar imediatamente qual agente ou ferramenta na cadeia causou uma falha, sem rastrear manualmente os logs.
• Spans de longa duração são visualmente evidentes pela largura da waterfall, permitindo identificar qual etapa é responsável pela latência ponta a ponta.
• Os detalhes do span estão acessíveis ao selecionar qualquer linha. O painel de detalhes mostra os atributos do span, mensagens de erro e as entradas e saídas para aquela chamada de agente ou ferramenta.

Qual é o próximo?

Agora que você entende como monitorar agentes de IA, explore estes tópicos relacionados:

• Saiba como visualizar dados de resposta de IA para suas aplicações baseadas em IA
• Descubra como personalizar o monitoramento de IA para atender às suas necessidades específicas
• Saiba mais sobre os requisitos de compatibilidade para monitoramento de IA