AI 에이전트 및 도구를 모니터링합니다.

AI 모니터링을 활성화하면 AI 에이전트의 성능을 처음부터 끝까지 관찰할 수 있습니다. 애플리케이션이 여러 단계의 에이전트 작업을 실행할 때, 뉴렐릭은 전체 실행, 모든 호출, 모든 도구 호출, 모든 핸드오프를 캡처하여 무슨 일이 일어났는지, 어디에서 속도가 느려졌는지, 어디에서 문제가 발생했는지 파악할 수 있도록 합니다.

AI 에이전트 모니터링은 LangGraph, Strands, AutoGen을 포함한 널리 사용되는 에이전트 프레임워크를 지원합니다.

기존 APM 에이전트에서 AI 모니터링을 활성화하는 것 외에 추가 설정이 필요하지 않습니다. 활성화되면 뉴렐릭은 이러한 프레임워크 내에서 리소스화된 에이전트 및 도구를 자동으로 감지하고 제공합니다.

AI 에이전트를 모니터링해야 하는 이유는 무엇일까요?

현대의 인공지능 에이전트는 복잡합니다. 단일 사용자 요청은 여러 하위 개체를 생성하고, 외부 도구를 호출하고, 쿼리 벡터 저장소를 저장하고, LLM 호출을 함께 연결할 수 있습니다. 응답 속도 저하, 예상치 못한 오류, 토큰 카운트 폭증 등 문제가 발생할 경우, 외부에서는 그 원인을 쉽게 파악하기 어렵습니다.

AI 에이전트 모니터링은 블랙박스의 비밀을 밝히는 데 도움이 됩니다.

• 초기 트리거부터 각 에이전트 및 도구 호출을 거쳐 최종 응답까지 에이전트 워크플로우의 모든 단계를 추적합니다.
• 개별 도구와 도구 전반에 걸쳐 지연 시간을 정확히 파악하여 시간이 어디에 소요되는지 정확히 알 수 있습니다.
• 체인에서 어떤 에이전트나 도구가 오류를 일으켰는지 파악하여 오류를 조기에 발견하십시오.
• 복잡한 워크플로우에서 비용 발생 요인을 파악하기 위해 에이전트 수준에서 토큰 소비량을 추적합니다.

에이전트 성능 개요

에이전트 애플리케이션에서 데이터가 보고되면 AI 응답 페이지에서 에이전트 성능을 모니터링할 수 있습니다. 관련 정보가 기존 AI 데이터와 함께 표시되므로 전체적인 상황을 한눈에 파악할 수 있습니다.

에이전트에 사용할 수 있는 핵심 성과 지표(KPI)는 다음과 같습니다.

• 지연시간: 각 에이전트 호출에 대한 엔드투엔드 응답 시간으로, 다단계 파이프라인에서 느린 에이전트를 식별하는 데 도움이 됩니다.
• 오류율: 특정 에이전트 또는 도구가 오류를 반환하는 빈도로, 이를 통해 오류를 신속하게 분류할 수 있습니다.
• 중요한 사용량: 에이전트 수준에서 세분화된 인사이트 개수를 복잡한 워크플로우 전반에 걸쳐 세분화된 비용 할당으로 제공합니다.

응답 표의 각 행은 트레이스를 나타냅니다. 테이블 줄을 클릭하면 트레이를 자세히 살펴볼 수 있으며, 그곳에서 폭포와 엔터티 지도를 볼 수 있습니다.

엔터티 지도의 AI 에이전트

뉴렐릭은 엔터티 지도에 AI 에이전트 및 AI 도구를 최고급 요소로 추가합니다. 즉, 에이전트 애플리케이션을 시각적인 그래프로 볼 수 있다는 뜻입니다.

• 에이전트는 별도의 노드로 표시되며, 에이전트가 상호 작용하는 서비스, 모델 및 도구와의 관계를 보여줍니다.
• AI 도구는 연결된 노드로 표시되며, 어떤 에이전트가 어떤 도구를 어떤 순서로 호출하는지를 보여줍니다.
• 작업자 간의 관계 (예: 한 작업자가 하위 작업자에게 작업을 위임하는 경우)는 방향성 있는 엣지로 표현되어 오케스트레이션 패턴을 한눈에 쉽게 이해할 수 있습니다.

에이전트 트레이스 폭포

에이전트 실행에 대한 가장 상세한 보기는 트레이스 워터폴입니다. AI 에이전트와 AI 도구는 기존 트레이스 워터폴 보기에 완전히 통합되어 추적플로우의 모든 단계에 대한 통일된 범위별 분석을 제공합니다.

워터폴 그래프의 각 행은 하나의 스팬을 나타냅니다. 여기에는 에이전트 및 도구 호출이 포함됩니다.

문제 해결, 폭포수 문제 해결

트레이스 폭포는 문제 해결을 위한 기본 도구로, 복잡한 에이전트 파이프라인의 문제를 해결합니다.

• 오류는 빨간색으로 강조 표시되므로 로그를 수동으로 추적하지 않고도 체인에서 어떤 에이전트 또는 도구가 오류를 발생시켰는지 즉시 파악할 수 있습니다.
• 워터폴 너비를 통해 긴 구간이 시각적으로 명확하게 드러나므로, 전체 지연 시간에 영향을 미치는 단계를 쉽게 파악할 수 있습니다.
• 행을 선택하면 스팬 세부 정보를 확인할 수 있습니다. 세부 정보 패널에는 스팬의 속성, 오류 메시지, 해당 에이전트 또는 도구 호출에 대한 입력 및 출력이 표시됩니다.

다음은 뭐지?

이제 AI 에이전트를 모니터링하는 방법을 이해했으니 다음 관련 주제를 살펴보세요.

• AI 기반 애플리케이션의 AI 응답 데이터를 확인 하는 방법을 알아보세요.
• 특정 요구 사항에 맞춰 AI 모니터링을 맞춤 설정하는 방법을 알아보세요.
• AI 모니터링을 위한 호환성 요구 사항 에 대해 알아보세요.