IBM MQ OpenTelemetry 모니터링 문제 해결

수집기의 상태를 검증하고 로그를 확인하여 문제를 식별하십시오:

$
sudo systemctl status nrdot-collector.service --no-pager
$
sudo journalctl -u nrdot-collector.service -n 200 --no-pager

설정 문제:

• YAML 구문 오류: 수집기 구성 파일의 들여쓰기 및 구문을 확인해 주십시오.
• 누락된 환경 파일: /etc/nrdot-collector/ibmmq-env이(가) 존재하는지 확인해 주십시오.
• 잘못된 라이선스 키: 401 또는 403 오류가 표시됩니다. 뉴렐릭 라이선스 키를 확인하십시오

수집기의 상태를 검증하고 로그를 확인하여 문제를 식별하십시오:

$
kubectl -n ibmmq logs deploy/ibmmq-collector-opentelemetry-collector

일반적인 원인 및 해결 방법

로그에서 다음 오류 패턴을 찾으십시오:

설정 문제:

• YAML 구문 오류: 수집기 구성 파일의 들여쓰기 및 구문을 확인해 주십시오.
• 환경 파일 누락: ibmmq 네임스페이스에 newrelic-otlp-secret Secret이 존재하는지 확인하십시오.
• 잘못된 라이선스 키: 401 또는 403 오류가 표시됩니다. 뉴렐릭 라이선스 키를 확인하십시오

Kubernetes 관련 문제:

• CreateContainerConfigError: 누락된 newrelic-otlp-secret 시크릿입니다. 뉴렐릭 자격 증명 시크릿 생성 단계를 다시 실행해 주십시오.
• spec.ports: Required value: service.enabled: false이(가) 다음에서 누락되었습니다. values.yaml
• cannot list resource "pods" … forbidden: 누락된 RBAC. Helm 값에 clusterRole.create: true이(가) 설정되어 있는지 확인합니다.

1. IBM MQ 익스포터가 작동하는지 확인하십시오:

   bash

   카피

   $
   curl -s http://<exporter-host>:9157/metrics | grep '^ibmmq_qmgr_status'

   큐 관리자당 한 줄이 표시되어야 합니다. 출력이 표시되지 않으면 익스포터가 제대로 작동하지 않는 것입니다.

2. 수집기가 정상 상태이고 타겟을 검색하고 있는지 확인해 주십시오.

   bash

   카피

   $
   curl http://127.0.0.1:13133
   $
   # Expected: {"status":"Server available", ...}

   otelcol_receiver_accepted_metric_points 0보다 크면 수집기가 타겟을 찾았음을 확인합니다. otelcol_exporter_send_failed_metric_points은(는) 0로 유지되어야 합니다.

3. 타겟 검색 문제를 확인해 주십시오.

• IBMMQ_QMN_ENDPOINT 변수가 작동 중인 익스포터를 가리키는지 확인합니다.
• 수집기가 각 익스포터 엔드포인트에 도달할 수 있는지 확인해 주십시오
• 정적 타겟 설정이 올바른지 확인합니다.

4. 메트릭이 수집되고 있지만 뉴렐릭에 표시되지 않는지 확인해 주십시오:

• OTLP 엔드포인트 리전: 엔드포인트가 뉴렐릭 계정 리전(US vs EU)과 일치하는지 확인해 주십시오

• 라이선스 키: 라이선스 키가 유효하고 올바른 권한이 있는지 확인하십시오

• 네트워크 연결: 수집기가 뉴렐릭 OTLP 엔드포인트에 도달할 수 있는지 확인하십시오

  잘못된 리전은 수집기 측 오류 없이 데이터를 조용히 삭제합니다.

1. IBM MQ 익스포터가 작동하는지 확인하십시오:

   bash

   카피

   $
   curl -s http://<exporter-host>:9157/metrics | grep '^ibmmq_qmgr_status'

   큐 관리자당 한 줄이 표시되어야 합니다. 출력이 표시되지 않으면 익스포터가 제대로 작동하지 않는 것입니다.

2. 수집기가 정상 상태이고 타겟을 검색하고 있는지 확인해 주십시오.

   bash

   카피

   $
   kubectl -n ibmmq port-forward deploy/ibmmq-collector-opentelemetry-collector 8888:8888 &
   $
   curl -s http://localhost:8888/metrics | \
   >
     grep -E 'otelcol_(receiver_accepted|exporter_sent|exporter_send_failed)_metric_points'
   $
   kill %1 2>/dev/null

   otelcol_receiver_accepted_metric_points 0보다 크면 수집기가 타겟을 찾았음을 확인합니다. otelcol_exporter_send_failed_metric_points은(는) 0로 유지되어야 합니다.

3. otelcol_receiver_accepted_metric_points이(가) 0으로 유지되는지 확인하십시오:

• 큐 관리자 파드는 파드 템플릿 에 필수 주석 을 포함해야 하며, 은(는) 정확히 다음으로 prometheus.io/scrape 설정되어야 합니다. "true"
• 파드는 ibmmq 네임스페이스에서 실행되어야 합니다
• clusterRole.create: true이(가) 적용되었는지 확인하십시오 ― 적용되지 않으면 kubernetes_sd이(가) 반환됩니다 403 Forbidden

4. 메트릭이 수집되고 있지만 뉴렐릭에 표시되지 않는지 확인해 주십시오:

• OTLP 엔드포인트 리전: 엔드포인트가 뉴렐릭 계정 리전(US vs EU)과 일치하는지 확인해 주십시오

• 라이선스 키: 라이선스 키가 유효하고 올바른 권한이 있는지 확인하십시오

• 네트워크 연결: 수집기가 뉴렐릭 OTLP 엔드포인트에 도달할 수 있는지 확인하십시오

  잘못된 리전은 수집기 측 오류 없이 데이터를 조용히 삭제합니다.

이는 거의 항상 엔티티 중요 메트릭 형태를 변경함으로써 발생합니다. 엔티티 합성은 원시 언더스코어 메트릭(ibmmq_*), 원시 qmgr 레이블 및 target.name 속성을 키로 사용합니다. 다음을 확인하십시오:

• 메트릭 이름이 점으로 구분되지 않습니다. ibmmq.queue.depth이(가) 아니라 ibmmq_queue_depth이(가) 표시되어야 합니다.

• qmgr 레이블이 존재하며 이름이 변경되지 않았습니다. ibmmq.queue_manager.name(으)로 표시되지 않는지 확인했습니다.

• target.name이(가) 메트릭에 설정되어 있으며 카멜 표기법(camelCase) targetName(으)로 표시되지 않는지 확인해 주십시오. targetName이(가) 여전히 존재하고 transform/ibmmq-cleanup이(가) 실행 중이 아니거나 순서가 잘못된 경우:

  FROM Metric SELECT uniques(target.name), uniques(qmgr) WHERE metricName LIKE 'ibmmq_%' SINCE 30 minutes ago

  카피

  수집기 설정의 프로세서 순서는 매우 중요합니다 ― resourcedetection → transform/ibmmq-cleanup. transform/ibmmq-cleanup의 순서를 변경하거나 제거한 경우, IBM MQ 메트릭은 IBMMQ_MANAGER 엔티티 대신 수집기 자체 엔티티로 라우팅됩니다. 문서화된 파이프라인 순서를 복원합니다.

뉴렐릭은 카운터에 대해 델타 시간성을 예상하지만, Prometheus는 누적을 내보냅니다. cumulativetodelta/ibmmq 프로세서가 이를 제자리에서 변환합니다. 카운터가 평탄해 보이면 각 메트릭 파이프라인에 프로세서가 있는지 확인하십시오.

target.name 값(Linux의 TARGET_NAME 환경 변수 또는 Kubernetes의 targetName 재지정을 통해 설정됨)은 모든 IBMMQ_MANAGER 및 IBMMQ_QUEUE GUID의 첫 번째 세그먼트입니다. 배포 후 이를 변경하면 완전히 새로운 엔티티가 생성되고 이전 엔티티는 오래되어 이전 GUID를 가리키는 대시보드 및 알림이 손상됩니다. 안정적인 값을 한 번 선택하고 절대 변경하지 마세요.

이미 변경한 경우 원래 TARGET_NAME 값을 복원하고 수집기를 다시 시작하십시오. 올바른 이름의 엔티티는 보고를 재개하고, 잘못된 이름으로 생성된 중복 항목은 데이터 수신을 중지하며 뉴렐릭의 엔티티 보고 기간이 지나면 UI에서 사라집니다.