Elasticsearch OpenTelemetryインテグレーションのトラブルシューティング

$
sudo systemctl status otelcol-contrib

• サービスが非アクティブの場合は、開始します。 sudo systemctl start otelcol-contrib
• サービスが失敗した場合は、設定エラーを修正して再起動してください。 sudo systemctl restart otelcol-contrib

$
sudo journalctl -u otelcol-contrib.service -f

ログ出力を確認し、根本原因（接続の問題、認証の失敗、権限の問題など）を解決します。

エラーサンプル: dial tcp [::1]:9200: connect: connection refused

• config.yaml

  の endpoint が Elasticsearch のホストとポートと一致していることを確認します。
• Elasticsearch が実行中であり、コレクター ホストからアクセスできることを確認します。

エラーサンプル: permanent error: 403 Forbidden

1. /etc/systemd/system/otelcol-contrib.service.d/environment.conf の NEWRELIC_LICENSE_KEY を確認してください。

2. systemd をリロードし、コレクターを再起動します。

   bash

   コピー

   $
   sudo systemctl daemon-reload
   $
   sudo systemctl restart otelcol-contrib

エラーサンプル: permission denied または cannot open file

1. コレクター ユーザーを Elasticsearch グループに追加します。
   bash

   コピー

   $
   sudo usermod -a -G elasticsearch otelcol-contrib

2. コレクターを再起動します。 sudo systemctl restart otelcol-contrib

$
# Unsecured cluster
$
curl -I http://localhost:9200
$

$
# With authentication
$
curl -u username:password -k https://localhost:9200

クラスターが正常であること、資格情報が有効であること、ファイアウォールまたはセキュリティ設定でアクセスが許可されていることを確認します。

• resourcedetection

  プロセッサがすべてのメトリクス パイプラインに含まれていることを確認してください。

• elasticsearch.cluster.name

  が resource/cluster_name_override プロセッサ経由で設定されていることを確認します。

• filelog

  受信パスが正しく絶対的であることを確認してください。
• ログ パイプラインに filelog レシーバーと otlphttp エクスポーターの両方が含まれていることを確認します。

$
# Verify your Elasticsearch pods have the required label
$
kubectl get pods -n <namespace> -l app=elasticsearch --show-labels

ポッドが返されない場合、Elasticsearchポッドに必要な app=elasticsearch ラベルが欠落しています。receiver_creatorは、一致するラベルがないとポッドを発見できません。

• StatefulSet/デプロイメントの場合、ポッドテンプレートにラベルを追加します：

  spec:
    template:
      metadata:
        labels:
          app: elasticsearch

  コピー
• 既存のポッドの場合は、ラベルを追加して再起動します：
  bash

  コピー

  $
  kubectl label pods -l <your-selector> app=elasticsearch -n <namespace>
  $
  kubectl rollout restart statefulset/elasticsearch -n <namespace>

• カスタムラベルを使用する場合は、ラベルに一致するように values.yaml の receiver ルールを更新してください：

  rule: type == "pod" && labels["app"] == "your-custom-label"

  コピー

$
kubectl get pods -n newrelic
$
kubectl describe pod <collector-pod-name> -n newrelic

• ポッドのイベントでエラーを確認します： kubectl describe pod
• コレクターログを確認します：
  bash

  コピー

  $
  kubectl logs -n newrelic -l app.kubernetes.io/name=opentelemetry-collector

• シークレットが存在することを確認します：
  bash

  コピー

  $
  kubectl get secret newrelic-licenses -n newrelic

• リソース制限が低すぎないか確認してください。

$
# Check collector logs for discovery errors
$
kubectl logs -n newrelic -l app.kubernetes.io/name=opentelemetry-collector | grep "receiver_creator"

• RBACアクセス権限が正しく設定されていることを確認します：
  bash

  コピー

  $
  kubectl get clusterrole | grep opentelemetry
  $
  kubectl describe clusterrole <role-name>

• コレクターにポッド、ノード、およびエンドポイントを監視する権限があることを確認します。
• 設定でk8s_observer拡張機能が有効になっていることを確認します。

$
# Check network policies
$
kubectl get networkpolicies -n <namespace>
$

$
# Test connectivity from collector to Elasticsearch
$
kubectl exec -n newrelic <collector-pod> -- curl http://<es-pod-ip>:9200

• ネットワークポリシーで、newrelicネームスペースからElasticsearchネームスペースへのトラフィックが許可されていることを確認します。
• Elasticsearchポッドが正しいポート（デフォルト：9200）を公開しているか確認します。
• ファイアウォールルールがポッド間通信をブロックしないことを確認してください。

エラーサンプル: permanent error: 403 Forbidden

• シークレットに正しいライセンスキーが含まれていることを確認します：
  bash

  コピー

  $
  kubectl get secret newrelic-licenses -n newrelic -o jsonpath='{.data.NEWRELIC_LICENSE_KEY}' | base64 -d

• OTLPエンドポイントがご利用の地域に対して正しいことを確認してください。
• シークレットがコレクターポッドにマウントされていることを確認します：
  bash

  コピー

  $
  kubectl describe pod <collector-pod> -n newrelic | grep -A5 "Environment"

• mode: daemonset

  を使用していることを確認してください（デプロイメントモードではノードログにアクセスできません）
• ボリュームマウントが正しく設定されていることを確認します：
  bash

  コピー

  $
  kubectl describe pod <collector-pod> -n newrelic | grep -A10 "Mounts"

• filelogレシーバーのパスがElasticsearchポッドのログと一致することを確認します：
  bash

  コピー

  $
  kubectl exec -n newrelic <collector-pod> -- ls /var/log/pods/*/elasticsearch*/*.log

• コレクターにホストのログディレクトリに対する読み取り権限があることを確認してください。

• values.yamlに環境変数 K8S_CLUSTER_NAME が設定されていることを確認します

• resource/cluster

  プロセッサがメトリクスパイプラインにあることを確認してください
• 確認するクエリ：

  FROM Metric SELECT * WHERE metricName LIKE 'elasticsearch.%' LIMIT 1

  コピー

  k8s.cluster.name

  属性が存在するか確認します