Instale a integração Elasticsearch OpenTelemetry

Instale a integração New Relic Elasticsearch OpenTelemetry para monitorar seus clusters Elasticsearch com protocolos padrão da indústria. Este guia orienta você na configuração do OpenTelemetry Collector para coletar métricas e logs de sua infraestrutura Elasticsearch e enviá-los para a New Relic.

Para instalar a integração, complete as seguintes etapas:

Antes de começar - Verifique os requisitos e pré-requisitos
Configure o OpenTelemetry Collector - Configure a coleta de dados
Definir variáveis de ambiente - Configurar autenticação
Encontre e use dados - Visualize seus dados do Elasticsearch no New Relic
Configurar alertas - Configure o monitoramento proativo

Passo 1: Antes de começar

Certifique-se de ter:

Privilégios de acesso necessários - privilégios de administrador do cluster Elasticsearch e conta New Relic com acesso
Elasticsearch versão 7.16 ou superior - Esta integração requer um cluster Elasticsearch moderno
Monitorar ou gerenciar privilégios do cluster - Se a segurança estiver ativada, você precisará do privilégio de monitorar ou gerenciar o cluster. Consulte a documentação Elasticsearch security privileges para obter mais detalhes
Conectividade de rede - Conectividade HTTPS de saída (porta 443) para o endpoint de ingestão OTLP da New Relic
OpenTelemetry Collector - OpenTelemetry Collector Contrib instalado e em execução no seu host. Instale através de um pacote oficial (.deb ou .rpm) para garantir que a unidade de serviço systemd seja criada corretamente
Valores de configuração prontos - Você precisará de dois valores-chave para a configuração:
- Endpoint do Elasticsearch - Seu URL real do Elasticsearch (substitua https://localhost:9200)
- Nome do cluster - Um nome exclusivo para identificar seu cluster no New Relic

Etapa 2: Configurar o OpenTelemetry Collector

Configure o OpenTelemetry Collector para coletar métricas e logs do seu cluster Elasticsearch. Crie ou atualize seu arquivo de configuração em /etc/otelcol-contrib/config.yaml.

A configuração varia com base na sua configuração do Elasticsearch e nos requisitos de monitoramento. Escolha a configuração apropriada abaixo:

Comece aqui se você tiver: Um cluster Elasticsearch não seguro sem autenticação ou SSL.

Esta configuração coleta métricas abrangentes do Elasticsearch e do sistema host sem autenticação:

Importante

Substitua o valor endpoint pelo endpoint do seu cluster Elasticsearch e atualize elasticsearch.cluster.name no bloco do processador com um nome exclusivo para identificar seu cluster na New Relic.

# =================================================================================================
# OpenTelemetry Collector Configuration for Elasticsearch and Host
# This configuration collects metrics and logs for a complete observability solution.
# =================================================================================================
# -------------------------------------------------------------------------------------------------
# Receivers
# Receivers define how data gets into the Collector. This config uses four receivers:
# - elasticsearch: to scrape metrics from the Elasticsearch API
# - hostmetrics: to collect system-level metrics from the host itself
# - filelog: to tail Elasticsearch log files
# - otlp: to accept data from other OpenTelemetry-instrumented services
# -------------------------------------------------------------------------------------------------
receivers:
  elasticsearch:
    endpoint: "http://localhost:9200"
    collection_interval: 15s
    metrics:
      elasticsearch.breaker.tripped:
        enabled: true
      elasticsearch.cluster.data_nodes:
        enabled: true
      elasticsearch.cluster.health:
        enabled: true
      elasticsearch.cluster.in_flight_fetch:
        enabled: true
      elasticsearch.cluster.nodes:
        enabled: true
      elasticsearch.cluster.pending_tasks:
        enabled: true
      elasticsearch.cluster.shards:
        enabled: true
      elasticsearch.cluster.state_update.time:
        enabled: true
      elasticsearch.index.documents:
        enabled: true
      elasticsearch.index.operations.merge.current:
        enabled: true
      elasticsearch.index.operations.time:
        enabled: true
      elasticsearch.indexing_pressure.memory.total.primary_rejections:
        enabled: true
      elasticsearch.node.cache.count:
        enabled: true
      elasticsearch.node.cache.evictions:
        enabled: true
      elasticsearch.node.cache.memory.usage:
        enabled: true
      elasticsearch.node.cluster.io:
        enabled: true
      elasticsearch.node.documents:
        enabled: true
      elasticsearch.node.disk.io.read:
        enabled: true
      elasticsearch.node.disk.io.write:
        enabled: true
      elasticsearch.node.fs.disk.available:
        enabled: true
      elasticsearch.node.fs.disk.total:
        enabled: true
      elasticsearch.node.http.connections:
        enabled: true
      elasticsearch.node.ingest.documents.current:
        enabled: true
      elasticsearch.node.ingest.operations.failed:
        enabled: true
      elasticsearch.node.open_files:
        enabled: true
      elasticsearch.node.operations.completed:
        enabled: true
      elasticsearch.node.operations.current:
        enabled: true
      elasticsearch.node.operations.get.completed:
        enabled: true
      elasticsearch.node.operations.get.time:
        enabled: true
      elasticsearch.node.operations.time:
        enabled: true
      elasticsearch.node.shards.reserved.size:
        enabled: true
      elasticsearch.node.thread_pool.tasks.finished:
        enabled: true
      elasticsearch.os.cpu.load_avg.1m:
        enabled: true
      elasticsearch.os.cpu.load_avg.5m:
        enabled: true
      elasticsearch.os.cpu.load_avg.15m:
        enabled: true
      elasticsearch.os.memory:
        enabled: true
      jvm.gc.collections.count:
        enabled: true
      jvm.gc.collections.elapsed:
        enabled: true
      jvm.memory.heap.max:
        enabled: true
      jvm.memory.heap.used:
        enabled: true
      jvm.memory.heap.utilization:
        enabled: true
      jvm.threads.count:
        enabled: true
  hostmetrics:
    collection_interval: 60s # Recommended for cost savings and stability
    scrapers:
      cpu:
        metrics:
          # CPU Utilization and Time are the core metrics
          system.cpu.utilization: {enabled: true}
          system.cpu.time: {enabled: true}
      load:
        metrics:
          # Load Averages (used for system health dashboards)
          system.cpu.load_average.1m: {enabled: true}
          system.cpu.load_average.5m: {enabled: true}
          system.cpu.load_average.15m: {enabled: true}
      memory:
        metrics:
          # Memory Usage and Utilization
          system.memory.usage: {enabled: true}
          system.memory.utilization: {enabled: true}
      disk:
        metrics:
          # Disk I/O operations (throughput)
          system.disk.io: {enabled: true}
          system.disk.operations: {enabled: true}
      filesystem:
        metrics:
          # Filesystem usage (disk space capacity)
          system.filesystem.usage: {enabled: true}
          system.filesystem.utilization: {enabled: true} 
      network:
        # Since this was already working, keeping it simple is best.
        # But for completeness:
        metrics:
          system.network.io: {enabled: true}
          system.network.packets: {enabled: true}
      process:
           metrics:
             process.cpu.utilization:
               enabled: true
# -------------------------------------------------------------------------------------------------
# Processors
# -------------------------------------------------------------------------------------------------
processors:
  cumulativetodelta: {}
  resource/cluster_name_override:
    attributes:
      # Use the actual cluster name defined in your Elasticsearch config
      - key: elasticsearch.cluster.name
        value: "<elasticsearch-cluster-name>" # <-- REPLACE THIS WITH A UNIQUE CLUSTER NAME TO UNIQUELY IDENTIFY YOUR CLUSTER IN NEW RELIC 
        action: upsert
  # This processor adds resource attributes to all telemetry data.
  # 'service.name' is crucial for creating an entity in New Relic.
  resourcedetection:
    detectors: [ system ]
    system:
      resource_attributes:
        host.name:
          enabled: true
        host.id:
          enabled: true
        os.type:
          enabled: true 
  # This processor batches data for more efficient sending.
  batch:
    timeout: 10s
    send_batch_size: 1024
  # 1. CARDINALITY REDUCTION: Drops volatile or redundant attributes
  attributes/cardinality_reduction:
    actions:
      # Filter out VOLATILE PROCESS IDS (High churn)
      - key: process.pid
        action: delete
      - key: process.parent_pid
        action: delete
      # Filter out REDUNDANT/STATIC METADATA (Already known at the Resource level)
      - key: elasticsearch.node.version
        action: delete
      - key: os.type
        action: delete
  transform/metadata_nullify:
    # We use 'metric_statements' to run OTTL logic on the metric signal
    metric_statements:
      - context: metric  # <-- Targets the high-level Metric structure itself
        statements:
          # Sets the 'description' field to an empty string ("")
          - set(description, "")
          # Sets the 'unit' field to an empty string ("")
          - set(unit, "")      
exporters:
  # This exporter sends all data to New Relic via OTLP/HTTP.
  otlphttp:
    endpoint: ${env:NEWRELIC_OTLP_ENDPOINT}
    headers:
      api-key: ${env:NEWRELIC_LICENSE_KEY}
# -------------------------------------------------------------------------------------------------
# Service
# The service block defines the pipelines.
# -------------------------------------------------------------------------------------------------
service:
  pipelines:
    metrics/elasticsearch:
      receivers: [elasticsearch]
      processors: [resourcedetection, resource/cluster_name_override, attributes/cardinality_reduction, cumulativetodelta, transform/metadata_nullify, batch]
      exporters: [otlphttp]
    metrics/host:
      receivers: [hostmetrics]
      processors: [resourcedetection,batch]
      exporters: [otlphttp]

Use isto se você tiver: Um cluster Elasticsearch seguro com autenticação e/ou certificados SSL.

Adicione as credenciais de autenticação e a configuração SSL à configuração básica acima:

receivers:
  elasticsearch:
    endpoint: "https://localhost:9200"
    username: "elastic"
    password: "your_password"
    tls:
      ca_file: "/etc/elasticsearch/certs/http_ca.crt"
      insecure_skip_verify: false
    collection_interval: 15s

Opcional: Inclua isso se você quiser enviar arquivos de log do Elasticsearch para a New Relic, além das métricas.

Adicione a configuração do receptor filelog para coletar e encaminhar logs do Elasticsearch. Certifique-se de que o usuário otelcol-contrib tenha acesso read aos arquivos de log.

Se estiver executando o Elasticsearch no Linux (Host):

receivers:
  filelog:
    include:
      - /var/log/elasticsearch/elasticsearch.log #Replace with path of the elasticsearch log file.
      - /var/log/elasticsearch/*.log             #We can send multiple log files using regex.

Se estiver executando o Elasticsearch no Docker:

receivers:
  filelog:
    include:
      - /var/lib/docker/containers/*/*.log       # Replace with the container log file path. 
    operators:
      - type: move
        from: attributes.log
        to: body

Adicione o receptor filelog no pipeline de serviço:

service:
  pipelines:
    logs:
      receivers: [filelog]
      processors: [resource/cluster_name_override]
      exporters: [otlphttp]

Conceda permissão adicionando o usuário ao grupo:

bash

$sudo usermod -a -G elasticsearch otelcol-contrib

Opcional: Inclua isso se quiser marcar seus dados com atributos personalizados como ambiente, equipe ou região.

Use o processador resource/static_override para adicionar tags de metadados personalizados a todas as suas métricas:

processors:
  resource/static_override:
    attributes:
      - key: env
        value: "production"
        action: upsert
service:
  pipelines:
    metrics/elasticsearch:
      receivers: [elasticsearch]
      processors: [resourcedetection, resource/cluster_name_override, resource/static_override, attributes/cardinality_reduction, cumulativetodelta, transform/metadata_nullify, batch]
      exporters: [otlphttp]
    metrics/host:
      receivers: [hostmetrics]
      processors: [resourcedetection, resource/static_override, batch]
      exporters: [otlphttp]

Dica

Correlacione APM com Elasticsearch: Para conectar seu aplicativo APM e o cluster Elasticsearch, inclua o atributo de recurso es.cluster.name="your-cluster-name" em suas métricas APM. Isso permite a visibilidade entre serviços e uma solução de problemas mais rápida no New Relic.

Passo 3: Definir variáveis de ambiente

Configure a autenticação adicionando seu endpoint New Relic e OTLP ao serviço do coletor.

Crie um diretório de substituição do systemd:

bash

$sudo mkdir -p /etc/systemd/system/otelcol-contrib.service.d

Escreva environment.conf com seu endpoint OTLP. Substitua YOUR_LICENSE_KEY pela chave de licença New Relic e YOUR_OTLP_ENDPOINT pelo endpoint apropriado para sua região. Consulte a documentação do endpoint OTLP para selecionar o endpoint correto.
bash
```
$cat <<EOF | sudo tee /etc/systemd/system/otelcol-contrib.service.d/environment.conf
$[Service]
$Environment="NEWRELIC_OTLP_ENDPOINT=YOUR_OTLP_ENDPOINT"
$Environment="NEWRELIC_LICENSE_KEY=YOUR_LICENSE_KEY"
$EOF
```

Recarregue o systemd e reinicie o coletor:

bash

$sudo systemctl daemon-reload
$sudo systemctl restart otelcol-contrib.service

Etapa 4: Visualize seus dados do Elasticsearch

Depois que o coletor estiver em execução e enviando dados, você poderá visualizar suas métricas do Elasticsearch no New Relic:

Vá para one.newrelic.com > Integrations & Agents
Pesquise por Elasticsearch (OpenTelemetry)
Em Dashboards, clique em Elasticsearch OpenTelemetry Dashboard
Selecione sua conta e clique em View dashboard

Você deve ver dashboards mostrando a integridade do cluster, métricas de desempenho e uso de recursos.

Dica

Não está vendo dados? Pode levar alguns minutos para os dados aparecerem. Se você não vir métricas após 10 minutos, consulte nosso guia de solução de problemas.

Próximos passos com seus dados:

Explorar métricas: Todas as métricas do Elasticsearch são armazenadas como Metric tipos de evento
Criar consultas personalizadas: Use NRQL para construir gráficos e dashboards personalizados
Configure alertas: Continue para a Etapa 5 para configurar o monitoramento proativo

Etapa 5: Configure alertas

O monitoramento proativo com alertas ajuda você a detectar problemas antes que eles afetem seus usuários. Para criar condições de alerta na New Relic:

Vá para one.newrelic.com > Alerts > Alert Conditions.
Clique em Create condition.
Configure o alerta usando o Guided mode ou o construtor de consultas NRQL.

As configurações de alerta abaixo são recomendadas para um monitoramento robusto do Elasticsearch:

Alertas Essenciais (Alta Prioridade)

Esses alertas monitoram problemas críticos de integridade do cluster que podem causar perda de dados ou interrupções do serviço:

Nome do Alerta	Justificativa do Limite (Exemplo de Condição)
Alerta de Shards Não Atribuídos	A métrica `elasticsearch.cluster.shards` (onde `state = 'unassigned'` ) está acima de 0 por pelo menos 5 minutos.
Alerta de nós de dados saudáveis	A métrica `elasticsearch.cluster.data_nodes` está abaixo da contagem mínima de nós necessária por pelo menos 5 minutos.
Alerta de uso de heap muito alto	A porcentagem de uso de heap (Usado/Máx) está acima de 90% por pelo menos 5 minutos.
Alerta de tarefas pendentes	A métrica `elasticsearch.cluster.pending_tasks` está acima de 5 por pelo menos 5 minutos.

Alertas de monitoramento adicionais

Esses alertas ajudam a monitorar problemas de desempenho e operacionais:

Nome do Alerta	Justificativa do Limite (Exemplo de Condição)
Alerta de Lentidão no Tempo de Consulta	O percentil 95 de `elasticsearch.node.operations.time` está acima de 5ms por pelo menos 2 minutos.
Inicialização de shards muito longa	A métrica `elasticsearch.cluster.shards` (onde `state = 'initializing'` ) está acima de 0 por pelo menos 5 minutos.
Realocação de shards muito longa	A métrica `elasticsearch.cluster.shards` (onde `state = 'relocating'` ) está acima de 0 por pelo menos 5 minutos.

Nome do Alerta

Justificativa do Limite (Exemplo de Condição)

Alerta de Lentidão no Tempo de Consulta

O percentil 95 de

elasticsearch.node.operations.time

está acima de 5ms por pelo menos 2 minutos.

Inicialização de shards muito longa

A métrica

elasticsearch.cluster.shards

(onde

state = 'initializing'

) está acima de 0 por pelo menos 5 minutos.

Realocação de shards muito longa

A métrica

elasticsearch.cluster.shards

(onde

state = 'relocating'

) está acima de 0 por pelo menos 5 minutos.

Resolução de problemas

Se você encontrar problemas durante a instalação ou não vir dados na New Relic, consulte nosso guia de solução de problemas abrangente para obter soluções passo a passo para problemas comuns.

Esta tradução de máquina é fornecida para sua comodidade.

Instale a integração Elasticsearch OpenTelemetry

Passo 1: Antes de começar

Etapa 2: Configurar o OpenTelemetry Collector

Configuração básica de métricas

Importante

Configuração de autenticação e SSL

Habilitar logs (receptor filelog)

Se estiver executando o Elasticsearch no Linux (Host):

Se estiver executando o Elasticsearch no Docker:

Adicione o receptor filelog no pipeline de serviço:

Adicionar metadados personalizados

Dica

Passo 3: Definir variáveis de ambiente

Etapa 4: Visualize seus dados do Elasticsearch

Dica

Etapa 5: Configure alertas

Alertas Essenciais (Alta Prioridade)

Alertas de monitoramento adicionais

Resolução de problemas

Esta tradução de máquina é fornecida para sua comodidade.

Instale a integração Elasticsearch OpenTelemetry

Passo 1: Antes de começar .css-21sua1{background:none;border:none;width:0;padding:0;}

Etapa 2: Configurar o OpenTelemetry Collector

Configuração de autenticação e SSL

Habilitar logs (receptor filelog)

Adicionar metadados personalizados

Dica

Passo 3: Definir variáveis de ambiente

Etapa 4: Visualize seus dados do Elasticsearch

Dica

Etapa 5: Configure alertas

Alertas Essenciais (Alta Prioridade)

Alertas de monitoramento adicionais

Resolução de problemas

Passo 1: Antes de começar