Monitore clusters do Apache Kafka com o OpenTelemetry Collector para visibilidade em tempo real e streaming de dados confiável. Esta solução com independência de fornecedores evita um período de inatividade dispendioso em ambientes auto-hospedados e Kubernetes.
Opções do coletor
A New Relic oferece suporte a duas distribuições do OpenTelemetry Collector para o monitoramento do Kafka, ambas oferecendo funcionalidades idênticas com os mesmos arquivos de configuração e recursos de monitoramento.
- NRDOT Collector (recomendado): Distribuição da New Relic do OpenTelemetry Collector com suporte da New Relic para assistência. Para mais informações, consulte o repositório do NRDOT Collector no GitHub.
- OpenTelemetry Collector: A distribuição da comunidade upstream. Para mais informações, consulte o repositório do GitHub do OpenTelemetry Collector Contrib.
Escolha o coletor que melhor atenda aos seus requisitos de suporte e operacionais, depois prossiga para configurar o monitoramento do seu ambiente.
Monitore seus clusters Kafka com dashboards abrangentes que mostram a integridade do cluster, o status do broker, métricas de tópicos e o desempenho do grupo de consumidores.
Por que monitorar o Kafka?
- Evite interrupções: receba alertas para falhas de broker, partições sub-replicadas e tópicos offline antes que causem período de inatividade
- Otimize o desempenho: identifique o atraso do consumidor, produtores lentos e gargalos de rede que afetam a velocidade de processamento de dados
- Planejar a capacidade: acompanhe o uso de recursos, taxas de mensagens e contagens de conexões para escalar proativamente
- Garantir a integridade dos dados: monitore a integridade da replicação e o balanceamento de partições para evitar a perda de dados
Caso de uso comum
O monitoramento do Kafka ajuda você a detectar problemas antes que eles afetem seus negócios. Receba alertas quando os picos de atraso do consumidor ameaçarem dashboards em tempo real, as falhas do broker colocarem em risco a perda de dados ou os gargalos da rede retardarem os pipelines de dados críticos. Essencial para transações financeiras, processamento de dados de IoT, comunicação de microsserviços, plataformas de e-commerce e análises em tempo real.
Iniciar
Escolha seu ambiente Kafka para começar a monitorar. Cada guia de configuração inclui pré-requisitos, etapas de configuração e dicas de solução de problemas.
Como funciona
O coletor coleta continuamente dados de desempenho usando componentes especializados:
Coleta de dados:
Receptor de métricas do Kafka: Conecta-se à porta de bootstrap do Kafka para saúde do cluster, lag do consumidor, métricas de tópicos e status da partição
Coleta de métricas JMX: coleta desempenho do broker, dados da JVM e insights operacionais via:
- Kafka auto-hospedado: agente Java do OTel ou Prometheus JMX Exporter na JVM do broker
- Kubernetes (autogerenciado): agente Java do OTel ou Prometheus JMX Exporter via contêiner init
- Kubernetes (Strimzi): Prometheus JMX Exporter via Strimzi
KafkaMetricsConfig
| Agente Java OTel | Prometheus JMX Exporter | |
|---|---|---|
| Arquitetura | Baseado em push | Baseado em pull |
| Protocolo | OTLP (gRPC ou HTTP) | Scrape HTTP (porta padrão 9404) |
| Configuração | Arquivo de configuração JMX (.yaml) | Configuração YAML com padrões de métrica |
| Disponibilidade | Auto-hospedado, Kubernetes autogerenciado | Auto-hospedado, Kubernetes autogerenciado, Kubernetes Strimzi |
Principais métricas: lag do consumidor, integridade do broker, taxas de requisição, taxas de transferência de rede, status de replicação de partição, utilização de recursos e dados de desempenho da JVM.
Para obter nomes de métricas completos, descrições e recomendações de alerta, consulte Referência de métricas do Kafka.
Opcional: Adicionar monitoramento no nível do aplicativo
Monitore aplicativos de produtor e consumidor para visibilidade completa de produtores → corretores → consumidores.
Adiciona: latências de requisição, métricas de taxas de transferência, taxas de erros e distributed traces.
Configuração: use o agente Java do OpenTelemetry para instrumentação Kafka sem código.
Próximos passos
Configure o monitoramento:
Após a configuração: