Visão Geral

Este curso aborda os fundamentos e as práticas de monitoramento de plataformas de mensageria e Event Streaming. O participante aprenderá a definir métricas, indicadores e alertas para brokers, producers, consumers, queues, topics, partitions e clusters distribuídos. O conteúdo explora monitoramento de throughput, latency, consumer lag, queue depth, recursos de infraestrutura, replicação e disponibilidade, além da utilização de logs, métricas e traces para observabilidade. Também serão abordadas ferramentas como Prometheus e Grafana e estratégias de monitoramento para Apache Kafka, RabbitMQ e Apache Pulsar.

Objetivo

Após realizar este curso, você será capaz de:

• Estruturar uma estratégia de monitoramento para plataformas de mensageria
• Identificar as principais métricas de brokers, producers e consumers
• Monitorar throughput, latency, consumer lag e queue depth
• Monitorar disponibilidade, replicação e saúde dos clusters
• Criar dashboards operacionais
• Definir alertas para falhas e degradação de desempenho
• Utilizar métricas, logs e traces para análise de problemas
• Implementar monitoramento com Prometheus e Grafana
• Desenvolver estratégias de observabilidade para ambientes de produção

Publico Alvo

• Administradores de Message Brokers
• Engenheiros de SRE
• Engenheiros DevOps
• Engenheiros de Cloud
• Engenheiros de Streaming
• Engenheiros de Plataforma
• Engenheiros de Infraestrutura
• Administradores de Middleware
• Arquitetos de Soluções

Pre-Requisitos

• Conhecimentos básicos de message brokers
• Familiaridade com Apache Kafka, RabbitMQ ou Apache Pulsar
• Conhecimentos básicos de Linux e redes
• Noções de métricas e logs
• Conhecimentos básicos de Prometheus e Grafana são recomendados

Conteúdo Programatico

Module 1: Messaging Monitoring Fundamentals

1. Messaging observability concepts
2. Monitoring versus observability
3. Monitoring architecture
4. Key Performance Indicators
5. Service Level Indicators
6. Messaging Service Level Objectives
7. Monitoring strategy

Module 2: Broker and Cluster Monitoring

1. Broker health
2. Cluster availability
3. CPU and memory utilization
4. Disk usage and I/O
5. Network utilization
6. Connection monitoring
7. Replication health

Module 3: Producer and Consumer Monitoring

1. Producer throughput
2. Producer latency
3. Consumer throughput
4. Consumer latency
5. Consumer errors
6. Consumer lag
7. Consumer Group health

Module 4: Queue, Topic and Partition Monitoring

1. Queue depth
2. Topic monitoring
3. Partition health
4. Partition distribution
5. Message rates
6. Message retention
7. Undelivered and failed messages

Module 5: Metrics, Logs and Traces

1. Metrics collection
2. Structured logging
3. Distributed tracing
4. Correlation identifiers
5. Error tracking
6. Event flow observability
7. End-to-end monitoring

Module 6: Prometheus and Grafana

1. Prometheus architecture
2. Metrics exporters
3. Prometheus scraping
4. PromQL fundamentals
5. Grafana dashboards
6. Alerting
7. Messaging monitoring dashboards

Module 7: Platform-Specific Monitoring

1. Apache Kafka monitoring
2. Kafka Consumer Lag monitoring
3. Kafka Connect monitoring
4. RabbitMQ monitoring
5. RabbitMQ queue and node monitoring
6. Apache Pulsar monitoring
7. Pulsar broker and storage monitoring

Module 8: Monitoring and Alerting Workshop

1. Monitoring architecture design
2. Metrics collection configuration
3. Prometheus integration
4. Grafana dashboard development
5. Alert rule configuration
6. Incident detection and analysis
7. Final messaging monitoring implementation exercise