Visão Geral

O Curso Kafka Performance Tuning & Optimization foi projetado para capacitar profissionais na análise, ajuste e otimização de desempenho de clusters Apache Kafka.
Durante o treinamento, os participantes aprenderão a identificar gargalos, configurar parâmetros críticos e aplicar técnicas avançadas para melhorar throughput, reduzir latência e aumentar a eficiência operacional.
Com foco em ambientes de produção e cenários reais, o curso combina teoria e prática para aprimorar a performance de producers, consumers e brokers em escala corporativa.

Objetivo

Ao concluir o curso Kafka Performance Tuning & Optimization, o participante será capaz de:

• Identificar gargalos de desempenho em clusters Kafka.
• Otimizar producers, consumers e brokers.
• Ajustar parâmetros críticos de replicação, compressão e retenção.
• Avaliar e melhorar latência e throughput.
• Aplicar técnicas de tuning em hardware, JVM e sistema operacional.
• Usar ferramentas de monitoramento e benchmarking para análise contínua.

Publico Alvo

• Administradores de sistemas e engenheiros DevOps responsáveis por clusters Kafka.
• Engenheiros de dados que gerenciam pipelines de alto volume.
• Desenvolvedores que precisam otimizar aplicações baseadas em Kafka.
• Arquitetos de soluções que buscam projetar sistemas escaláveis e performáticos.

Pre-Requisitos

• Conhecimento intermediário de Apache Kafka (administração básica e operação).
• Familiaridade com Linux, Docker e linha de comando.
• Noções de redes, sistemas distribuídos e monitoramento de performance.

Informações Gerais

Metodologia:

• Curso ao vivo e online, ministrado via Microsoft Teams.
• Instrutor especialista em performance e tuning de sistemas distribuídos.
• Aulas com demonstrações práticas e exercícios guiados.
• Laboratório individual com ambiente Kafka para testes e tuning.
• Benchmarking prático e análise de métricas em tempo real.
• Fornecimento de material digital e scripts de configuração.

Materiais

Conteúdo Programatico

Module 1: Introduction to Kafka Performance

1. Understanding performance architecture in Kafka
2. Key metrics: throughput, latency, ISR, and partition load
3. Common performance bottlenecks and their root causes
4. Overview of performance tuning methodology

Module 2: Broker-Level Optimization

1. Broker configuration parameters impacting performance
2. Tuning replication, request handling, and network threads
3. Log segment management and I/O tuning
4. Disk and filesystem optimization strategies

Module 3: Producer Performance Tuning

1. Producer batching, compression, and acks strategies
2. Configuring linger.ms, batch.size, and buffer.memory
3. Choosing optimal serializers and compression codecs
4. Testing and benchmarking producer throughput

Module 4: Consumer Performance Tuning

1. Consumer group coordination and rebalancing
2. Fetch size, max.poll settings, and parallelism tuning
3. Handling large message loads and backpressure
4. Reducing consumer lag and improving processing rate

Module 5: Cluster and Topic Design Optimization

1. Topic partitioning strategies for scalability
2. Balancing partitions and brokers
3. Retention policies and compaction tuning
4. Planning hardware resources for optimal performance

Module 6: JVM, OS, and Hardware Optimization

1. Kafka JVM tuning (heap, GC, memory management)
2. Linux kernel tuning for I/O and networking
3. CPU, memory, and disk best practices for Kafka nodes
4. Benchmarking hardware and network performance

Module 7: Monitoring and Benchmarking Tools

1. Using JMX metrics, Prometheus, and Grafana dashboards
2. Understanding key metrics for producers, consumers, and brokers
3. Running performance tests with Kafka Performance Tools
4. Using open-source tools like Cruise Control and Kafdrop

Module 8: Advanced Optimization and Troubleshooting

1. Performance profiling under load
2. Detecting and resolving producer/consumer lag
3. Handling network congestion and throttling
4. Fine-tuning replication and leader election for stability

Module 9: Hands-On Project

Project: Design and tune a Kafka cluster for high throughput and low latency. Perform benchmarking, analyze metrics, and implement configuration adjustments for performance improvement.