Visão Geral

Este Curso Kafka Ecosystem with Clustering, oferece uma visão abrangente do ecossistema Apache Kafka, focando em como configurar, gerenciar e operar clusters Kafka de forma eficiente. Os participantes aprenderão sobre todos os componentes-chave do Kafka, incluindo Kafka Connect, Kafka Streams, KSQL e como integrar com sistemas externos. Além disso, o curso aborda práticas de clustering, replicação, tolerância a falhas e alta disponibilidade, essenciais para soluções corporativas de streaming de dados.

Objetivo

Após realizar este curso Kafka Ecosystem with Clustering, você será capaz de:

• Compreender o ecossistema Kafka e seus principais componentes.
• Configurar e gerenciar clusters Kafka altamente disponíveis e escaláveis.
• Garantir tolerância a falhas, replicação e persistência de dados.
• Integrar Kafka com sistemas externos usando Kafka Connect e Kafka Streams.
• Monitorar e otimizar o desempenho de clusters Kafka.

Publico Alvo

• Engenheiros de dados e arquitetos de soluções.
• Desenvolvedores de software que trabalham com aplicações em tempo real.
• Profissionais de DevOps e SRE responsáveis por manter clusters Kafka.
• Analistas e cientistas de dados que lidam com ingestão de dados em tempo real.

Pre-Requisitos

• Conhecimento básico de programação Java ou Python.
• Noções de bancos de dados e SQL.
• Compreensão básica de sistemas distribuídos.
• Noções básicas de mensageria e eventos são desejáveis.

Materiais

Conteúdo Programatico

Módulo 1 – Introdução ao Ecossistema Kafka

1. Visão geral do Apache Kafka e arquitetura distribuída.
2. Componentes do ecossistema: Kafka Brokers, Zookeeper, Kafka Connect, Kafka Streams, KSQL.
3. Casos de uso em streaming de dados e eventos em tempo real.

Módulo 2 – Configuração de Kafka e Cluster Básico

1. Instalação e configuração de brokers Kafka.
2. Criação de tópicos e configuração de partições e replicação.
3. Configuração de clusters multi-broker.
4. Papel do Zookeeper e introdução ao Kafka Raft Metadata Mode.

Módulo 3 – Produtores e Consumidores

1. Configuração de produtores e consumidores Kafka.
2. Garantias de entrega: at-most-once, at-least-once, exactly-once.
3. Estratégias de particionamento e balanceamento de carga.
4. Grupos de consumidores e commit de offsets.

Módulo 4 – Kafka Streams e Processamento de Fluxos

1. Introdução ao Kafka Streams API.
2. Transformações de dados: map, filter, join, aggregate.
3. Windows e processamento temporal.
4. Garantias de consistência e idempotência.

Módulo 5 – Kafka Connect e Integração com Sistemas Externos

1. Configuração de Source e Sink Connectors.
2. Integração com bancos de dados, filas de mensagens e sistemas externos.
3. Serialização e deserialização de dados: JSON, Avro, Protobuf.
4. Monitoramento de Connectors e tratamento de falhas.

Módulo 6 – Clustering Avançado e Alta Disponibilidade

1. Replicação de tópicos e estratégias de failover.
2. Partition leadership e balanceamento de carga.
3. Estratégias de retenção de dados e compactação de logs.
4. Atualizações e manutenção de clusters em produção.

Módulo 7 – Operação, Monitoramento e Troubleshooting

1. Métricas de desempenho: throughput, lag, latência.
2. Monitoramento de brokers, consumidores e produtores.
3. Troubleshooting de erros comuns e práticas de recuperação.
4. Escalabilidade e otimização de clusters.

Módulo 8 – Projeto Prático

1. Implementação de um cluster Kafka funcional.
2. Ingestão de dados em tempo real e processamento com Kafka Streams.
3. Integração com sistemas externos usando Connectors.
4. Testes, monitoramento e otimização do cluster.