Visão Geral

O curso Real-Time Replication Using Kafka Connect foi desenvolvido para ensinar como configurar, gerenciar e otimizar pipelines de replicação de dados em tempo real utilizando o Kafka Connect, um dos componentes mais poderosos do ecossistema Apache Kafka.
Durante o treinamento, os participantes aprenderão a integrar sistemas heterogêneos (como bancos de dados, filas e aplicações corporativas), configurar conectores de origem e destino, monitorar tarefas e implementar boas práticas de alta disponibilidade e tolerância a falhas.

Esse curso é ideal para profissionais que buscam dominar a replicação de dados em tempo real para cenários de Data Streaming, ETL moderno, integração de sistemas e arquiteturas orientadas a eventos.

Objetivo

Após realizar o curso Real-Time Replication Using Kafka Connect, você será capaz de:

• Entender os conceitos fundamentais do Kafka Connect e sua arquitetura.
• Configurar e executar conectores de origem (source) e destino (sink).
• Implementar pipelines de replicação em tempo real entre diferentes sistemas.
• Trabalhar com conectores pré-desenvolvidos (como JDBC, Debezium, Elasticsearch, S3, entre outros).
• Monitorar, escalar e otimizar tarefas de replicação.
• Implementar práticas de segurança e resiliência em pipelines de dados.

Publico Alvo

• Engenheiros de dados e arquitetos de soluções.
• Desenvolvedores e administradores de sistemas que trabalham com Apache Kafka.
• Profissionais de DevOps e integração de sistemas.
• Analistas de dados e profissionais de infraestrutura que desejam dominar replicação em tempo real.

Pre-Requisitos

• Conhecimentos básicos de Apache Kafka e conceitos de mensagens/eventos.
• Familiaridade com sistemas de banco de dados (relacional ou NoSQL).
• Conhecimento básico de Linux e Docker (opcional, mas recomendado).

Materiais

Conteúdo Programatico

Módulo 1: Introdução ao Kafka Connect

1. O que é o Kafka Connect e sua função no ecossistema Kafka
2. Arquitetura: workers, tasks e connectors
3. Tipos de conectores (source e sink)
4. Modos de execução: standalone e distributed
5. Quando usar Kafka Connect versus outras soluções de integração

Módulo 2: Ambiente de Trabalho e Instalação

1. Preparando o ambiente com Kafka e Kafka Connect
2. Configuração básica no modo standalone
3. Teste inicial de conexão e validação do cluster
4. Entendendo os diretórios e arquivos de configuração

Módulo 3: Conectores de Origem (Source Connectors)

1. Configuração e uso de conectores JDBC Source
2. Replicando dados de bancos relacionais para tópicos Kafka
3. Introdução ao Debezium para captura de alterações (CDC)
4. Exemplo prático: replicando dados em tempo real de um banco PostgreSQL

Módulo 4: Conectores de Destino (Sink Connectors)

1. Configuração de conectores JDBC Sink
2. Enviando dados para bancos de destino (MySQL, PostgreSQL, etc.)
3. Integração com Elasticsearch e sistemas de armazenamento
4. Exemplo prático: pipeline completo entre banco origem e destino

Módulo 5: Execução em Modo Distribuído

1. Configurando o modo distributed e múltiplos workers
2. Escalabilidade e paralelismo em pipelines de dados
3. Gerenciamento de falhas e tolerância
4. Uso de REST API para monitoramento e gerenciamento

Módulo 6: Monitoramento e Troubleshooting

1. Logs e métricas do Kafka Connect
2. Uso de ferramentas como Confluent Control Center e Prometheus
3. Diagnóstico de erros e recuperação de tarefas
4. Boas práticas de observabilidade

Módulo 7: Segurança e Boas Práticas

1. Autenticação e autorização (SASL, ACLs)
2. Criptografia com SSL/TLS
3. Boas práticas para confiabilidade e consistência de dados
4. Estratégias de versionamento e rollback de pipelines

Módulo 8: Casos Práticos e Exercícios

1. Replicação entre dois clusters Kafka em tempo real
2. Pipeline completo de integração: PostgreSQL → Kafka → Elasticsearch
3. Desafio final: criando e monitorando sua própria replicação distribuída