Visão Geral

Este Curso  Kafka Connect for Data Engineers apresenta uma formação completa em Kafka Connect voltada para engenheiros de dados que precisam integrar, mover e transformar dados entre sistemas de maneira confiável e escalável. Você vai aprender desde os conceitos fundamentais até a criação, manutenção e monitoramento de pipelines de dados baseados em conectores.

Objetivo

Após realizar este curso, você será capaz de:

• Compreender profundamente a arquitetura do Kafka Connect
• Implementar conectores de origem e destino
• Criar pipelines escaláveis e tolerantes a falhas
• Configurar e gerenciar Transformações de Fonte Única (SMTs)
• Monitorar, depurar e otimizar clusters de Kafka Connect
• Integrar Kafka Connect com sistemas de armazenamento, bancos de dados e serviços em nuvem

Publico Alvo

1. Engenheiros de Dados
2. Analistas de Dados
3. Desenvolvedores Backend
4. Arquitetos de Dados
5. Profissionais que trabalham com Kafka ou ETL/ELT

Pre-Requisitos

• Conhecimentos básicos de Apache Kafka
• Conhecimento intermediário em bancos de dados
• Noções de JSON e REST APIs
• Familiaridade com Linux

Conteúdo Programatico

Module 1 — Introduction to Kafka Connect

1. What is Kafka Connect
2. Connectors vs. Producers/Consumers
3. Distributed vs. Standalone Modes
4. Key components: Workers, Tasks, Connectors

Module 2 — Kafka Connect Architecture for Data Engineers

1. Worker coordination
2. Task scaling
3. Offset management
4. Fault tolerance and rebalancing

Module 3 — Installing and Running Kafka Connect

1. Setting up Kafka Connect
2. Standalone mode setup
3. Distributed mode setup
4. Using the REST API

Module 4 — Source Connectors

1. How source connectors work
2. Configuring JDBC Source Connector
3. Filesystem & cloud storage sources
4. Event sourcing with CDC-compatible connectors

Module 5 — Sink Connectors

1. Sink processing flows
2. JDBC Sink Connector configuration
3. Delivering data to NoSQL and cloud storage
4. Handling schema evolution

Module 6 — Single Message Transforms (SMTs)

1. What SMTs are and when to use them
2. Common transformations
3. Chaining multiple SMTs
4. Custom SMT development overview

Module 7 — Schema Management with Kafka Connect

1. Using Confluent Schema Registry
2. Avro, JSON Schema, Protobuf
3. Schema evolution strategies

Module 8 — Building Real-World Pipelines

1. End-to-end pipeline from a database to cloud storage
2. Designing scalable ingestion layers
3. Error handling and DLQ configuration

Module 9 — Monitoring and Troubleshooting

1. Monitoring metrics
2. Common errors and debugging strategies
3. Logging best practices
4. Performance tuning

Module 10 — Security and Governance

1. Authentication and authorization
2. Secrets management
3. Data governance and compliance considerations

Module 11 — Connectors in Cloud Environments

1. Kafka Connect on AWS
2. Kafka Connect on GCP
3. Kafka Connect on Azure
4. Cloud-native managed connectors

Module 12 — Capstone Project

1. Design and implement a full Kafka Connect pipeline
2. Integrate source → transformations → destination
3. Deployment + monitoring presentation