Visão Geral

O curso Kafka Connect Fundamentals apresenta os principais conceitos, arquitetura, configuração e operação do Kafka Connect, a ferramenta oficial do Apache Kafka para integração de dados em larga escala. O aluno aprenderá como criar pipelines de dados confiáveis, conectar sistemas externos ao Kafka, configurar conectores, monitorar tarefas, lidar com erros e implementar boas práticas utilizadas no mercado.

Este curso combina teoria e prática em laboratório individual, permitindo que cada participante implemente e teste conectores em um ambiente real.

Objetivo

Após realizar este Curso Kafka Connect Fundamentals, você será capaz de:

• Entender a arquitetura e o funcionamento do Kafka Connect
• Instalar, configurar e operar o Kafka Connect em modo standalone e distributed
• Criar e gerenciar connectors (source e sink)
• Integrar Kafka com bancos de dados, sistemas de arquivos e APIs
• Monitorar, escalar e gerenciar tarefas do Kafka Connect
• Aplicar boas práticas e padrões de mercado para pipelines de dados
• Implementar pipelines reais de ingestão e distribuição de dados usando conectores oficiais

Publico Alvo

• Engenheiros de Dados
• Desenvolvedores
• Arquitetos de Soluções
• Administradores de Kafka
• Profissionais que trabalham com integração de dados e ETL
• Qualquer pessoa que precise integrar sistemas ao Apache Kafka

Pre-Requisitos

• Conhecimento básico de Apache Kafka
• Noções de Linux e Docker
• Noções gerais de integração de dados (desejável)

Conteúdo Programatico

1. Introduction to Kafka Connect

1. What is Kafka Connect
2. Key benefits and use cases
3. Architecture overview
4. Source vs. Sink connectors

2. Kafka Connect Architecture

1. Standalone mode
2. Distributed mode
3. Workers and tasks
4. Connect clusters
5. Internal topics: config, offsets, status

3. Installing and Configuring Kafka Connect

1. Installing Kafka Connect
2. Worker configuration files
3. Using Docker for Connect deployments
4. REST API fundamentals

4. Working with Connectors

1. Connector structure and lifecycle
2. Creating connectors via REST API
3. Updating and deleting connectors
4. Connector plugins and plugin paths

5. Source Connectors

1. How source connectors ingest data
2. Common source connectors (JDBC, FilePulse, Debezium, etc.)
3. Real-world source connector examples

6. Sink Connectors

1. How sink connectors deliver data
2. Common sink connectors (Elasticsearch, S3, JDBC, etc.)
3. Real-world sink connector examples

7. Transformations (SMTs – Single Message Transformations)

1. Built-in SMTs
2. Applying transformations to source/sink connectors
3. Custom SMT development overview

8. Data Schemas and Converters

1. Schema Registry overview
2. Avro, JSON, and Protobuf converters
3. Schema evolution in Kafka Connect

9. Monitoring and Observability

1. REST API monitoring
2. Metrics and JMX
3. Logging and debugging connectors
4. Identifying and handling task failures

10. Error Handling and Retry Strategies

1. Dead Letter Queue (DLQ)
2. Retry logic
3. Error tolerance settings

11. Security in Kafka Connect

1. Authentication (SSL, SASL)
2. Authorization (ACLs)
3. Encrypting traffic and credentials

12. Scaling and High Availability

1. Scaling Connect workers
2. Distributed workloads
3. Best practices for production deployments

13. Hands-on Labs

1. Deploying a Connect cluster
2. Creating a JDBC Source Connector
3. Creating an Elasticsearch Sink Connector
4. Applying SMT transformations
5. Monitoring connectors using REST API
6. Troubleshooting real scenarios

14. Best Practices and Architecture Patterns

1. Recommended production configurations
2. Connect cluster sizing
3. Schema management strategy
4. Designing reliable data pipelines