Visão Geral

O Curso Kafka Connect and Integration foi desenvolvido para profissionais que desejam dominar a integração de sistemas de dados utilizando o Apache Kafka Connect.
Durante o treinamento, os participantes aprenderão como conectar o Kafka a bancos de dados, APIs, sistemas de arquivos e ferramentas de processamento de dados, construindo pipelines de integração escaláveis e resilientes.
O foco do curso é prático, com diversos laboratórios e exemplos reais de integração corporativa.

Objetivo

Ao concluir o curso Kafka Connect and Integration, o participante será capaz de:

• Entender o papel do Kafka Connect dentro do ecossistema Apache Kafka.
• Configurar e executar connectors (Source e Sink) para diversas integrações.
• Criar pipelines de ingestão e exportação de dados em tempo real.
• Integrar o Kafka com bancos de dados, sistemas de arquivos, REST APIs e ferramentas analíticas.
• Gerenciar, monitorar e escalar instâncias de Kafka Connect distribuído.
• Aplicar melhores práticas de segurança e desempenho em ambientes de integração.

Publico Alvo

• Engenheiros de dados, arquitetos de integração e desenvolvedores que trabalham com pipelines de dados e mensageria.
• Profissionais de BI, Big Data e DevOps que desejam integrar o Kafka com diversas fontes e destinos de dados.
• Administradores de sistemas que precisam configurar, gerenciar e monitorar conectores Kafka em produção.

Pre-Requisitos

• Conhecimento básico de Apache Kafka (tópicos, produtores e consumidores).
• Noções de bancos de dados relacionais e NoSQL.
• Familiaridade com conceitos de integração de dados e pipelines ETL/ELT.
• Conhecimento básico de Docker e linha de comando Linux (desejável).

Informações Gerais

Metodologia:

• Curso ao vivo e online, via Microsoft Teams.
• Ministrado por instrutor/consultor especializado em Apache Kafka e integração de dados.
• Aulas teóricas e práticas, com demonstrações em tempo real.
• Laboratório individual configurado para cada participante.
• Exercícios práticos e projeto final de integração.
• Fornecimento de material digital e scripts de laboratório.

Materiais

Conteúdo Programatico

Module 1: Introduction to Kafka Connect

1. What is Kafka Connect and how it fits into the Kafka ecosystem
2. Core concepts: Source and Sink connectors
3. Standalone vs. Distributed mode
4. When to use Kafka Connect vs. custom producers/consumers

Module 2: Kafka Connect Architecture

1. Connect clusters and worker nodes
2. Tasks, configurations, and connector lifecycle
3. Internal topics and offsets
4. Scaling and fault tolerance

Module 3: Deploying and Configuring Connectors

1. Installing and managing connector plugins
2. Configuring Source and Sink connectors
3. REST API for managing connectors
4. Hands-on: deploying connectors with Docker Compose

Module 4: Working with Common Connectors

1. JDBC Source and Sink connectors
2. FileStream and S3 connectors
3. Elasticsearch, MongoDB, and PostgreSQL connectors
4. Customizing connectors with Single Message Transformations (SMTs)

Module 5: Schema Management and Data Serialization

1. Integrating with Confluent Schema Registry
2. Working with Avro, JSON, and Protobuf formats
3. Schema evolution and compatibility settings
4. Handling schema errors and data type mismatches

Module 6: Monitoring, Troubleshooting, and Security

1. Monitoring connectors with Kafka Connect REST API
2. Metrics collection with Prometheus and Grafana
3. Troubleshooting common connector issues
4. Securing Kafka Connect with SSL, SASL, and ACLs

Module 7: Integrating Kafka with Enterprise Systems

1. Integrating Kafka with data lakes, warehouses, and analytics platforms
2. Connecting with external services and message queues
3. Event-driven integration patterns using Kafka Connect
4. Case study: real-world enterprise data integration

Module 8: Hands-On Project

Project: Build an end-to-end data integration pipeline using Kafka Connect, integrating multiple data sources (database, file, and API) into a central Kafka topic and delivering to a downstream analytics system.