Visão Geral

Este Curso Kafka Streaming Data Architecture, fornece uma compreensão prática e teórica sobre a arquitetura de dados em streaming usando Apache Kafka. Os participantes aprenderão como projetar, implementar e gerenciar pipelines de dados em tempo real, utilizando Kafka como núcleo para integração de sistemas distribuídos, processamento de eventos e análise de dados em tempo real. O curso combina teoria com exercícios práticos para garantir que os alunos possam aplicar os conceitos diretamente em projetos reais.

Objetivo

Após realizar este Curso Kafka Streaming Data Architecture, você será capaz de:

• Compreender a arquitetura de streaming de dados e o papel do Kafka em pipelines distribuídos.
• Projetar e implementar tópicos, produtores e consumidores Kafka.
• Integrar Kafka com sistemas externos e frameworks de processamento em tempo real.
• Garantir escalabilidade, tolerância a falhas e alta disponibilidade em soluções de streaming.
• Monitorar e otimizar clusters Kafka para desempenho eficiente.

Publico Alvo

• Engenheiros de dados e arquitetos de soluções.
• Desenvolvedores de software que trabalham com processamento de eventos e dados em tempo real.
• Profissionais de DevOps e SRE que desejam gerenciar pipelines Kafka.
• Analistas de dados que precisam entender a ingestão e o fluxo de dados em tempo real.

Pre-Requisitos

• Conhecimento básico de programação Java ou Python.
• Noções de bancos de dados e SQL.
• Familiaridade com conceitos de sistemas distribuídos é desejável.

Materiais

Conteúdo Programatico

Módulo 1 – Introdução ao Streaming de Dados e Kafka

1. Conceitos de dados em streaming vs batch.
2. Casos de uso de streaming de dados.
3. Arquitetura do Apache Kafka: brokers, tópicos, partições, offsets.
4. Conceito de logs imutáveis e armazenamento distribuído.

Módulo 2 – Kafka Core: Produtores, Consumidores e Tópicos

1. Criação e configuração de tópicos Kafka.
2. Produtores: envio de mensagens e garantias de entrega.
3. Consumidores: leitura de mensagens, grupos de consumidores e commit de offsets.
4. Estratégias de particionamento e balanceamento de carga.

Módulo 3 – Kafka Streams e Processamento de Dados em Tempo Real

1. Introdução ao Kafka Streams API.
2. Transformações de dados em fluxo (map, filter, join, aggregate).
3. Windowing e eventos temporais.
4. Garantias de processamento: at-least-once e exactly-once.

Módulo 4 – Integração Kafka com Sistemas Externos

1. Kafka Connect: Source e Sink Connectors.
2. Integração com bancos de dados, sistemas de mensageria e aplicações externas.
3. Serialização e deserialização de dados (JSON, Avro, Protobuf).

Módulo 5 – Arquitetura Avançada de Kafka

1. Replicação, tolerância a falhas e alta disponibilidade.
2. Estratégias de retenção e compactação de logs.
3. Design de pipelines de dados distribuídos.
4. Integração com sistemas de monitoramento e alertas.

Módulo 6 – Operação e Monitoramento de Clusters Kafka

1. Configuração de brokers, zookeepers e clusters Kafka.
2. Métricas e monitoramento (CPU, memória, throughput, lag de consumidor).
3. Troubleshooting e resolução de problemas comuns.
4. Otimização de desempenho e escalabilidade.

Módulo 7 – Projeto Prático

1. Implementação de um pipeline completo de streaming de dados.
2. Ingestão de dados, processamento com Kafka Streams e saída para sistemas externos.
3. Testes, monitoramento e ajustes de performance.