Visão Geral

Este Curso Fundamentals For Apache Kafka fornece uma introdução abrangente ao Apache Kafka, abordando seus conceitos fundamentais, arquitetura e princípios de funcionamento. Os participantes aprenderão a trabalhar com mensagens, topics, partitions e consumer groups, além de entender como dimensionar e monitorar sistemas baseados em Kafka.

Objetivo

Após realizar este curso Fundamentals For Apache Kafka, você será capaz de:

• Compreender os conceitos fundamentais do Apache Kafka.
• Criar e gerenciar topics e partitions.
• Trabalhar com produtores e consumidores de mensagens.
• Entender como funciona a escalabilidade e a resiliência do Kafka.
• Implementar soluções de mensageria distribuída.
• Configurar e monitorar um ambiente Kafka para alta disponibilidade.
• Integrar Kafka com outras ferramentas para análise e processamento de dados.

Publico Alvo

• Desenvolvedores que desejam compreender os conceitos básicos do Apache Kafka.
• Arquitetos de software interessados em sistemas de mensagens distribuídas.
• Administradores de sistemas que gerenciam ambientes com Kafka.
• Profissionais de DevOps que buscam otimizar fluxos de dados em tempo real.

Pre-Requisitos

• Noções básicas de sistemas distribuídos.
• Experiência com alguma linguagem de programação (Java, Python, Go, etc.).
• Conhecimento básico sobre Linux e uso de linha de comando.

Materiais

Conteúdo Programatico

Módulo 1: Introdução ao Apache Kafka

1. Por que usar Kafka?
2. Casos de uso e aplicações reais.
3. Conceitos básicos: mensagens, topics, produtores e consumidores.
4. Ciclo de vida básico de uma mensagem.

Módulo 2: Organização de Mensagens

1. Partitions e offsets.
2. Como funcionam os offsets dos consumidores.
3. Configuração e gerenciamento de topics e partitions.

Módulo 3: Escalabilidade e Consumo de Dados

1. Consumer groups e paralelismo.
2. Múltiplas partições e consumo distribuído.
3. Estratégias de particionamento e impacto na escalabilidade.
4. Consumo de mensagens a partir de múltiplas partitions.
5. Balanceamento de carga entre consumidores.

Módulo 4: Arquitetura Interna do Kafka

1. Funcionamento dos brokers.
2. Distribuição de partitions entre brokers.
3. Replicação de dados para alta disponibilidade.
4. Armazenamento e retenção de mensagens.
5. Segurança e autenticação no Kafka (SSL, ACLs, SASL).

Módulo 5: Monitoramento e Manutenção do Kafka

1. Configuração e análise de logs do Kafka.
2. Ferramentas de monitoramento e métricas essenciais.
3. Troubleshooting e resolução de problemas comuns.
4. Estratégias para otimizar o desempenho do Kafka.

Módulo 6: Integração e Expansão do Kafka

1. Integração com Apache Flink e Apache Spark.
2. Uso do Kafka Connect para ingestão e saída de dados.
3. Configuração do Schema Registry para compatibilidade de dados.
4. Introdução ao Kafka Streams para processamento de eventos em tempo real.

Módulo 7: Revisão e Próximos Passos

1. Detalhamento do ciclo de vida de uma mensagem.
2. Exploração de outros componentes do Kafka.
3. Introdução à Confluent Platform e Confluent Cloud.
4. Melhores práticas para um ambiente Kafka produtivo.