Visão Geral

Este Curso Kafkaesque Solução Simplificada para Streaming de Dados, apresenta o Kafkaesque, uma alternativa mais simples e leve ao Apache Kafka, focada em fornecer uma solução de streaming de dados escalável, com configuração e operação mais fáceis. Durante o curso, os participantes aprenderão como configurar, operar e integrar o Kafkaesque em arquiteturas modernas de dados, explorando suas capacidades de processamento em tempo real e ingestão de dados.

Objetivo

Após realizar este Curso Kafkaesque - Solução Simplificada para Streaming de Dados, você será capaz de:

• Compreender os principais conceitos e arquitetura do Kafkaesque.
• Configurar e administrar clusters Kafkaesque.
• Implementar pipelines de dados em tempo real utilizando Kafkaesque.
• Comparar Kafkaesque com alternativas como Apache Kafka e Pulsar.
• Integrar Kafkaesque com ferramentas de processamento e monitoramento de dados.

Publico Alvo

• Engenheiros de dados.
• Desenvolvedores de software.
• Profissionais de DevOps.
• Arquitetos de soluções de dados em tempo real.
• Administradores de sistemas distribuídos.

Pre-Requisitos

• Conhecimentos básicos de sistemas de mensageria ou streaming de dados.
• Familiaridade com Linux.
• Experiência prévia com Kafka ou sistemas de mensageria é recomendada, mas não obrigatória.

Materiais

Conteúdo Programatico

Módulo 1: Introdução ao Kafkaesque

1. O que é Kafkaesque?
2. Por que escolher Kafkaesque ao invés de Kafka?
3. Casos de uso comuns no mercado.
4. Arquitetura simplificada do Kafkaesque.

Módulo 2: Instalação e Configuração

1. Requisitos de sistema.
2. Instalando o Kafkaesque em ambientes locais e em nuvem.
3. Configurando um cluster Kafkaesque.
4. Boas práticas de configuração.

Módulo 3: Produção e Consumo de Mensagens

1. Estrutura de produtores e consumidores no Kafkaesque.
2. Produção de mensagens de eventos.
3. Consumo de eventos em tempo real.
4. Manipulação de offset e particionamento.

Módulo 4: Gerenciamento de Clusters

1. Criação e gerenciamento de múltiplos nós em um cluster Kafkaesque.
2. Particionamento e replicação de dados.
3. Escalabilidade horizontal do Kafkaesque.
4. Monitoramento de saúde do cluster.

Módulo 5: Integração com Sistemas de Processamento

1. Integração com frameworks como Apache Spark e Flink.
2. Ingestão de dados de múltiplas fontes.
3. Integração com bancos de dados para análise de eventos.
4. Conectores para outras ferramentas de processamento.

Módulo 6: Monitoramento e Troubleshooting

1. Monitoramento de métricas de performance com ferramentas nativas e de terceiros.
2. Análise de logs e eventos para troubleshooting.
3. Otimização de performance em ambiente de produção.
4. Identificação e solução de gargalos.

Módulo 7: Segurança e Autenticação

1. Configuração de TLS e criptografia de dados.
2. Autenticação e controle de acesso.
3. Configurando permissões de usuários e grupos de consumidores.

Módulo 8: Kafkaesque vs Alternativas (Kafka, Redpanda, etc.)

1. Comparação detalhada entre Kafkaesque e Apache Kafka.
2. Benefícios do Kafkaesque para arquiteturas menores e mais simples.
3. Casos de estudo de migração de Kafka para Kafkaesque.
4. Comparação com Redpanda e Pulsar em termos de simplicidade e performance.

Módulo 9: Deploy e Manutenção em Ambientes de Produção

1. Estratégias de deploy em ambientes de produção.
2. Backup e recuperação de dados no Kafkaesque.
3. Gerenciamento contínuo de clusters Kafkaesque.
4. Considerações de performance e segurança.

Módulo 10: Projeto Prático

1. Implementação de um pipeline de dados em tempo real com Kafkaesque.
2. Processamento de eventos em larga escala.
3. Deploy e monitoramento de um cluster Kafkaesque em produção.