Visão Geral

Este Curso Redpanda Streaming de Dados em Alta Performance, oferece uma introdução completa ao Redpanda, uma plataforma moderna de streaming de dados que se apresenta como uma alternativa ao Apache Kafka, projetada para alta performance e baixa latência. Durante o curso, você aprenderá a configurar, operar e integrar o Redpanda com sistemas de processamento de dados em tempo real. O Curso Redpanda Streaming de Dados em Alta Performance, foca nos principais conceitos de streaming de dados e na arquitetura otimizada do Redpanda para processar eventos em tempo real com eficiência e simplicidade.

Objetivo

Após realizar este Curso Redpanda - Streaming de Dados em Alta Performance, você será capaz de:

• Entender os princípios fundamentais do Redpanda e sua arquitetura.
• Configurar e administrar uma instância Redpanda.
• Integrar Redpanda com pipelines de dados para processar eventos em tempo real.
• Utilizar ferramentas de monitoramento e troubleshooting para Redpanda.
• Comparar o Redpanda com alternativas de mercado e escolher a melhor solução para seu projeto.

Publico Alvo

• Engenheiros de dados.
• Desenvolvedores de software.
• Administradores de sistemas.
• Profissionais de DevOps.
• Arquitetos de soluções em tempo real.

Pre-Requisitos

• Conhecimento básico de sistemas de streaming de dados.
• Familiaridade com Linux.
• Conhecimento básico de Docker.
• Experiência com mensagens ou sistemas de filas, como Kafka ou RabbitMQ, é um diferencial.

Materiais

Conteúdo Programatico

Módulo 1: Introdução ao Redpanda

1. O que é Redpanda?
2. Comparação com Apache Kafka e outras soluções.
3. Casos de uso do Redpanda no mercado.
4. Arquitetura de alta performance do Redpanda.

Módulo 2: Instalação e Configuração

1. Requisitos de instalação.
2. Instalando o Redpanda no Docker.
3. Configuração inicial e ajustes de performance.
4. Configurando clusters Redpanda.

Módulo 3: Produção e Consumo de Dados

1. Conceitos de produtores e consumidores.
2. Produzindo mensagens para o Redpanda.
3. Consumindo mensagens do Redpanda.
4. Controlando offset e retenção de mensagens.

Módulo 4: Escalabilidade e Clustering

1. Fundamentos de clusters no Redpanda.
2. Gerenciamento de partições e replicação.
3. Balanceamento de carga e failover.
4. Escalando o Redpanda para grandes volumes de dados.

Módulo 5: Integração com Sistemas de Processamento de Dados

1. Integração com Apache Spark, Flink e outras ferramentas de processamento.
2. Configuração de conectores e integração com bancos de dados.
3. Integração com sistemas de monitoramento e alertas.

Módulo 6: Monitoramento e Troubleshooting

1. Ferramentas de monitoramento do Redpanda.
2. Analisando métricas de performance.
3. Troubleshooting de problemas comuns.
4. Ajustes e otimizações de performance.

Módulo 7: Segurança e Gerenciamento de Acesso

1. Configuração de TLS e criptografia.
2. Controle de acesso e autenticação.
3. Configurando permissões de usuários e consumidores.

Módulo 8: Redpanda em Ambientes de Produção

1. Boas práticas para implantação em produção.
2. Redpanda e Kubernetes: orquestração e gerenciamento de clusters.
3. Backup e recuperação de desastres.
4. Considerações de performance e segurança em ambientes críticos.

Módulo 9: Comparação com Alternativas (Kafka, Pulsar, etc.)

1. Principais diferenças e benefícios do Redpanda em relação ao Kafka.
2. Vantagens do Redpanda em cenários específicos de alto volume.
3. Casos de estudo de migração de Kafka para Redpanda.

Módulo 10: Projeto Final

1. Implementação de um pipeline de dados em tempo real usando Redpanda.
2. Processamento de eventos e integração com ferramentas de análise.
3. Deploy de um cluster Redpanda em ambiente de produção.