Visão Geral

O Curso Apache Heron Processamento de Dados em Tempo Real, oferece uma compreensão aprofundada desta poderosa plataforma de processamento de dados em tempo real, projetada para substituir o Apache Storm com maior eficiência e simplicidade. Os alunos aprenderão como configurar, desenvolver e operar topologias de streaming distribuídas com Apache Heron, além de explorar como escalar e monitorar essas soluções em ambientes de produção.

Objetivo

Após realizar este Curso Apache Heron - Processamento de Dados em Tempo Real, você será capaz de:

• Compreender a arquitetura e os principais componentes do Apache Heron.
• Desenvolver e implementar topologias de streaming com Apache Heron.
• Monitorar e otimizar o desempenho de topologias em tempo real.
• Integrar Apache Heron com outras plataformas e sistemas de processamento de dados.
• Gerenciar clusters Heron em ambientes distribuídos e em nuvem.

Publico Alvo

• Engenheiros de dados.
• Desenvolvedores de software.
• Arquitetos de soluções de dados.
• Administradores de sistemas.
• Profissionais de DevOps que trabalham com sistemas de processamento de dados em tempo real.

Pre-Requisitos

• Conhecimento básico de sistemas de processamento de dados em tempo real.
• Familiaridade com linguagens de programação como Java ou Python.
• Conhecimentos básicos de sistemas distribuídos e Linux.
• Experiência com Apache Storm é um diferencial, mas não obrigatória.

Materiais

Conteúdo Programatico

Módulo 1: Introdução ao Apache Heron

1. O que é Apache Heron?
2. Evolução do Heron: substituindo o Apache Storm.
3. Casos de uso de streaming em tempo real.
4. Arquitetura do Apache Heron: spouts, bolts, e topologias.

Módulo 2: Configuração do Ambiente

1. Requisitos de instalação.
2. Instalando o Apache Heron em ambientes locais e em nuvem.
3. Integração com ferramentas de gerenciamento de contêineres (Docker, Kubernetes).
4. Configurando um cluster Heron para produção.

Módulo 3: Conceitos de Topologias no Apache Heron

1. O que são spouts e bolts?
2. Criando topologias de streaming simples.
3. Gerenciamento de fluxos e processamento de eventos.
4. Uso de linguagens de programação suportadas (Java, Python).

Módulo 4: Escalabilidade e Tolerância a Falhas

1. Configuração de partições e replicação de dados.
2. Escalabilidade horizontal no Apache Heron.
3. Balanceamento de carga e alta disponibilidade.
4. Estratégias de tolerância a falhas e recuperação.

Módulo 5: Monitoramento e Gerenciamento de Performance

1. Ferramentas de monitoramento no Apache Heron.
2. Análise de métricas de desempenho de topologias.
3. Otimização de topologias para alta performance.
4. Solução de problemas comuns em ambientes de produção.

Módulo 6: Integração com Outras Ferramentas

1. Integração com bancos de dados e sistemas de filas.
2. Conectores Heron para Apache Kafka, Redis, e outras ferramentas de streaming.
3. Integração com frameworks de big data como Apache Flink e Spark.
4. Uso do Heron com plataformas de armazenamento e processamento de dados.

Módulo 7: Segurança e Gerenciamento de Acesso

1. Configuração de segurança e criptografia de dados no Heron.
2. Autenticação e controle de acesso em clusters distribuídos.
3. Boas práticas de segurança em processamento de dados em tempo real.

Módulo 8: Apache Heron em Produção

1. Estratégias para implantar o Heron em ambientes de produção.
2. Melhores práticas para garantir alta disponibilidade.
3. Backup e recuperação de desastres em topologias Heron.
4. Manutenção contínua de clusters Heron em escala.

Módulo 9: Comparação com Alternativas (Storm, Flink, etc.)

1. Principais diferenças entre Apache Heron e Apache Storm.
2. Comparação com outras ferramentas de processamento em tempo real (Flink, Kafka Streams).
3. Vantagens e desvantagens do Apache Heron em diferentes cenários.

Módulo 10: Projeto Final

• Criação de uma topologia de streaming complexa.
• Integração com sistemas de análise de dados.
• Deploy e monitoramento de uma topologia em um ambiente de produção simulado.