Visão Geral

O Azure Event Hubs é um serviço de ingestão de dados em grande escala que permite o processamento em tempo real de dados de streaming. Neste curso, você aprenderá a configurar, operar e integrar o Azure Event Hubs em soluções de análise e processamento de dados distribuídos. O curso cobre desde os conceitos básicos até técnicas avançadas de monitoramento e otimização, capacitando os alunos a implementarem pipelines de dados robustos.

Objetivo

Após realizar este curso Azure Event Hubs - Processamento e Ingestão de Dados em Escala, você será capaz de:

• Entender os principais conceitos e arquitetura do Azure Event Hubs.
• Configurar e gerenciar hubs de eventos para ingestão de dados em larga escala.
• Processar fluxos de dados em tempo real com diferentes consumidores.
• Integrar o Event Hubs com outras plataformas de análise de dados.
• Monitorar, otimizar e garantir a segurança dos dados em trânsito.

Publico Alvo

• Engenheiros de dados.
• Desenvolvedores de software.
• Arquitetos de soluções de dados.
• Profissionais de DevOps.
• Administradores de sistemas interessados em processamento de dados em tempo real.

Pre-Requisitos

• Conhecimentos básicos de serviços em nuvem, especialmente Azure.
• Familiaridade com sistemas de mensageria e streaming de dados.
• Experiência com linguagens de programação como C#, Python ou Java é recomendada.

Materiais

Conteúdo Programatico

Módulo 1: Introdução ao Azure Event Hubs

1. O que é o Azure Event Hubs?
2. Arquitetura de mensagens baseada em eventos.
3. Casos de uso para streaming de dados.
4. Comparação com outros serviços de mensageria e streaming (Kafka, IoT Hub, Service Bus).

Módulo 2: Criando e Configurando o Event Hub

1. Introdução ao portal Azure.
2. Criando um namespace e configurando o Event Hub.
3. Particionamento e throughput units.
4. Configuração de retenção de eventos e captura de dados.

Módulo 3: Produção e Consumo de Eventos

1. Produção de eventos no Azure Event Hubs.
2. Usando SDKs e APIs para enviar dados (Python, .NET, Java).
3. Consumindo eventos em tempo real com consumidores de eventos.
4. Diferentes tipos de consumidores: processadores de eventos e checkpoints.

Módulo 4: Integração com Sistemas de Processamento

1. Integrando o Event Hubs com o Azure Stream Analytics.
2. Processamento de eventos com Azure Functions.
3. Conectando Event Hubs ao Apache Spark.
4. Integração com bancos de dados e sistemas de análise em tempo real.

Módulo 5: Escalabilidade e Alta Disponibilidade

1. Gerenciamento de unidades de throughput (TU) e dimensionamento automático.
2. Configuração de clusters distribuídos para alta disponibilidade.
3. Estratégias de balanceamento de carga.
4. Escalabilidade horizontal e replicação de dados.

Módulo 6: Monitoramento e Diagnóstico

1. Monitoramento do Event Hubs com Azure Monitor e Application Insights.
2. Uso de métricas para monitoramento de latência, throughput e erros.
3. Diagnóstico de falhas e otimização de performance.
4. Configuração de alertas para eventos e anomalias.

Módulo 7: Segurança e Gerenciamento de Acesso

1. Configuração de criptografia e controle de acesso.
2. Autenticação e autorização com Azure Active Directory.
3. Gerenciamento de permissões para produtores e consumidores.
4. Proteção de dados em trânsito e em repouso.

Módulo 8: Integração com Outras Soluções do Azure

1. Integração com o Azure Data Lake para análise de grandes volumes de dados.
2. Conectando o Event Hubs ao Power BI para visualização em tempo real.
3. Integração com o Azure IoT Hub para ingestão de dados de dispositivos IoT.
4. Cenários de uso com Azure Data Factory e Logic Apps.

Módulo 9: Azure Event Hubs vs Outras Soluções

1. Comparação entre Azure Event Hubs e Apache Kafka.
2. Quando usar Event Hubs em vez de IoT Hub ou Service Bus.
3. Comparação de custos e desempenho entre Event Hubs e outras soluções de ingestão de dados.
4. Casos de sucesso e aplicações no mercado.

Módulo 10: Projeto Prático

1. Criando um pipeline de ingestão de dados em tempo real com Event Hubs.
2. Integração de múltiplos consumidores e produtores.
3. Monitoramento e otimização do pipeline em um cenário de produção.
4. Gerenciamento de throughput e dimensionamento dinâmico.