Visão Geral

Curso Amazon Kinesis - Processamento e Ingestão de Dados em Tempo Real - O Amazon Kinesis é uma plataforma totalmente gerenciada da AWS que permite coletar, processar e analisar fluxos de dados em tempo real em grande escala. Neste curso, os alunos aprenderão a utilizar o Amazon Kinesis para construir aplicações de streaming de dados, além de configurar pipelines de dados em tempo real. O curso abordará tópicos como Kinesis Data Streams, Kinesis Data Firehose, Kinesis Data Analytics e sua integração com outras ferramentas da AWS.

Objetivo

Após realizar este curso Amazon Kinesis - Processamento e Ingestão de Dados em Tempo Real, você será capaz de:

• Compreender a arquitetura do Amazon Kinesis e seus componentes.
• Configurar e gerenciar fluxos de dados com Kinesis Data Streams.
• Processar e analisar dados em tempo real com Kinesis Data Analytics.
• Utilizar o Kinesis Data Firehose para enviar dados para destinos como S3, Redshift e Elasticsearch.
• Integrar o Kinesis com outras ferramentas da AWS para criar pipelines de dados robustos.

Publico Alvo

• Engenheiros de dados.
• Desenvolvedores de software.
• Arquitetos de soluções de dados.
• Profissionais de DevOps.
• Administradores de sistemas que trabalham com dados em tempo real.

Pre-Requisitos

• Conhecimentos básicos de serviços da AWS.
• Experiência com processamento de dados e sistemas de mensageria.
• Familiaridade com linguagens de programação como Python, Java ou Node.js.

Materiais

Conteúdo Programatico

Módulo 1: Introdução ao Amazon Kinesis

1. O que é Amazon Kinesis?
2. Casos de uso para processamento de dados em tempo real.
3. Comparação entre Kinesis e outras soluções de streaming (Apache Kafka, AWS SQS).
4. Arquitetura de Kinesis e principais serviços (Kinesis Data Streams, Kinesis Data Firehose, Kinesis Data Analytics).

Módulo 2: Configuração de Kinesis Data Streams

1. Criando fluxos de dados com o Kinesis Data Streams.
2. Partições e shards: como distribuir dados.
3. Enviando dados para o Kinesis: produtores e consumidores.
4. Uso de SDKs e APIs para enviar dados com diferentes linguagens (Python, Java, Node.js).

Módulo 3: Processamento em Tempo Real com Kinesis Data Analytics

1. O que é o Kinesis Data Analytics?
2. Criando consultas SQL para processar dados em tempo real.
3. Análise de fluxo de dados com agregações e janelas deslizantes.
4. Integração do Kinesis Data Analytics com Kinesis Data Streams.

Módulo 4: Entrega de Dados com Kinesis Data Firehose

1. Configuração do Kinesis Data Firehose para entrega de dados.
2. Integrando o Firehose com Amazon S3, Redshift, Elasticsearch e Splunk.
3. Transformação de dados em trânsito com AWS Lambda.
4. Monitoramento e ajuste do throughput do Kinesis Data Firehose.

Módulo 5: Escalabilidade e Tolerância a Falhas

1. Estratégias de escalabilidade horizontal com shards adicionais.
2. Gerenciamento de partições e balanceamento de carga.
3. Garantindo alta disponibilidade e recuperação de falhas.
4. Configurando alarmes e métricas com o Amazon CloudWatch.

Módulo 6: Monitoramento e Segurança no Amazon Kinesis

1. Monitoramento com CloudWatch: latência, throughput e erros.
2. Configuração de alarmes para fluxos de dados.
3. Gerenciamento de segurança: criptografia de dados em trânsito e em repouso.
4. Controle de acesso com IAM (Identity and Access Management).

Módulo 7: Integração com Outros Serviços AWS

1. Integrando Kinesis com AWS Lambda para processamento sem servidor.
2. Uso de Kinesis com Amazon EMR e Apache Spark.
3. Integração com o Amazon DynamoDB e AWS Glue para ETL.
4. Pipeline de dados com Kinesis e Amazon Machine Learning.

Módulo 8: Comparação entre Kinesis e Outras Soluções

1. Comparação entre Amazon Kinesis e Apache Kafka.
2. Quando escolher o Kinesis em vez de SQS ou SNS?
3. Diferenças de custo, desempenho e complexidade entre Kinesis e alternativas.
4. Casos de uso de sucesso no mercado.

Módulo 9: Projeto Final

1. Configuração de um pipeline de dados em tempo real com Kinesis Data Streams.
2. Integração com Kinesis Data Firehose para entrega de dados em múltiplos destinos.
3. Processamento e análise de dados em tempo real com Kinesis Data Analytics.
4. Monitoramento e otimização do pipeline de dados.