Visão Geral

O curso AWS Data Collection and Storage aborda os principais serviços e práticas da Amazon Web Services (AWS) voltados para a coleta, ingestão e armazenamento de dados em escala. O participante aprenderá a projetar pipelines de ingestão de dados em tempo real e em lote, escolher o serviço de armazenamento ideal (S3, DynamoDB, Redshift, etc.) e aplicar boas práticas de segurança, desempenho e governança de dados.

Objetivo

Após realizar este curso AWS Data Collection and Storage, você será capaz de:

• Coletar e ingerir dados de múltiplas fontes usando serviços AWS.
• Projetar pipelines de ingestão em tempo real e em lote.
• Escolher e configurar o serviço de armazenamento ideal conforme o tipo e volume de dados.
• Aplicar políticas de segurança, governança e otimização de custo em ambientes de dados.

Publico Alvo

•  
• Engenheiros e analistas de dados que trabalham com ingestão e armazenamento na nuvem.
• Desenvolvedores que criam aplicações baseadas em dados utilizando serviços AWS.
• Profissionais de TI e arquitetos de soluções que buscam otimizar a infraestrutura de dados.
•  

Pre-Requisitos

•  
• Conhecimento básico de computação em nuvem e AWS.
• Familiaridade com conceitos de bancos de dados e integração de dados.
• Noções de Python ou SQL são recomendadas.
•  

Materiais

Conteúdo Programatico

Module 1: Introduction to AWS Data Services

1. Overview of AWS data ecosystem
2. Key concepts in data ingestion and storage
3. Batch vs. streaming data collection

Module 2: Data Ingestion Fundamentals

1. Ingesting structured and unstructured data
2. Working with APIs, logs, and IoT data sources
3. Using AWS SDKs and CLI for data ingestion

Module 3: Real-Time Data Collection

1. Introduction to Amazon Kinesis Data Streams and Firehose
2. Building streaming ingestion pipelines
3. Integrating Kinesis with Lambda and S3

Module 4: Batch Data Collection

1. Using AWS Data Pipeline and AWS Glue for batch ingestion
2. Scheduling and automating data collection jobs
3. ETL workflows for batch processing

Module 5: Storage Services Overview

1. Object storage with Amazon S3
2. Relational storage with Amazon RDS
3. NoSQL storage with Amazon DynamoDB
4. Data warehousing with Amazon Redshift

Module 6: Data Organization and Management

1. Designing efficient data lake structures
2. Managing metadata with AWS Glue Data Catalog
3. Data partitioning and lifecycle management

Module 7: Security and Compliance

1. IAM roles and permissions for data access
2. Encryption at rest and in transit
3. Data governance and compliance best practices

Module 8: Monitoring and Optimization

1. Monitoring ingestion and storage with CloudWatch
2. Managing costs and optimizing data storage tiers
3. Troubleshooting and performance tuning

Module 9: Case Studies and Best Practices

1. Common architectures for data collection and storage
2. Real-world examples and reference designs
3. Best practices for scalable and secure data pipelines