Visão Geral

O curso Modern Data Platform Architecture aborda o design e a implementação de plataformas modernas de dados capazes de suportar analytics avançado, inteligência artificial e aplicações orientadas a dados. Durante o treinamento, os participantes aprenderão a projetar arquiteturas escaláveis e resilientes utilizando tecnologias modernas de ingestão, processamento, armazenamento e governança de dados. O curso explora conceitos como Data Lakes, Data Warehouses, Lakehouse, pipelines de dados, processamento em batch e streaming, além da integração de tecnologias do ecossistema de Big Data e Cloud. Serão analisadas arquiteturas baseadas em ferramentas amplamente utilizadas como Apache Kafka, Apache Spark, Apache Airflow, Apache Hadoop e plataformas modernas como Databricks.

Objetivo

Após realizar este curso Modern Data Platform Architecture, você será capaz de:

• Compreender os fundamentos das plataformas modernas de dados
• Projetar arquiteturas escaláveis para ingestão, processamento e armazenamento de dados
• Implementar pipelines de dados batch e streaming
• Construir arquiteturas Data Lake e Lakehouse
• Integrar diferentes tecnologias do ecossistema Big Data
• Aplicar práticas de governança, qualidade e segurança de dados
• Projetar plataformas de dados para analytics e inteligência artificial
• Planejar arquiteturas de dados em ambientes cloud

Publico Alvo

• Arquitetos de dados
• Engenheiros de dados
• Arquitetos de soluções
• Profissionais de Big Data
• Profissionais de BI e Analytics
• Engenheiros de DevOps e DataOps
• Especialistas em plataformas de dados

Pre-Requisitos

• Conhecimentos básicos de bancos de dados
• Noções de Big Data e Data Warehousing
• Conhecimentos básicos de cloud computing
• Familiaridade com SQL
• Noções de pipelines de dados são desejáveis

Materiais

Conteúdo Programatico

Module 1: Modern Data Platform Fundamentals

1. Evolution of Data Platforms
2. Traditional Data Warehouses vs Modern Data Platforms
3. Key Components of Modern Data Architectures
4. Data Platform Design Principles
5. Data Platform Use Cases

Module 2: Data Ingestion Architecture

1. Batch Data Ingestion
2. Real-Time Data Ingestion
3. Streaming Data Architectures
4. Change Data Capture (CDC)
5. Data Integration Patterns

Module 3: Data Storage Architectures

1. Data Lakes Concepts
2. Data Warehouse Architecture
3. Data Lakehouse Architecture
4. Object Storage Systems
5. Data Partitioning and Optimization

Module 4: Data Processing Frameworks

1. Batch Processing Architecture
2. Stream Processing Architecture
3. Distributed Data Processing
4. Data Transformation Pipelines
5. Data Processing Performance Optimization

Module 5: Data Orchestration and Pipeline Automation

1. Workflow Orchestration Concepts
2. Data Pipeline Scheduling
3. Dependency Management
4. Workflow Monitoring
5. Error Handling in Data Pipelines

Module 6: Data Streaming Platforms

1. Event-Driven Architectures
2. Streaming Data Pipelines
3. Event Streaming Patterns
4. Message Brokers and Event Platforms
5. Real-Time Analytics Architecture

Module 7: Data Governance and Data Quality

1. Data Governance Frameworks
2. Metadata Management
3. Data Catalogs
4. Data Lineage
5. Data Quality Monitoring

Module 8: Security and Compliance in Data Platforms

1. Data Security Architecture
2. Access Control and Identity Management
3. Encryption and Data Protection
4. Regulatory Compliance
5. Data Privacy

Module 9: Cloud Data Platforms

1. Cloud-Native Data Architectures
2. Multi-Cloud Data Platforms
3. Managed Data Services
4. Scalability and Elasticity
5. Cost Optimization Strategies

Module 10: Modern Analytics and AI Integration

1. Data Platforms for Machine Learning
2. Feature Engineering Pipelines
3. Real-Time Analytics Platforms
4. Data Platform for AI Workloads
5. Future Trends in Data Platforms