Visão Geral

Neste Curso DP-203 Data Engineering on Microsoft Azure Workshop, o aluno aprenderá sobre os padrões e práticas de engenharia de dados no que se refere ao trabalho com soluções analíticas em lote e em tempo real usando tecnologias da plataforma de dados Azure. Os participantes começarão compreendendo as principais tecnologias de computação e armazenamento usadas para construir uma solução analítica. Em seguida, eles explorarão como projetar camadas de serviço analítico e se concentrarão nas considerações de engenharia de dados para trabalhar com arquivos de origem. Os alunos aprenderão como explorar interativamente os dados armazenados em arquivos em um data lake. Eles aprenderão as diversas técnicas de ingestão que podem ser usadas para carregar dados usando o recurso Apache Spark encontrado no Azure Synapse Analytics ou no Azure Databricks, ou como ingerir usando o Azure Data Factory ou os pipelines do Azure Synapse.

Os participantes também aprenderão as diversas maneiras pelas quais podem transformar os dados usando as mesmas tecnologias usadas para ingerir dados. Os alunos passarão algum tempo no curso aprendendo como monitorar e analisar o desempenho do sistema analítico para que possam otimizar o desempenho das cargas de dados ou consultas emitidas nos sistemas. Eles compreenderão a importância de implementar segurança para garantir que os dados sejam protegidos em repouso ou em trânsito. Os participantes mostrarão então como os dados de um sistema analítico podem ser usados ​​para criar painéis ou construir modelos preditivos no Azure Synapse Analytics.

Objetivo

Após participar com êxito deste Curso DP-203 Data Engineering on Microsoft Azure Workshop, você será capaz de:

• Explore opções de computação e armazenamento para cargas de trabalho de engenharia de dados no Azure
• Projetar e implementar a camada de serviço
• Entenda as considerações de engenharia de dados
• Execute consultas interativas usando pools de SQL sem servidor
• Explore, transforme e carregue dados no Data Warehouse usando Apache Spark
• Execute a exploração e transformação de dados no Azure Databricks
• Ingerir e carregar dados no data warehouse
• Transforme dados com o Azure Data Factory ou Azure Synapse Pipelines
• Integrar dados de notebooks com o Azure Data Factory ou Azure Synapse Pipelines
• Otimize o desempenho da consulta com pools de SQL dedicados no Azure Synapse
• Analise e otimize o armazenamento de data warehouse
• Apoie o Processamento Analítico Transacional Híbrido (HTAP) com o Azure Synapse Link
• Execute a segurança de ponta a ponta com o Azure Synapse Analytics
• Execute o processamento de stream em tempo real com Stream Analytics
• Crie uma solução de processamento de stream com Event Hubs e Azure Databricks
• Crie relatórios usando a integração do Power BI com o Azure Synpase Analytics
• Execute processos integrados de aprendizado de máquina no Azure Synapse Analytics

Publico Alvo

O público principal deste curso são profissionais de dados, arquitetos de dados e profissionais de inteligência de negócios que desejam aprender sobre engenharia de dados e construção de soluções analíticas usando tecnologias de plataforma de dados existentes no Microsoft Azure. O público secundário deste curso são analistas de dados e cientistas de dados que trabalham com soluções analíticas construídas no Microsoft Azure.

Materiais

Conteúdo Programatico

• Module 1: Explore Compute and Storage Options for Data Engineering Workloads
• Module 2: Run Interactive Queries Using Azure Synapse Analytics Serverless SQL Pools
• Module 3: Data Exploration and Transformation in Azure Databricks
• Module 4: Explore, Transform, and Load Data into the Data Warehouse using Apache Spark
• Module 5: Ingest and Load Data into the Data Warehouse
• Module 6: Transform Data with Azure Data Factory or Azure Synapse Pipelines
• Module 7: Integrate Data from Notebooks with Azure Data Factory or Azure Synapse Pipelines
• Module 8: End-to-end Security with Azure Synapse Analytics
• Module 9: Support Hybrid Transactional Analytical Processing (HTAP) with Azure Synapse Link
• Module 10: Real-time Stream Processing with Stream Analytics
• Module 11: Create a Stream Processing Solution with Event Hubs and Azure Databricks