Visão Geral
Curso Completo em Microsoft Fabric A Plataforma Unificada de Dados para a Era da IA. Este curso abrangente e prático foi projetado para engenheiros de dados, analistas de dados, cientistas de dados, arquitetos de BI, e profissionais de TI que buscam dominar a Microsoft Fabric, a nova plataforma unificada de dados e análises da Microsoft. Em um cenário onde a integração, escalabilidade e governança de dados são cruciais para impulsionar a Inteligência Artificial e a tomada de decisões, o Fabric centraliza as melhores capacidades do Azure Data Factory, Azure Synapse Analytics, Power BI e Data Explorer em um único ambiente SaaS (Software as a Service). Do ponto de vista técnico, você mergulhará em cada "experiência" do Fabric: Data Factory para integração, Synapse Data Engineering (notebooks Spark), Synapse Data Warehousing (Data Warehouse e Lakehouse), Synapse Data Science (MLOps), Synapse Real-Time Analytics (KQL), e Power BI para visualização e análise. Aprenderá a construir um Lakehouse como arquitetura central, usar OneLake para gerenciamento de dados unificado, e trabalhar com o formato Delta Lake. O curso será intensamente prático, com muitos hands-on na plataforma, simulando cenários reais de ponta a ponta, desde a ingestão de dados até a construção de modelos de IA e relatórios interativos.
Curso Completo em Microsoft Fabric A Plataforma Unificada de Dados para a Era da IA. , a Microsoft Fabric representa uma mudança de paradigma na forma como as empresas gerenciam e utilizam seus dados. A capacidade de unificar as diversas etapas do ciclo de vida dos dados — ingestão, transformação, armazenamento, análise e visualização — em uma única plataforma SaaS simplifica operações, reduz custos, acelera o tempo de valor e democratiza o acesso a insights para toda a organização. Profissionais que dominam o Fabric são essenciais e altamente valorizados no mercado, pois são capazes de construir infraestruturas de dados ágeis e escaláveis, impulsionar projetos de Big Data e IA, e capacitar a tomada de decisões estratégicas. Dominar o Microsoft Fabric posiciona você na vanguarda da engenharia e análise de dados, um diferencial competitivo para qualquer carreira em dados.
Conteúdo Programatico
Módulo 1: Introdução ao Microsoft Fabric e OneLake (5 horas)
- 1.1. O Cenário da Análise de Dados e a Era da IA:
- Desafios de dados em ambientes modernos (Big Data, Data Silos, Complexidade).
- A necessidade de uma plataforma unificada de dados.
- 1.2. O Que é Microsoft Fabric? Visão Geral da Plataforma:
- Arquitetura unificada SaaS (Software as a Service).
- Visão geral das "experiências" do Fabric: Data Factory, Synapse Data Engineering, Synapse Data Warehousing, Synapse Data Science, Synapse Real-Time Analytics, Power BI, Data Activator.
- Hands-on: Navegar pela interface do Fabric, entender o Workspace, itens e experiências.
- 1.3. OneLake: O "OneDrive para Dados":
- Conceito de Data Lake unificado.
- Atalhos (Shortcuts): Integrando dados de outras fontes (ADLS Gen2, AWS S3).
- Governança e Segurança no OneLake.
- Hands-on: Criar um workspace, entender o OneLake Explorer e criar alguns atalhos.
- 1.4. Lakehouse: A Nova Arquitetura Central no Fabric:
- Por que Lakehouse é a arquitetura preferencial no Fabric.
- Integração entre data lakes e data warehouses.
- Formato Delta Lake: Acid transactions, Time Travel.
- Hands-on: Criar um Lakehouse no Fabric e explorar sua estrutura de arquivos e tabelas.
- Prática: Criar um ambiente de trabalho no Fabric, explorar o OneLake, e criar um Lakehouse para ser a base dos módulos seguintes.
Módulo 2: Ingestão e Transformação de Dados com Data Factory (6 horas)
- 2.1. Data Pipelines no Microsoft Fabric (Data Factory):
- Construindo pipelines de dados para orquestração de atividades.
- Atividades comuns: Copy Data, Notebook, Dataflow, Stored Procedure, Web.
- Monitoramento e agendamento de pipelines.
- Hands-on: Criar um Data Pipeline para copiar dados de uma fonte externa (ex: Blob Storage, SQL Database) para o Lakehouse.
- 2.2. Dataflows Gen2: ETL Low-Code para Engenheiros de Dados:
- Power Query Online no Fabric para transformação de dados.
- Destino de dados direto para o Lakehouse.
- Conectores e transformações avançadas.
- Hands-on: Utilizar Dataflows Gen2 para ingerir e transformar dados de uma fonte semi-estruturada (ex: JSON/CSV) e carregá-los no Lakehouse.
- 2.3. Integração com Outras Fontes de Dados:
- Conectores de dados disponíveis no Fabric.
- Considerações para dados On-Premises (On-premises data gateway).
- Prática: Construir um pipeline de ingestão e transformação de dados utilizando Data Pipelines e Dataflows Gen2, alimentando tabelas no Lakehouse.
Módulo 3: Engenharia de Dados com Synapse Data Engineering (7 horas)
- 3.1. Introdução ao Apache Spark no Fabric:
- Conceitos de Spark (DataFrame, Resilient Distributed Datasets - RDDs).
- Linguagens suportadas: PySpark (Python), Scala.
- Clusters Spark gerenciados no Fabric.
- 3.2. Notebooks Spark para Engenharia de Dados:
- Ambiente de desenvolvimento de notebooks no Fabric.
- Leitura e escrita de dados no Lakehouse (Delta Lake).
- Transformações de dados com PySpark/Spark SQL.
- Hands-on: Criar um notebook Spark, ler dados do Lakehouse, realizar transformações complexas e persistir o resultado em outra tabela Delta.
- 3.3. Spark Job Definitions:
- Empacotando código Spark para execução agendada.
- Integração com Data Pipelines para orquestração de jobs Spark.
- 3.4. Otimização de Performance no Spark:
- Estratégias de particionamento, caching, shuffling.
- Monitoramento de jobs Spark.
- Prática: Desenvolver notebooks Spark para realizar engenharia de dados avançada, transformando e enriquecendo os dados no Lakehouse. Orquestrar a execução via Data Pipelines.
Módulo 4: Data Warehousing e Análise em Tempo Real (7 horas)
- 4.1. Synapse Data Warehousing: SQL Endpoint e Data Warehouse:
- O SQL Endpoint do Lakehouse para acesso SQL direto às tabelas Delta.
- Criando e consultando views e stored procedures.
- Diferenças entre SQL Endpoint e um Data Warehouse dedicado.
- Hands-on: Acessar o SQL Endpoint do Lakehouse, criar views e executar consultas SQL complexas nas tabelas Delta.
- 4.2. Construindo um Data Warehouse (Dedicated SQL Pools):
- Quando usar um Data Warehouse separado (para cargas de trabalho de BI de alta performance).
- Modelagem de dados (Star Schema, Snowflake Schema).
- Ingestão de dados no Data Warehouse.
- Hands-on: Criar um Data Warehouse dedicado no Fabric e carregar dados do Lakehouse para ele.
- 4.3. Synapse Real-Time Analytics: Kusto Query Language (KQL):
- Introdução ao KQL para análise de dados de streaming e logs.
- Database KQL e Eventhouses.
- Dashboards KQL.
- Hands-on: Ingerir dados de streaming (simulados) em um Eventhouse e usar KQL para consultas e visualizações em tempo real.
- Prática: Utilizar o SQL Endpoint para análise ad-hoc. Modelar e carregar dados em um Data Warehouse. Explorar análise de dados em tempo real com KQL.
Módulo 5: Data Science, Power BI e Governança no Fabric (7 horas)
- 5.1. Synapse Data Science: Machine Learning no Fabric:
- Integração com MLflow para MLOps.
- Preparação de dados para modelos de ML.
- Treinamento e registro de modelos.
- Consumo de modelos (conceitual).
- Hands-on: Utilizar um notebook Synapse Data Science para treinar um modelo de ML simples e registrá-lo.
- 5.2. Power BI no Fabric: Conectando Dados e Criando Relatórios:
- Data Modelagem no Power BI (Direct Lake, Direct Query, Import).
- Power BI Desktop e Power BI Service no Fabric.
- Criação de Medidas (DAX) e relatórios interativos.
- Hands-on: Conectar o Power BI Desktop ao Lakehouse/Data Warehouse do Fabric e criar um relatório interativo. Publicar o relatório no Fabric.
- 5.3. Monitoramento e Gerenciamento de Capacidade:
- Monitorar o uso de recursos do Fabric.
- Ajustar a capacidade para atender à demanda.
- 5.4. Governança e Segurança no Microsoft Fabric:
- Segurança em OneLake, RLS (Row-Level Security), OLS (Object-Level Security).
- Políticas de DLP (Data Loss Prevention) no Fabric (conceitual).
- Microsoft Purview para governança de dados.
- 5.5. Cenários de Uso e Melhores Práticas:
- Padrões de arquitetura comuns no Fabric.
- Dicas para otimização de custos e performance.
- Prática: Construir um modelo de Machine Learning, criar um dashboard Power BI completo, e discutir as melhores práticas de governança e segurança na plataforma.