Visão Geral

Curso Completo em Microsoft Fabric A Plataforma Unificada de Dados para a Era da IA. Este curso abrangente e prático foi projetado para engenheiros de dados, analistas de dados, cientistas de dados, arquitetos de BI, e profissionais de TI que buscam dominar a Microsoft Fabric, a nova plataforma unificada de dados e análises da Microsoft. Em um cenário onde a integração, escalabilidade e governança de dados são cruciais para impulsionar a Inteligência Artificial e a tomada de decisões, o Fabric centraliza as melhores capacidades do Azure Data Factory, Azure Synapse Analytics, Power BI e Data Explorer em um único ambiente SaaS (Software as a Service). Do ponto de vista técnico, você mergulhará em cada "experiência" do Fabric: Data Factory para integração, Synapse Data Engineering (notebooks Spark), Synapse Data Warehousing (Data Warehouse e Lakehouse), Synapse Data Science (MLOps), Synapse Real-Time Analytics (KQL), e Power BI para visualização e análise. Aprenderá a construir um Lakehouse como arquitetura central, usar OneLake para gerenciamento de dados unificado, e trabalhar com o formato Delta Lake. O curso será intensamente prático, com muitos hands-on na plataforma, simulando cenários reais de ponta a ponta, desde a ingestão de dados até a construção de modelos de IA e relatórios interativos.

Curso Completo em Microsoft Fabric A Plataforma Unificada de Dados para a Era da IA. , a Microsoft Fabric representa uma mudança de paradigma na forma como as empresas gerenciam e utilizam seus dados. A capacidade de unificar as diversas etapas do ciclo de vida dos dados — ingestão, transformação, armazenamento, análise e visualização — em uma única plataforma SaaS simplifica operações, reduz custos, acelera o tempo de valor e democratiza o acesso a insights para toda a organização. Profissionais que dominam o Fabric são essenciais e altamente valorizados no mercado, pois são capazes de construir infraestruturas de dados ágeis e escaláveis, impulsionar projetos de Big Data e IA, e capacitar a tomada de decisões estratégicas. Dominar o Microsoft Fabric posiciona você na vanguarda da engenharia e análise de dados, um diferencial competitivo para qualquer carreira em dados.

Objetivo

Ao final do Curso Completo em Microsoft Fabric A Plataforma Unificada de Dados para a Era da IA. você será capaz de:

• Compreender a arquitetura unificada do Microsoft Fabric e o papel de cada "experiência".
• Gerenciar e utilizar OneLake como a camada de armazenamento de dados centralizada.
• Construir e otimizar um Lakehouse utilizando o formato Delta Lake.
• Ingerir e transformar dados usando Data Factory (Data Pipelines e Dataflows Gen2).
• Realizar engenharia de dados com Synapse Data Engineering (notebooks Spark e Lakehouse).
• Projetar e implementar Data Warehouses (SQL Endpoints) dentro do Fabric.
• Explorar dados em tempo real e construir dashboards com Synapse Real-Time Analytics (KQL).
• Desenvolver e consumir modelos de Machine Learning usando Synapse Data Science.
• Criar relatórios e dashboards interativos com Power BI a partir de fontes do Fabric.
• Implementar governança e segurança de dados no ambiente Fabric.
• Entender a integração entre as diferentes experiências do Fabric para soluções de ponta a ponta.

Publico Alvo

• Engenheiros de Dados: Para construir pipelines, gerenciar o Lakehouse e integrar fontes de dados.
• Analistas de Dados e BI: Para criar modelos semânticos e relatórios no Power BI, e interagir com o Lakehouse.
• Cientistas de Dados: Para preparar dados, construir e treinar modelos de Machine Learning.
• Arquitetos de Dados: Para projetar soluções de dados escaláveis e governadas no Fabric.
• Profissionais de TI e Desenvolvedores: Interessados em modernizar suas habilidades em plataformas de dados.

Pre-Requisitos

• Conhecimento básico de SQL: Capacidade de escrever consultas SQL simples.
• Noções básicas de conceitos de dados: Bancos de dados, tabelas, colunas, tipos de dados.
• Familiaridade com conceitos de ETL/ELT: Entendimento de integração e transformação de dados.
• (Desejável) Conhecimento básico de Python ou Scala para notebooks Spark.
• (Desejável) Noções de Power BI ou outras ferramentas de visualização de dados.
• (Desejável) Conta Azure (para fins de acesso ao Fabric).

Materiais

Conteúdo Programatico

Módulo 1: Introdução ao Microsoft Fabric e OneLake (5 horas)

• 1.1. O Cenário da Análise de Dados e a Era da IA:
  • Desafios de dados em ambientes modernos (Big Data, Data Silos, Complexidade).
  • A necessidade de uma plataforma unificada de dados.
• 1.2. O Que é Microsoft Fabric? Visão Geral da Plataforma:
  • Arquitetura unificada SaaS (Software as a Service).
  • Visão geral das "experiências" do Fabric: Data Factory, Synapse Data Engineering, Synapse Data Warehousing, Synapse Data Science, Synapse Real-Time Analytics, Power BI, Data Activator.
  • Hands-on: Navegar pela interface do Fabric, entender o Workspace, itens e experiências.
• 1.3. OneLake: O "OneDrive para Dados":
  • Conceito de Data Lake unificado.
  • Atalhos (Shortcuts): Integrando dados de outras fontes (ADLS Gen2, AWS S3).
  • Governança e Segurança no OneLake.
  • Hands-on: Criar um workspace, entender o OneLake Explorer e criar alguns atalhos.
• 1.4. Lakehouse: A Nova Arquitetura Central no Fabric:
  • Por que Lakehouse é a arquitetura preferencial no Fabric.
  • Integração entre data lakes e data warehouses.
  • Formato Delta Lake: Acid transactions, Time Travel.
  • Hands-on: Criar um Lakehouse no Fabric e explorar sua estrutura de arquivos e tabelas.
• Prática: Criar um ambiente de trabalho no Fabric, explorar o OneLake, e criar um Lakehouse para ser a base dos módulos seguintes.

Módulo 2: Ingestão e Transformação de Dados com Data Factory (6 horas)

• 2.1. Data Pipelines no Microsoft Fabric (Data Factory):
  • Construindo pipelines de dados para orquestração de atividades.
  • Atividades comuns: Copy Data, Notebook, Dataflow, Stored Procedure, Web.
  • Monitoramento e agendamento de pipelines.
  • Hands-on: Criar um Data Pipeline para copiar dados de uma fonte externa (ex: Blob Storage, SQL Database) para o Lakehouse.
• 2.2. Dataflows Gen2: ETL Low-Code para Engenheiros de Dados:
  • Power Query Online no Fabric para transformação de dados.
  • Destino de dados direto para o Lakehouse.
  • Conectores e transformações avançadas.
  • Hands-on: Utilizar Dataflows Gen2 para ingerir e transformar dados de uma fonte semi-estruturada (ex: JSON/CSV) e carregá-los no Lakehouse.
• 2.3. Integração com Outras Fontes de Dados:
  • Conectores de dados disponíveis no Fabric.
  • Considerações para dados On-Premises (On-premises data gateway).
• Prática: Construir um pipeline de ingestão e transformação de dados utilizando Data Pipelines e Dataflows Gen2, alimentando tabelas no Lakehouse.

Módulo 3: Engenharia de Dados com Synapse Data Engineering (7 horas)

• 3.1. Introdução ao Apache Spark no Fabric:
  • Conceitos de Spark (DataFrame, Resilient Distributed Datasets - RDDs).
  • Linguagens suportadas: PySpark (Python), Scala.
  • Clusters Spark gerenciados no Fabric.
• 3.2. Notebooks Spark para Engenharia de Dados:
  • Ambiente de desenvolvimento de notebooks no Fabric.
  • Leitura e escrita de dados no Lakehouse (Delta Lake).
  • Transformações de dados com PySpark/Spark SQL.
  • Hands-on: Criar um notebook Spark, ler dados do Lakehouse, realizar transformações complexas e persistir o resultado em outra tabela Delta.
• 3.3. Spark Job Definitions:
  • Empacotando código Spark para execução agendada.
  • Integração com Data Pipelines para orquestração de jobs Spark.
• 3.4. Otimização de Performance no Spark:
  • Estratégias de particionamento, caching, shuffling.
  • Monitoramento de jobs Spark.
• Prática: Desenvolver notebooks Spark para realizar engenharia de dados avançada, transformando e enriquecendo os dados no Lakehouse. Orquestrar a execução via Data Pipelines.

Módulo 4: Data Warehousing e Análise em Tempo Real (7 horas)

• 4.1. Synapse Data Warehousing: SQL Endpoint e Data Warehouse:
  • O SQL Endpoint do Lakehouse para acesso SQL direto às tabelas Delta.
  • Criando e consultando views e stored procedures.
  • Diferenças entre SQL Endpoint e um Data Warehouse dedicado.
  • Hands-on: Acessar o SQL Endpoint do Lakehouse, criar views e executar consultas SQL complexas nas tabelas Delta.
• 4.2. Construindo um Data Warehouse (Dedicated SQL Pools):
  • Quando usar um Data Warehouse separado (para cargas de trabalho de BI de alta performance).
  • Modelagem de dados (Star Schema, Snowflake Schema).
  • Ingestão de dados no Data Warehouse.
  • Hands-on: Criar um Data Warehouse dedicado no Fabric e carregar dados do Lakehouse para ele.
• 4.3. Synapse Real-Time Analytics: Kusto Query Language (KQL):
  • Introdução ao KQL para análise de dados de streaming e logs.
  • Database KQL e Eventhouses.
  • Dashboards KQL.
  • Hands-on: Ingerir dados de streaming (simulados) em um Eventhouse e usar KQL para consultas e visualizações em tempo real.
• Prática: Utilizar o SQL Endpoint para análise ad-hoc. Modelar e carregar dados em um Data Warehouse. Explorar análise de dados em tempo real com KQL.

Módulo 5: Data Science, Power BI e Governança no Fabric (7 horas)

• 5.1. Synapse Data Science: Machine Learning no Fabric:
  • Integração com MLflow para MLOps.
  • Preparação de dados para modelos de ML.
  • Treinamento e registro de modelos.
  • Consumo de modelos (conceitual).
  • Hands-on: Utilizar um notebook Synapse Data Science para treinar um modelo de ML simples e registrá-lo.
• 5.2. Power BI no Fabric: Conectando Dados e Criando Relatórios:
  • Data Modelagem no Power BI (Direct Lake, Direct Query, Import).
  • Power BI Desktop e Power BI Service no Fabric.
  • Criação de Medidas (DAX) e relatórios interativos.
  • Hands-on: Conectar o Power BI Desktop ao Lakehouse/Data Warehouse do Fabric e criar um relatório interativo. Publicar o relatório no Fabric.
• 5.3. Monitoramento e Gerenciamento de Capacidade:
  • Monitorar o uso de recursos do Fabric.
  • Ajustar a capacidade para atender à demanda.
• 5.4. Governança e Segurança no Microsoft Fabric:
  • Segurança em OneLake, RLS (Row-Level Security), OLS (Object-Level Security).
  • Políticas de DLP (Data Loss Prevention) no Fabric (conceitual).
  • Microsoft Purview para governança de dados.
• 5.5. Cenários de Uso e Melhores Práticas:
  • Padrões de arquitetura comuns no Fabric.
  • Dicas para otimização de custos e performance.
• Prática: Construir um modelo de Machine Learning, criar um dashboard Power BI completo, e discutir as melhores práticas de governança e segurança na plataforma.