Visão Geral

O curso SQL Básico on Databricks tem como objetivo capacitar profissionais com conhecimentos essenciais em SQL e no ambiente Databricks, preparando-os para treinamentos mais avançados como o "Databricks SQL from the Experts". Através de uma abordagem prática e objetiva, os participantes aprenderão desde a sintaxe básica do SQL até a execução de consultas no ambiente Databricks SQL, utilizando notebooks, visualizações e painéis interativos.

Este Curso SQL Básico on Databricks é ideal como pré-requisito para nivelar a equipe tecnicamente, garantindo engajamento e compreensão sólida durante cursos especializados em engenharia e análise de dados no Databricks.

Este curso oferece uma introdução prática à linguagem SQL utilizando o ambiente Databricks. Além dos fundamentos da linguagem SQL, o aluno será introduzido ao conceito de processamento distribuído com Apache Spark, aprendendo como o SQL é utilizado dentro do Spark para consultas otimizadas em grandes volumes de dados.

Objetivo

Após realizar este curso SQL Básico on Databricks, você será capaz de:

• Compreender os fundamentos do SQL (DDL, DML, DQL)
• Compreender os fundamentos da linguagem SQL no contexto de big data.
• Criar e manipular tabelas no Databricks
• Utilizar o Databricks para escrever e executar consultas SQL.
• Executar consultas simples e intermediárias usando SQL
• Navegar pela interface Databricks SQL
• Criar notebooks, dashboards e visualizações
• Trabalhar com dados estruturados em ambientes de Lakehouse
• Aplicar conceitos básicos do Apache Spark para entender o processamento distribuído.
• Criar, manipular e consultar dados armazenados em tabelas Spark SQL.

Publico Alvo

• Profissionais de dados iniciantes
• Analistas de negócios e BI
• Desenvolvedores que atuarão com SQL no Databricks
• Times técnicos que participarão de treinamentos avançados Databricks
• Iniciantes em SQL que desejam usar a linguagem dentro de ambientes Big Data.
• Analistas de dados, engenheiros e cientistas de dados em início de jornada.
• Profissionais de TI que querem aprender como consultar dados no Databricks com SQL.

Pre-Requisitos

• Nenhum conhecimento prévio de SQL é necessário
• Desejável familiaridade com conceitos básicos de dados

Materiais

Conteúdo Programatico

Módulo 1 – Introdução ao Databricks e Apache Spark

1. O que é o Databricks e seu papel em ambientes de Big Data
2. Visão geral do Apache Spark
3. Engine de processamento distribuído
4. Diferenciação entre Spark e SGBDs tradicionais
5. Spark SQL: o SQL dentro do Apache Spark
6. Criando e navegando em workspaces no Databricks
7. Noções básicas de notebooks Databricks

Módulo 2 – Fundamentos do SQL no Databricks

1. O que é SQL?
2. Executando comandos SQL no notebook Databricks
3. Comando SELECT
4. Seleção de colunas
5. Uso de aliases
6. Comando WHERE
7. Filtros simples
8. Operadores lógicos: AND, OR, NOT
9. Comando ORDER BY
10. Ordenação ascendente e descendente

Módulo 3 – Operações de Agregação

1. Funções de agregação: COUNT, SUM, AVG, MIN, MAX
2. Agrupando dados com GROUP BY
3. Filtrando grupos com HAVING
4. Consultas de resumo em grandes volumes de dados com Spark SQL

Módulo 4 – Junções de Tabelas no Spark SQL

1. INNER JOIN, LEFT JOIN, RIGHT JOIN, FULL JOIN
2. Esquemas de tabelas no Databricks
3. Estratégias de otimização em joins com grandes volumes de dados
4. Usando aliases para simplificar joins

Módulo 5 – Criação e Manipulação de Tabelas

1. Criando tabelas no Databricks com SQL
2. Tabelas gerenciadas vs externas
3. Especificando esquemas
4. Inserindo dados (INSERT INTO)
5. Atualizando dados (UPDATE)
6. Excluindo dados (DELETE)
7. Carregando dados a partir de arquivos CSV/Parquet

Módulo 6 – Subconsultas, Views e CTEs

1. Subconsultas no SELECT e WHERE
2. Common Table Expressions (CTEs) com WITH
3. Criando e utilizando views no Databricks
4. Boas práticas para consultas reutilizáveis

Módulo 7 – Introdução à Otimização com Spark SQL

1. O que é o Catalyst Optimizer?
2. Como o Spark transforma SQL em planos de execução
3. Conceitos de Lazy Evaluation
4. Visualizando e interpretando planos de execução no Databricks

Módulo 8 – Projeto Final Prático

1. Desafio: análise de dados de vendas com SQL no Databricks
2. Criação de tabelas
3. Carregamento de dados
4. Execução de consultas com joins, agregações e filtros
5. Criação de uma view para relatório final
6. Apresentação das soluções