Visão Geral

Curso Apache Spark™ Programming with Databricks. Bem-vindo ao curso Apache Spark™ Programação com Databricks. Este Curso Apache Spark™ Programming with Databricks faz parte do caminho de aprendizagem Apache Spark™ Developer e foi desenvolvido para ajudá-lo a se preparar para o exame de certificação Apache Spark™ Developer. Observação: esta é a versão individualizada do curso Apache Spark™ Programming with Databricks ministrado por instrutor 

Neste Curso Apache Spark™ Programming with Databricks, você explorará os fundamentos do Apache Spark™ e Delta Lake no Databricks. Você aprenderá os componentes arquitetônicos do Spark, as APIs DataFrame e Structured Streaming e como Delta Lake pode melhorar seus pipelines de dados. Por fim, você executará consultas de streaming para processar dados de streaming e compreenderá as vantagens de usar Delta Lake.

Objetivo

Após realizar este Curso Apache Spark™ Programming with Databricks com êxito você será capaz de:

• Definir os componentes arquitetônicos do Spark
• Descrever como os DataFrames são transformados, executados e otimizados no Spark
• Aplique a API DataFrame para explorar, pré-processar, unir e ingerir dados no Spark
• Aplique a API de streaming estruturado para realizar análises de dados de streaming
• Use Delta Lake para melhorar a qualidade e o desempenho dos pipelines de dados

Pre-Requisitos

• Familiaridade com conceitos e comandos SQL simples como SELECT, FILTER, GROUPBY, JOIN, etc.
• Experiência de nível iniciante com programação Python ou Scala.

Materiais

Conteúdo Programatico

Apache Spark™ Programming with Databricks

1. About this Course
2. Course Logistics & Lab Environment
3. Summary and Next Steps

Databricks and Apache Spark

1. Introduction to Databricks and Apache Spark
2. Working in the Databricks Workspace
3. Explore Datasets Lab

Apache Spark Core

1. Introduction to Apache Spark Core
2. Spark SQL and the DataFrame API
3. Spark SQL Lab
4. DataFrameReader & DataFrameWriter
5. Ingesting Data Lab
6. DataFrame & Column
7. Purchase Revenues Lab

Functions in Apache Spark

1. Aggregation
2. Revenue by Traffic Lab
3. Datetimes
4. Active Users Lab
5. Complex Types
6. Complex Types Demo
7. Users Lab
8. Additional Functions
9. Additional Functions Demo
10. Abandoned Carts Lab
11. User-Defined Functions
12. User-Defined Functions Demo
13. Sort Day Lab

Apache Spark Architecture and Performance

1. Performance and Query Optimization
2. Memory Partitioning
3. Partitioning Demo
4. De-Duping Data Lab

Structured Streaming

1. Introduction to Structured Streaming
2. Streaming Queries Demo
3. Coupon Sales Lab
4. Hourly Activity by Traffic Lab
5. Activity by Traffic Lab
6. Streaming Aggregations

Delta Lake

1. Introduction to Delta Lake
2. Delta Lake Lab

Lab Walkthroughs

1. Explore Datasets Lab Walkthrough
2. Coupon Sales Lab Walkthrough
3. Hourly Activity by Traffic Lab Walkthrough
4. Delta Lake Lab Walkthrough