Visão Geral

Curso DP-3014 Implementing a Machine Learning solution with Azure Databricks. O Azure Databricks oferece um ambiente colaborativo onde cientistas e engenheiros de dados podem se integrar perfeitamente com ferramentas populares como Apache Spark™ para processamento de big data e MLflow para gerenciar o ciclo de vida de aprendizado de máquina de ponta a ponta

Objetivo

Após Realizar este Curso DP-3014 Implementing a Machine Learning solution with Azure Databricks você será capaz de:

• Comece a usar o Azure Databricks
• Identificar cargas de trabalho do Azure Databricks
• Entenda os principais conceitos
• Conheça o Spark
• Criar um cluster Spark
• Use o Spark em notebooks
• Use o Spark para trabalhar com arquivos de dados
• Visualizar dados
• Entenda os princípios do aprendizado de máquina
• Aprendizado de máquina no Azure Databricks
• Preparar dados para aprendizado de máquina
• Treine um modelo de aprendizado de máquina
• Avaliar um modelo de aprendizado de máquina
• Capacidades do MLflow
• Execute experimentos com MLflow
• Registre e atenda modelos com MLflow
• Otimize hiperparâmetros com Hyperopt
• Revisar os ensaios clínicos do Hyperopt
• Ensaios de escala Hyperopt
• O que é AutoML?
• Usar AutoML na interface do usuário do Azure Databricks
• Use o código para executar um experimento AutoML
• Entenda os conceitos de aprendizado profundo
• Modelos de trem com PyTorch
• Distribua o treinamento PyTorch com Horovod

Publico Alvo

• Profissionais de dados que buscam utilizar o Azure Databricks para ML
• Cientistas/engenheiros de dados que desejam aplicar fluxos de trabalho de ML
• Usuários do Azure buscam implementar soluções de ML escaláveis
• Profissionais se preparando para certificações do Azure Databricks
• Pessoal técnico interessado em combinar serviços do Azure com ML

Pre-Requisitos

• Compreensão fundamental do Azure
• Conhecimento básico de conceitos de aprendizado de máquina
• Experiência com programação Python
• Familiaridade com a plataforma Apache Spark e Databricks
• Exposição prévia ao processamento de dados e tarefas de ETL

Materiais

Conteúdo Programatico

Module 1: Explore Azure Databricks

Azure Databricks is a cloud service that provides a scalable platform for data analytics using Apache Spark.

• Introduction
• Get started with Azure Databricks
• Identify Azure Databricks workloads
• Understand key concepts
• Exercise - Explore Azure Databricks
• Knowledge check
• Summary

Module 2: Use Apache Spark in Azure Databricks

Azure Databricks is built on Apache Spark and enables data engineers and analysts to run Spark jobs to transform, analyze and visualize data at scale.

• Introduction
• Get to know Spark
• Create a Spark cluster
• Use Spark in notebooks
• Use Spark to work with data files
• Visualize data
• Exercise - Use Spark in Azure Databricks
• Knowledge check
• Summary

Module 3: Train a machine learning model in Azure Databricks

Machine learning involves using data to train a predictive model. Azure Databricks support multiple commonly used machine learning frameworks that you can use to train models.

• Introduction
• Understand principles of machine learning
• Machine learning in Azure Databricks
• Prepare data for machine learning
• Train a machine learning model
• Evaluate a machine learning model
• Exercise - Train a machine learning model in Azure Databricks
• Knowledge check
• Summary

Module 4: Use MLflow in Azure Databricks

MLflow is an open source platform for managing the machine learning lifecycle that is natively supported in Azure Databricks.

• Introduction
• Capabilities of MLflow
• Run experiments with MLflow
• Register and serve models with MLflow
• Exercise - Use MLflow in Azure Databricks
• Knowledge check
• Summary

Module 5: Tune hyperparameters in Azure Databricks

Tuning hyperparameters is an essential part of machine learning. In Azure Databricks, you can use the Hyperopt library to optimize hyperparameters automatically.

• Introduction
• Optimize hyperparameters with Hyperopt
• Review Hyperopt trials
• Scale Hyperopt trials
• Exercise - Optimize hyperparameters for machine learning in Azure Databricks
• Knowledge check
• Summary

Module 6: Use AutoML in Azure Databricks

AutoML in Azure Databricks simplifies the process of building an effective machine learning model for your data.

• Introduction
• What is AutoML?
• Use AutoML in the Azure Databricks user interface
• Use code to run an AutoML experiment
• Exercise - Use AutoML in Azure Databricks
• Knowledge check
• Summary

Module 7: Train deep learning models in Azure Databricks

Deep learning uses neural networks to train highly effective machine learning models for complex forecasting, computer vision, natural language processing, and other AI workloads.

• Introduction
• Understand deep learning concepts
• Train models with PyTorch
• Distribute PyTorch training with Horovod
• Exercise - Train deep learning models on Azure Databricks
• Knowledge check