Visão Geral

Implantação automatizada com pacotes de ativos do Databricks. Este curso fornece uma revisão abrangente dos princípios do DevOps e sua aplicação a projetos Databricks. Ele começa com uma visão geral do DevOps principal, DataOps, integração contínua (CI), implantação contínua (CD) e testes, e explora como esses princípios podem ser aplicados a pipelines de engenharia de dados.

O curso então se concentra na implantação contínua dentro do processo de CI/CD, examinando ferramentas como a API REST, SDK e CLI do Databricks para implantação de projeto. Você aprenderá sobre os Databricks Asset Bundles (DABs) e como eles se encaixam no processo de CI/CD. Você mergulhará em seus principais componentes, estrutura de pastas e como eles simplificam a implantação em vários ambientes de destino no Databricks. Você também aprenderá como adicionar variáveis, modificar, validar, implantar e executar Databricks Asset Bundles para vários ambientes com diferentes configurações usando o Databricks CLI.

Por fim, o curso apresenta o Visual Studio Code como um Ambiente de Desenvolvimento Interativo (IDE) para construir, testar e implantar Databricks Asset Bundles localmente, otimizando seu processo de desenvolvimento. O curso conclui com uma introdução à automação de pipelines de implantação usando GitHub Actions para aprimorar o fluxo de trabalho de CI/CD com Databricks Asset Bundles.

Ao final deste curso, você estará equipado para automatizar implantações de projetos do Databricks com Databricks Asset Bundles, melhorando a eficiência por meio de práticas de DevOps.

Materiais

Conteúdo Programatico

DevOps and CI/CD Review

1. DevOps Review
2. Continuous Integration and Continuous Deployment/Delivery (CI/CD) Review
3. Course Setup and Authentication

Deployment with Databricks Asset Bundles (DABs)

1. Deploying Databricks Projects
2. Introduction to Databricks Asset Bundles (DABs)
3. Deploying a Simple DAB
4. Deploy a Simple DAB
5. Variable Substitutions in DABs
6. Deploying a DAB to Multiple Environments
7. Deploy a DAB to Multiple Environments
8. DAB Project Templates Overview
9. Use a Databricks Default DAB Template
10. CI/CD Project Overview with DABs
11. Continuous Integration and Continuous Deployment with DABs
12. Adding ML to Engineering Workflows with DABs

Doing More with Databricks Asset Bundles

1. Developing Locally with Visual Studio Code (VSCode)
2. Using VSCode with Databricks
3. CI/CD Best Practices for Data Engineering
4. Next Steps: Automated Deployment with GitHub Actions