Visão Geral

O Curso Databricks DevOps for Pipelines foi desenvolvido para profissionais que desejam integrar práticas DevOps em seus fluxos de trabalho de dados usando a plataforma Databricks. Ao longo do curso, os participantes aprenderão a construir, testar, automatizar e gerenciar pipelines de dados com foco em integração contínua (CI), entrega contínua (CD), automação com APIs e controle de versões com ferramentas como Git, Azure DevOps e GitHub Actions.

Objetivo

Após realizar este Curso Databricks DevOps for Pipelines, você será capaz de:

• Implementar práticas DevOps em projetos Databricks
• Criar pipelines de dados com integração contínua e entrega contínua
• Automatizar testes e deploys em notebooks Databricks
• Utilizar APIs e ferramentas CLI para gerenciar recursos no ambiente Databricks
• Controlar versões e integrar com Git, GitHub Actions ou Azure DevOps

Publico Alvo

• Engenheiros de Dados e Machine Learning
• Cientistas de Dados
• Engenheiros DevOps
• Arquitetos de Dados
• Profissionais que trabalham com Databricks e desejam aplicar práticas DevOps
• Equipes técnicas que desejam automatizar fluxos de dados em ambientes colaborativos

Pre-Requisitos

• Conhecimentos básicos em Databricks
• Experiência com pipelines de dados e notebooks
• Noções básicas de Git, CI/CD e DevOps
• Familiaridade com Python ou Scala (desejável)

Conteúdo Programatico

Módulo 1 – Introdução ao Databricks com foco em DevOps

1. Visão geral do Databricks para pipelines
2. Arquitetura orientada a automação
3. Princípios DevOps aplicados a DataOps e MLOps

Módulo 2 – Versionamento de Código e Integração com Git

1. Integração de Databricks com GitHub, GitLab e Azure Repos
2. Branches, pull requests e merge em projetos de dados
3. Organização de projetos com notebooks versionados

Módulo 3 – Automatizando com Databricks CLI e REST API

1. Instalação e configuração do Databricks CLI
2. Uso da REST API para deploy de notebooks, jobs e clusters
3. Scripts de automação para CI/CD

Módulo 4 – CI/CD com GitHub Actions e Azure DevOps

1. Estrutura de pipelines YAML para Databricks
2. Execução de testes automatizados em notebooks
3. Deploy automatizado de notebooks e jobs em múltiplos workspaces
4. Integração com workflows externos

Módulo 5 – Testes e Qualidade de Código

1. Estruturação de testes unitários em notebooks
2. Frameworks de teste para Python e Scala
3. Validação de dados em pipelines

Módulo 6 – Gerenciamento de Ambientes e Deploys

1. Estratégias de deploy por ambiente (dev, staging, prod)
2. Gerenciamento de configurações com notebooks parametrizados
3. Controle de acesso e permissões para automação

Módulo 7 – Monitoramento e Observabilidade

1. Logs, métricas e alertas para pipelines Databricks
2. Integração com ferramentas de monitoramento
3. Estratégias de troubleshooting em ambientes automatizados

Módulo 8 – Projeto Final

1. Implementação completa de um pipeline DevOps com Databricks
2. Versionamento, testes e deploy automatizado
3. Apresentação e validação dos resultados