Visão Geral

Este Curso MLOps com Azure DevOps  Automação e Entrega Contínua de Modelos de ML, com 24 horas de duração, foi meticulosamente desenhado para Cientistas de Dados, Engenheiros de Machine Learning (ML), Engenheiros de DevOps e Arquitetos de Nuvem que procuram dominar as práticas de MLOps (Machine Learning Operations) utilizando a robusta plataforma Azure DevOps. Num mercado que exige a rápida e fiável implantação de modelos de ML em produção, a capacidade de automatizar o ciclo de vida do modelo é um diferencial crítico. Do ponto de vista técnico e prático, você aprenderá a configurar pipelines de CI/CD (Integração Contínua/Entrega Contínua) no Azure DevOps para automatizar desde a ingestão de dados e o treino do modelo até a sua implantação em serviços do Azure (como o Azure Kubernetes Service - AKS ou Azure Machine Learning Endpoints). O curso abordará o uso de ferramentas como Azure Pipelines, Azure Repos, e Azure Machine Learning Service para versionamento de código, gestão de artefactos, registo de modelos e monitorização de desempenho. O foco será na implementação de um pipeline MLOps de ponta a ponta, garantindo a rastreabilidade, repetibilidade e escalabilidade do seu processo de ML.

Objetivo

Ao final do Curso MLOps com Azure DevOps  Automação e Entrega Contínua de Modelos de ML, você será capaz de:

• Compreender e aplicar os princípios e o ciclo de vida de MLOps.
• Configurar o Azure DevOps (Azure Repos, Azure Pipelines) como a espinha dorsal do seu pipeline MLOps.
• Versionar código, dados e modelos para garantir a rastreabilidade e a repetibilidade.
• Criar pipelines de CI (Integração Contínua) para o treino e validação automatizada de modelos.
• Implementar pipelines de CD (Entrega Contínua) para a implantação automatizada em endpoints de inferência.
• Utilizar o Azure Machine Learning Service para gestão de workspaces, registo de modelos e endpoints.
• Aplicar o A/B Testing ou Deployment Canary para rollouts de modelos de forma segura.
• Configurar a monitorização de modelos em produção (deriva de dados, degradação de performance).

Publico Alvo

• Engenheiros de Machine Learning: Que querem migrar o código de ML para a produção automatizada.
• Engenheiros de DevOps: Que procuram aplicar os princípios de CI/CD a projetos de ML.
• Cientistas de Dados: Que necessitam de automatizar o treino e a implantação dos seus modelos.
• Arquitetos de Nuvem: Que projetam soluções de MLOps no ecossistema Microsoft Azure.

Pre-Requisitos

• Conhecimento sólido de Python: Experiência em programação e bibliotecas de ML (Scikit-learn, Pandas).
• Conhecimento básico de Machine Learning: Familiaridade com o treino, avaliação e deployment de modelos.
• Noções básicas de Azure: Familiaridade com o portal do Azure e serviços como Virtual Machines ou Storage Accounts.
• Noções de Git e Controlo de Versão: Essencial para o trabalho com Azure Repos.

Materiais

Conteúdo Programatico

Módulo 1: Introdução ao MLOps e Configuração do Azure Environment (6 horas)

1.1. Fundamentos de MLOps e Ciclo de Vida:

1. Diferença entre DevOps e MLOps.
2. Os 4 pilares de MLOps: Rastreabilidade, Automação, Validação e Monitorização.
3. Pipeline Típico de MLOps: Dados, Treino, Registo, Implantação.

1.2. Configuração do Azure Machine Learning Service:

1. Criação e gestão do Azure ML Workspace.
2. Computação Alvo (Compute Targets): Criação e configuração de Clusters de Computação para treino.
3. Azure Storage e Datastores (Conexão a dados).
4. Hands-on: Configurar um Azure ML Workspace e um Cluster de Computação.

1.3. Versionamento Essencial: Código e Dados:

1. Azure Repos: Estrutura de repositórios para código de scripts de treino e deployment.
2. Azure ML Datasets: Criação de Datasets versionados e imutáveis.
3. Hands-on: Integrar o código do projeto de ML no Azure Repos e registar um Dataset no Azure ML Workspace.

1.4. Contentorização com Docker e ACR:

1. O papel do Docker na criação de ambientes de runtime repetíveis.
2. Azure Container Registry (ACR): Armazenamento seguro de imagens Docker.
3. Hands-on: Criar um Dockerfile para o ambiente de treino e enviá-lo para o ACR.

Módulo 2: CI - Integração Contínua do Modelo (6 horas)

2.1. Introdução ao Azure Pipelines:

1. Conceitos de Pipelines: Agentes, Jobs, Stages e Tasks.
2. Sintaxe YAML para definição de pipelines.
3. Hands-on: Criar o seu primeiro pipeline YAML para construir um projeto Python simples.

2.2. Pipeline de Treino Automatizado (CI):

1. Definir o pipeline que dispara no commit de código.
2. Task de execução do script de treino no Azure ML Compute.
3. Passagem de parâmetros e variáveis de pipeline.
4. Hands-on: Construir um pipeline de CI que executa o script de treino de ML.

2.3. Validação e Registo de Modelos:

1. Task de Validação: Executar métricas de avaliação e testes de validade do modelo.
2. Registo do Modelo: Utilizar o Azure ML Model Registry para registar o modelo e as suas métricas.
3. Artefactos: Armazenar relatórios e logs como artefactos do pipeline.
4. Hands-on: Modificar o pipeline de CI para registar o modelo apenas se as métricas de performance excederem um limite.

2.4. Integração com Testes Unitários e de Dados:

1. Executar testes unitários do código de ML (Ex: pytest) como parte do pipeline de CI.
2. Testes de sanidade de dados (validação de esquema e intervalo de valores).
3. Hands-on: Adicionar uma fase de teste no pipeline YAML para garantir a qualidade do código.

Módulo 3: CD - Entrega Contínua e Implantação (6 horas)

3.1. Estratégias de Implantação de Modelos:

1. Implantação para inferência em Tempo Real vs. Batch Inferencing.
2. Escolha do Target de Implantação: Azure Kubernetes Service (AKS) vs. Managed Endpoints.

3.2. Pipeline de Deployment no Azure DevOps (CD):

1. Criar o pipeline de CD que dispara após o registo de um modelo validado.
2. Tasks para deployment de imagem Docker e configuração do Endpoint.
3. Hands-on: Criar o pipeline de CD para implantar o modelo como um Azure Machine Learning Managed Endpoint.

3.3. Testes de Implantação e Qualidade de Serviço:

1. Testes de integração pós-implantação (smoke tests): Enviar dados de amostra para o endpoint.
2. Testes de performance (Load Testing) para validar a latência e o throughput.
3. Hands-on: Adicionar uma task ao pipeline de CD para enviar uma requisição POST ao endpoint recém-implantado.

3.4. Rollout Seguro: A/B Testing e Canary Deployment:

1. Técnicas para implementar novos modelos sem interrupção (tráfego dividido).
2. Managed Endpoints para Traffic Splitting.
3. Hands-on: Configurar o endpoint para direcionar uma pequena percentagem de tráfego (ex: 10%) para a nova versão do modelo.

Módulo 4: Monitorização, Retreino e Governança (6 horas)

4.1. Monitorização de Modelos em Produção:

1. Application Insights e Azure Monitor: Captura de métricas de saúde e latência do endpoint.
2. Monitorização de Deriva de Dados (Data Drift): Detetar alterações nas características dos dados de entrada.
3. Hands-on: Configurar a monitorização básica do endpoint no Azure Portal e simular a leitura de logs.

4.2. MLOps para o Retreino e Drift:

1. Configurar Gatilhos (Triggers) para o pipeline de retreino (ex: Agendamento semanal ou trigger por deriva de dados).
2. Gestão de versões de model-in-production e rollback automatizado.
3. Hands-on: (Discussão/Desenho) Desenhar a lógica para um pipeline que se reinicia quando o alerta de Data Drift é acionado.

4.3. Governança e Rastreabilidade (ML Lineage):

1. Utilização de Azure ML Experiments para rastrear execuções.
2. ML Metadata: Garantir que o modelo, os dados de treino e o código estão ligados e rastreáveis.
3. Hands-on: Revisar os metadados de um modelo registado, verificando o ID da execução e o dataset de treino.

4.4. Projeto Final Integrador:

1. Desafio: Implementar um pipeline MLOps de ponta a ponta (CI/CD) para um modelo de ML simples, desde o código no Azure Repos até um Managed Endpoint com smoke test e monitorização básica.
2. Apresentação e Q&A: Apresentação dos pipelines e discussão de best practices.

Pronto para transformar a forma como a sua equipa entrega Machine Learning em escala e com confiança?