Visão Geral

O curso DP-3028: Implement Generative AI Engineering with Azure Databricks foi estruturado para capacitar profissionais na construção, avaliação e operacionalização de soluções de Inteligência Artificial Generativa utilizando o ambiente do Azure Databricks, integrado aos serviços de IA da Microsoft.

Sob uma perspectiva comercial, este treinamento atende empresas que buscam acelerar a adoção de IA generativa de forma prática e segura, capacitando suas equipes para desenvolver aplicações modernas como assistentes inteligentes, motores de busca semântica e soluções baseadas em linguagem natural. A formação proporciona ganho de produtividade, inovação e redução de custos ao automatizar tarefas complexas com uso de LLMs.

Do ponto de vista técnico, o curso aborda desde os fundamentos de modelos de linguagem até a implementação de arquiteturas avançadas como RAG (Retrieval-Augmented Generation), raciocínio multiestágio e fine-tuning de modelos. Além disso, explora práticas modernas de avaliação de modelos, LLMOps, governança e Responsible AI, preparando o profissional para atuar em ambientes corporativos com soluções escaláveis e seguras.

Ao final, o participante estará apto a projetar, implementar, avaliar e operacionalizar aplicações de IA generativa completas dentro do ecossistema Azure.

Objetivo

Após realizar este curso DP-3028: Implement Generative AI Engineering with Azure Databricks, você será capaz de:

• Compreender os fundamentos de IA generativa e LLMs
• Implementar soluções com Azure Databricks
• Construir pipelines com RAG
• Aplicar técnicas de raciocínio multiestágio
• Realizar fine-tuning de modelos de linguagem
• Avaliar modelos de IA generativa
• Aplicar princípios de Responsible AI
• Implementar LLMOps com MLflow e Unity Catalog

Publico Alvo

• Engenheiros de dados
  Cientistas de dados
  Engenheiros de Machine Learning
  Desenvolvedores Python
  Arquitetos de soluções em nuvem
  Profissionais que atuam com IA generativa

Pre-Requisitos

• Conhecimento básico de Python
  Fundamentos de Machine Learning
  Noções de manipulação de dados
  Conhecimento básico de cloud (Azure desejável)
  Familiaridade com APIs e conceitos de IA

Materiais

Conteúdo Programatico

Module 1: Get started with language models in Azure Databricks

1. Describe Generative AI
2. Describe Large Language Models (LLMs)
3. Identify key components of LLM applications
4. Use LLMs for Natural Language Processing (NLP) tasks
5. Lab: Explore language models

Module 2: Implement Retrieval Augmented Generation (RAG) with Azure Databricks

1. Set up a RAG workflow
2. Prepare your data for RAG
3. Retrieve relevant documents with vector search
4. Improve model accuracy by reranking your search results
5. Lab: Set up RAG

Module 3: Implement multi-stage reasoning in Azure Databricks

1. Identify the need for multi-stage reasoning systems
2. Describe a multi-stage reasoning workflow
3. Implement multi-stage reasoning with libraries like LangChain, LlamaIndex, Haystack, and the DSPy framework
4. Lab: Implement multi-stage reasoning with LangChain

Module 4: Fine-tune language models with Azure Databricks

1. Understand when to use fine-tuning
2. Prepare your data for fine-tuning
3. Fine-tune an Azure OpenAI model
4. Lab: Fine-tune an Azure OpenAI model

Module 5: Evaluate language models with Azure Databricks

1. Compare LLM and traditional ML evaluations
2. Describe the relationship between LLM evaluation and evaluation of entire AI systems
3. Describe generic LLM evaluation metrics like accuracy, perplexity, and toxicity
4. Describe LLM-as-a-judge for evaluation
5. Lab: Evaluate an Azure OpenAI model

Module 6: Review responsible AI principles for language models in Azure Databricks

1. Describe the responsible AI principles for implementation of language models
2. Identify the ethical considerations for language models
3. Mitigate the risks associated with language models
4. Implement key security tooling for language models
5. Lab: Implement responsible AI

Module 7: Implement LLMOps in Azure Databricks

1. Describe the LLM lifecycle overview
2. Identify the model deployment option that best fits your needs
3. Use MLflow and Unity Catalog to implement LLMOps
4. Lab: Implement LLMOps