Visão Geral

Este curso aborda a implantação, operação e gerenciamento de Large Language Models (LLMs) Open Source em ambientes corporativos. O participante aprenderá a selecionar modelos adequados, preparar infraestrutura, realizar otimizações de desempenho, implementar arquiteturas de inferência escaláveis e operar soluções de IA Generativa utilizando modelos de código aberto. O curso explora tecnologias como Llama, Mistral, Qwen, Gemma, DeepSeek, vLLM, Ollama, Hugging Face, Kubernetes e plataformas de inferência modernas, com foco em ambientes de produção.

Objetivo

Após realizar este curso, você será capaz de:

• Compreender o ecossistema de modelos Open Source para IA Generativa
• Selecionar modelos adequados para diferentes cenários corporativos
• Implantar LLMs em ambientes locais, cloud e híbridos
• Configurar plataformas modernas de inferência para alta performance e escalabilidade
• Implementar observabilidade, segurança e governança em ambientes de produção
• Operar e otimizar soluções corporativas baseadas em LLMs Open Source

Publico Alvo

• Engenheiros de IA e Machine Learning
• Engenheiros MLOps e LLMOps
• Arquitetos de Soluções
• Administradores de Infraestrutura e Cloud
• Profissionais DevOps e Platform Engineering
• Desenvolvedores de aplicações baseadas em IA Generativa

Pre-Requisitos

• Conhecimentos básicos de Inteligência Artificial e Large Language Models
• Familiaridade com Linux e linha de comando
• Conhecimentos de containers e Kubernetes são recomendados
• Experiência com ambientes cloud ou infraestrutura corporativa é desejável

Conteúdo Programatico

Module 1: Introduction to Open Source LLMs

1. Evolution of open-source AI
2. Open-source versus proprietary models
3. Enterprise adoption drivers
4. Open-source AI ecosystem overview
5. Licensing considerations
6. Model selection strategies

Module 2: Overview of Modern Open Source LLMs

1. Llama family models
2. Mistral and Mixtral models
3. Qwen model ecosystem
4. Gemma models
5. DeepSeek models
6. Emerging open-source models

Module 3: Infrastructure Fundamentals for LLM Deployment

1. Compute requirements
2. GPU architectures and selection
3. CPU-based inference considerations
4. Memory planning strategies
5. Storage requirements
6. Networking fundamentals

Module 4: Model Acquisition and Management

1. Hugging Face ecosystem
2. Model repositories
3. Model versioning
4. Artifact management
5. Secure model distribution
6. Enterprise model governance

Module 5: Local and Single-Node Deployments

1. Ollama deployment architecture
2. LM Studio environments
3. Local inference workflows
4. Quantized model execution
5. Performance tuning
6. Resource optimization

Module 6: Production Inference Platforms

1. vLLM architecture
2. Text Generation Inference (TGI)
3. SGLang fundamentals
4. High-performance serving frameworks
5. Throughput optimization
6. Latency management

Module 7: Containerization and Kubernetes Deployment

1. Containerizing LLM workloads
2. Docker best practices
3. Kubernetes architecture
4. GPU scheduling
5. Scaling strategies
6. High-availability deployments

Module 8: Performance Optimization and Quantization

1. Model quantization strategies
2. GPTQ and AWQ implementations
3. Memory optimization
4. Throughput tuning
5. Cost-performance trade-offs
6. Hardware acceleration techniques

Module 9: Security and Governance

1. Secure model deployment
2. Identity and access management
3. API security controls
4. Data privacy considerations
5. AI governance requirements
6. Compliance and auditability

Module 10: Monitoring, Observability and LLMOps

1. LLM observability fundamentals
2. Metrics collection
3. Performance monitoring
4. Log management
5. Capacity planning
6. Operational excellence practices

Module 11: Enterprise Integration Architectures

1. API gateway integration
2. RAG integration patterns
3. Agent architectures
4. Multi-model routing
5. Hybrid AI environments
6. Enterprise architecture patterns

Module 12: Open Source LLM Deployment Workshop

1. Ollama deployment laboratory
2. vLLM production deployment exercises
3. Kubernetes deployment projects
4. Quantization and optimization activities
5. Monitoring and governance implementation
6. Final enterprise open-source LLM deployment project