Visão Geral

Este curso aborda as principais técnicas de quantização utilizadas em Large Language Models (LLMs), modelos de Deep Learning e aplicações de Inteligência Artificial Generativa. O participante aprenderá como reduzir o consumo de memória, aumentar a velocidade de inferência e otimizar custos computacionais por meio da utilização de representações numéricas de menor precisão. O curso explora métodos como Post-Training Quantization (PTQ), Quantization-Aware Training (QAT), GPTQ, AWQ, GGUF, bitsandbytes e outras abordagens modernas utilizadas em ambientes corporativos e de produção.

Objetivo

Após realizar este curso, você será capaz de:

• Compreender os fundamentos matemáticos da quantização de modelos de IA
• Avaliar os impactos da quantização em desempenho, precisão e consumo de recursos
• Implementar diferentes técnicas de quantização em modelos de Deep Learning e LLMs
• Selecionar estratégias adequadas para cenários de inferência e produção
• Otimizar modelos para execução em ambientes com recursos limitados
• Implantar modelos quantizados de forma eficiente e segura em ambientes corporativos

Publico Alvo

• Engenheiros de Machine Learning
• Engenheiros de IA Generativa
• Cientistas de Dados
• Arquitetos de IA e soluções inteligentes
• Desenvolvedores de aplicações baseadas em LLMs
• Profissionais envolvidos em otimização e implantação de modelos de IA

Pre-Requisitos

• Conhecimentos de Machine Learning e Deep Learning
• Familiaridade com Python
• Conhecimentos básicos de Transformers e Large Language Models
• Noções de hardware, GPUs e inferência de modelos são recomendadas

Conteúdo Programatico

Module 1: Introduction to Model Quantization

1. Fundamentals of model optimization
2. Challenges of large-scale AI models
3. Quantization concepts and objectives
4. Benefits and trade-offs
5. Enterprise use cases
6. Quantization ecosystem overview

Module 2: Numerical Representations and Precision

1. Floating-point representations
2. FP32, FP16 and BF16 formats
3. Integer representations
4. Precision and accuracy concepts
5. Numerical stability considerations
6. Hardware implications

Module 3: Foundations of Quantization

1. Quantization theory
2. Scale and zero-point concepts
3. Uniform and non-uniform quantization
4. Static and dynamic quantization
5. Error analysis techniques
6. Quantization performance metrics

Module 4: Post-Training Quantization (PTQ)

1. PTQ fundamentals
2. Calibration datasets
3. Weight quantization
4. Activation quantization
5. Accuracy preservation strategies
6. PTQ implementation workflows

Module 5: Quantization-Aware Training (QAT)

1. QAT architecture
2. Simulated quantization during training
3. Training optimization strategies
4. Accuracy improvement techniques
5. Fine-tuning quantized models
6. QAT implementation practices

Module 6: Quantization for Large Language Models

1. LLM-specific quantization challenges
2. Memory optimization strategies
3. Quantization of transformer architectures
4. Attention layer considerations
5. Inference optimization
6. Enterprise deployment scenarios

Module 7: Modern Quantization Methods

1. GPTQ fundamentals
2. AWQ concepts
3. SmoothQuant techniques
4. Activation-aware quantization
5. Advanced quantization approaches
6. Comparative analysis of methods

Module 8: Low-Bit Quantization Techniques

1. INT8 quantization
2. INT4 quantization
3. 8-bit and 4-bit inference
4. Mixed-precision techniques
5. Extreme quantization approaches
6. Performance trade-offs

Module 9: Quantization Tooling and Frameworks

1. bitsandbytes overview
2. GGUF format fundamentals
3. Quantization libraries
4. Model conversion workflows
5. Open-source tooling ecosystem
6. Integration best practices

Module 10: Deployment and Performance Optimization

1. Quantized model serving
2. CPU and GPU optimization
3. Edge AI deployment
4. Throughput and latency tuning
5. Cost optimization strategies
6. Production readiness validation

Module 11: Governance, Security and Operational Considerations

1. AI governance requirements
2. Validation and quality controls
3. Model lifecycle management
4. Monitoring quantized models
5. Security considerations
6. Responsible AI practices

Module 12: Quantization Workshop

1. PTQ implementation exercises
2. QAT laboratory
3. GPTQ and AWQ experimentation
4. LLM quantization projects
5. Performance benchmarking activities
6. Final enterprise quantization optimization project