Visão Geral

Este curso explora em profundidade o funcionamento do algoritmo de Backpropagation aplicado às Redes Neurais Convolucionais (CNNs) e aos Transformers, abordando como o cálculo de gradientes se adapta a convoluções, mecanismos de atenção e arquiteturas profundas modernas. O foco está na compreensão matemática, no fluxo de gradientes em grafos computacionais complexos e nas implicações práticas para treinamento eficiente, estabilidade numérica e desempenho em tarefas de visão computacional, linguagem natural e modelos multimodais.

Objetivo

Após realizar este curso Backpropagation in CNNs and Transformers, você será capaz de:

• Explicar como o backpropagation opera em camadas convolucionais
• Derivar gradientes em convoluções, pooling e normalização
• Compreender o fluxo de gradientes em mecanismos de atenção
• Analisar o backpropagation em Transformers encoder e decoder
• Identificar gargalos computacionais e numéricos no treinamento
• Implementar e depurar backpropagation em CNNs e Transformers
• Avaliar impacto arquitetural no comportamento dos gradientes

Publico Alvo

•  
• Engenheiros de Machine Learning e Deep Learning
• Cientistas de dados com experiência prévia em redes neurais profundas
• Profissionais que trabalham com CNNs, Transformers ou modelos híbridos
• Pesquisadores e arquitetos de IA
• Desenvolvedores interessados nos detalhes internos do treinamento de modelos modernos
•  

Pre-Requisitos

•  
• Fundamentos sólidos de Backpropagation
• Conhecimento de Deep Neural Networks
• Álgebra linear e cálculo diferencial avançados
• Noções de CNNs e Transformers
• Programação em Python
•  

Materiais

Conteúdo Programatico

Module 1: Backpropagation Review and Computational Graphs

1. Computational graphs in deep learning
2. Automatic differentiation fundamentals
3. Reverse-mode differentiation
4. Gradient flow analysis

Module 2: Backpropagation in Convolutional Neural Networks

1. Convolution operation and parameter sharing
2. Gradient computation for convolutional filters
3. Backpropagation through stride and padding
4. Bias gradients in CNN layers

Module 3: Pooling and Normalization Layers

1. Backpropagation through max pooling
2. Average pooling gradients
3. Batch Normalization forward and backward pass
4. Layer and Group Normalization

Module 4: Deep CNN Architectures

1. Backpropagation in deep convolutional stacks
2. Residual connections and gradient flow
3. Skip connections and identity mappings
4. Gradient behavior in very deep CNNs

Module 5: Attention Mechanism Fundamentals

1. Scaled dot-product attention
2. Query, key and value projections
3. Softmax gradients
4. Attention weight backpropagation

Module 6: Backpropagation in Transformers

1. Transformer encoder backpropagation
2. Transformer decoder backpropagation
3. Multi-head attention gradients
4. Feedforward blocks and residual paths

Module 7: Positional Encoding and Embeddings

1. Gradient flow through embeddings
2. Learnable vs fixed positional encodings
3. Backpropagation in token representations
4. Stability considerations

Module 8: Optimization Challenges in CNNs and Transformers

1. Memory and computational complexity
2. Gradient checkpointing
3. Mixed precision training
4. Numerical stability in large models

Module 9: Practical Implementation and Debugging

1. Visualizing gradients in CNNs
2. Debugging attention-related gradient issues
3. Performance profiling
4. Case studies with real-world architectures