Visão Geral

Os desafios modernos de aprendizagem profunda aproveitam conjuntos de dados cada vez maiores e modelos mais complexos. Como resultado, é necessário um poder computacional significativo para treinar modelos de forma eficaz e eficiente. Aprender a distribuir dados entre várias GPUs durante o treinamento do modelo de aprendizado profundo torna possível uma riqueza incrível de novos aplicativos utilizando aprendizado profundo. Além disso, o uso eficaz de sistemas com múltiplas GPUs reduz o tempo de treinamento, permitindo um desenvolvimento de aplicativos mais rápido e ciclos de iteração muito mais rápidos. As equipes que conseguirem realizar treinamentos usando múltiplas GPUs terão uma vantagem, construindo modelos treinados com mais dados em períodos mais curtos e com maior produtividade do engenheiro.

Este curso ensina técnicas de treinamento de aprendizado profundo paralelo a dados em várias GPUs para reduzir o tempo de treinamento necessário para aplicativos com uso intensivo de dados. Trabalhando com ferramentas, estruturas e fluxos de trabalho de aprendizado profundo para realizar o treinamento de redes neurais, você aprenderá como diminuir o tempo de treinamento do modelo distribuindo dados para várias GPUs, mantendo a precisão do treinamento em uma única GPU.

Objetivo

Após concluir este Curso Data Parallelism: How to Train Deep Learning Models on Multiple GPUs Training, você será capaz de:

• Entenda como o treinamento de aprendizagem profunda paralela de dados é realizado usando várias GPUs
• Alcance o rendimento máximo durante o treinamento, para o melhor uso de múltiplas GPUs
• Distribua o treinamento para várias GPUs usando Pytorch Distributed Data Parallel
• Compreender e utilizar considerações algorítmicas específicas para desempenho e precisão de treinamento multi-GPU

Pre-Requisitos

• Experiência com treinamento de aprendizagem profunda usando Python

Materiais

Conteúdo Programatico

• Introduction
• Stochastic Gradient Descent and the Effects of Batch Size
• Training on Multiple GPUs with PyTorch Distributed Data Parallel (DDP)
• Maintaining Model Accuracy when Scaling to Multiple GPUs
• Workshop Assessment
• Final Review
• Next Steps