Visão Geral

O curso Google Cloud Platform Fundamentals: Big Data & Machine Learning apresenta os principais conceitos, serviços e recursos do Google Cloud utilizados para ingestão, processamento, armazenamento, análise e utilização de dados em grande escala, bem como os fundamentos de Machine Learning e Inteligência Artificial aplicados ao ambiente Google Cloud.

O treinamento apresenta o ciclo de vida dos dados, desde a ingestão e processamento até a análise e construção de modelos de Machine Learning. Os participantes conhecerão serviços como BigQuery, Cloud Storage, Pub/Sub, Dataflow, Dataproc e Vertex AI, compreendendo suas funções e os principais cenários de utilização.

O curso também aborda arquiteturas de processamento batch e streaming, análise de grandes volumes de dados, criação de modelos de Machine Learning a partir de dados estruturados, utilização de modelos pré-treinados e aplicação de Machine Learning a dados não estruturados, incluindo texto e imagens.

Objetivo

Após realizar este curso Google Cloud Platform Fundamentals: Big Data & Machine Learning, você será capaz de:

• Compreender o ecossistema de Big Data e Machine Learning do Google Cloud
• Compreender o ciclo de vida dos dados no Google Cloud
• Identificar os principais serviços de Big Data disponíveis na plataforma
• Compreender arquiteturas de processamento de dados
• Diferenciar processamento batch e streaming
• Utilizar Pub/Sub para ingestão de dados
• Compreender o funcionamento do Dataflow
• Desenvolver conceitos básicos de pipelines de dados
• Utilizar BigQuery para análise de grandes volumes de dados
• Compreender a arquitetura e os recursos do BigQuery
• Utilizar BigQuery ML para criação de modelos de Machine Learning
• Compreender os fundamentos de Machine Learning
• Identificar features, labels e datasets de treinamento
• Compreender diferentes opções para desenvolvimento de modelos de Machine Learning
• Utilizar Vertex AI em um fluxo básico de Machine Learning
• Compreender o uso de modelos pré-treinados
• Aplicar conceitos de Machine Learning a dados estruturados e não estruturados
• Compreender aplicações de Natural Language Processing
• Compreender aplicações de reconhecimento e classificação de imagens
• Criar uma solução básica de dados e Machine Learning no Google Cloud

Publico Alvo

• Data Analysts
• Data Engineers
• Data Scientists
• Profissionais de Business Intelligence
• Desenvolvedores
• Profissionais de TI
• Profissionais de Cloud Computing
• Profissionais que trabalham com dados e bancos de dados
• Profissionais que desejam iniciar sua atuação com Big Data e Machine Learning no Google Cloud

Pre-Requisitos

Não há pré-requisitos técnicos obrigatórios.

É recomendável possuir:

• Conhecimentos básicos de Tecnologia da Informação
• Conhecimentos básicos de Cloud Computing
• Familiaridade com dados e bancos de dados
• Conhecimentos básicos de conceitos de análise de dados

A página de referência indica como conhecimento recomendado conceitos básicos de TI e familiaridade com dados e bancos de dados.

Materiais

Conteúdo Programatico

Module 1: Introduction to Google Cloud Big Data and Machine Learning

1. Introdução ao Big Data no Google Cloud
2. Introdução ao Machine Learning
3. O ciclo de vida Data-to-AI
4. Principais desafios de processamento de grandes volumes de dados
5. Arquiteturas modernas de dados
6. Principais serviços de Big Data do Google Cloud
7. Principais serviços de Machine Learning
8. Google Cloud Storage
9. BigQuery
10. Pub/Sub
11. Dataflow
12. Dataproc
13. Vertex AI
14. Integração entre serviços de dados e Machine Learning

Module 2: Product Recommendations with Cloud SQL, Spark and Dataproc

1. Fundamentos de sistemas de recomendação
2. Conceitos de modelos de recomendação
3. Dados utilizados em sistemas de recomendação
4. Processamento de dados com Apache Spark
5. Google Cloud Dataproc
6. Hadoop e Spark no ambiente Google Cloud
7. Processamento distribuído
8. Armazenamento de dados fora do cluster
9. Cloud Storage como camada de armazenamento
10. Integração entre processamento e armazenamento
11. Construção de um fluxo básico de recomendação
12. Lab: Processamento de dados com Spark e Dataproc

Module 3: Predicting Visitor Purchases with BigQuery ML

1. Fundamentos de análise de Big Data
2. Google BigQuery
3. Arquitetura do BigQuery
4. Datasets e tables
5. Ingestão e preparação de dados
6. Consultas analíticas em grande escala
7. Fundamentos de Machine Learning
8. Features
9. Labels
10. Training data
11. Dados de treinamento e validação
12. Modelos de Machine Learning para dados estruturados
13. BigQuery ML
14. Criação de modelos de Machine Learning diretamente no BigQuery
15. Avaliação de modelos
16. Predições
17. Lab: Construção de um modelo utilizando BigQuery ML

Module 4: Real-Time Data Processing with Pub/Sub and Dataflow

1. Fundamentos de processamento em tempo real
2. Batch processing versus streaming
3. Arquitetura de pipelines de dados
4. Google Cloud Pub/Sub
5. Topics
6. Subscriptions
7. Producers e consumers
8. Ingestão de dados em tempo real
9. Google Cloud Dataflow
10. Apache Beam
11. Pipelines de streaming
12. Transformação de dados
13. Processamento e entrega de resultados
14. Arquiteturas de dados em tempo real
15. Visualização de informações processadas
16. Dashboards e análise operacional
17. Lab: Pipeline de dados em tempo real com Pub/Sub e Dataflow

Module 5: Machine Learning with Unstructured Data

1. Dados estruturados e não estruturados
2. Machine Learning aplicado a dados não estruturados
3. Texto, documentos e linguagem natural
4. Imagens e classificação de imagens
5. Natural Language Processing
6. Computer Vision
7. Modelos pré-treinados
8. APIs de Machine Learning
9. Modelos customizados
10. Vertex AI
11. Desenvolvimento e treinamento de modelos
12. Avaliação de modelos
13. Deployment de modelos
14. Predições
15. Machine Learning para análise de imagens
16. Machine Learning para processamento de linguagem natural
17. Lab: Machine Learning aplicado a dados não estruturados

Module 6: Building a Data-to-AI Solution on Google Cloud

1. Definição do problema de negócio
2. Identificação das fontes de dados
3. Ingestão dos dados
4. Armazenamento
5. Processamento
6. Análise
7. Preparação dos dados para Machine Learning
8. Treinamento do modelo
9. Avaliação
10. Deployment
11. Predição
12. Monitoramento básico
13. Arquitetura integrada de Big Data e Machine Learning
14. Boas práticas para soluções Data-to-AI

Module 7: Hands-On Lab – Big Data and Machine Learning

1. Criação e configuração do projeto Google Cloud
2. Preparação do dataset
3. Armazenamento dos dados no Cloud Storage
4. Ingestão de dados utilizando Pub/Sub
5. Processamento utilizando Dataflow
6. Análise dos dados utilizando BigQuery
7. Criação de um modelo utilizando BigQuery ML ou Vertex AI
8. Avaliação do modelo
9. Geração de predições
10. Visualização dos resultados
11. Validação da solução
12. Remoção dos recursos utilizados no laboratório