Visão Geral

Um engenheiro de dados permite a tomada de decisões orientada a dados, reunindo, transformando e publicando um conjunto significativo de dados.

Objetivo

Por favor, encontre abaixo os objetivos deste treinamento:

• Você poderá projetar, construir, operacionalizar, proteger e monitorar sistemas de processamento de dados com ênfase em segurança e conformidade; escalabilidade e eficiência; confiabilidade e fidelidade.
• Você poderá alavancar a implantação e treinar continuamente modelos de ML pré-existentes.
• Você será capaz de garantir a qualidade da solução
• Você poderá projetar sistemas de processamento de dados

Pre-Requisitos

• É bom ter: experiência prática de trabalho no Google Cloud Technologies.
• Imprescindível: Compreensão de como os dados funcionam e o que eles podem oferecer para a organização

Materiais

Conteúdo Programatico

1. INTRODUÇÃO

• Teoria, Prática e Testes
• Laboratório: Configurando uma conta GCP
• Laboratório: Usando o Cloud Shell

2. CALCULAR

• Sobre esta seção
• Opções de computação
• Mecanismo de computação do Google (GCE)
• Laboratório: Criando uma instância de VM
• Mais GCE
• Laboratório: Editando uma instância de VM
• Laboratório: Criando uma instância de VM usando a linha de comando
• Laboratório: Criando e anexando um disco persistente

3. MECANISMO DE CONTÊINER DO GOOGLE – KUBERNETES (GKE) MAIS GKE

• Mais GKE
• Laboratório: Criando um cluster Kubernetes e implantando um contêiner do WordPress
• App Engine
• Contraste do App Engine, Compute Engine e Container Engine
• Laboratório: Implantar e executar um aplicativo do App Engine
• Calcular

4. ARMAZENAMENTO

• Opções de armazenamento
• Quick Take
• Armazenamento na núvem
• Laboratório: Trabalhando com baldes de armazenamento em nuvem
• Laboratório: permissões de bucket e objeto
• Laboratório: Gerenciamento do ciclo de vida em baldes
• Correção para AccessDeniedException: 403 permissão insuficiente
• Laboratório: Executando um programa em uma instância de VM e armazenando resultados no armazenamento em nuvem

5. MÁQUINAS VIRTUAIS E IMAGENS

• Migração ao vivo
• Tipos de máquina e cobrança
• Descontos de uso sustentado e uso comprometido
• Recomendações de dimensionamento de direitos
• Disco RAM
• Imagens
• Scripts de inicialização e imagens assadas

6. VPCS E REDES DE INTERCONEXÃO

• VPCs e sub-redes
• VPCs globais, sub-redes regionais
• Endereços IP
• Laboratório: Trabalhando com endereços IP estáticos
• Rotas
• Regras de firewall
• Laboratório: Trabalhando com firewalls
• Laboratório: Trabalhando com redes de modo automático e modo personalizado
• Laboratório: Host Bastião

7. VPN EM NUVEM

• Laboratório: Trabalhando com a VPN na nuvem
• Cloud Router
• Laboratório: Usando roteadores em nuvem para roteamento dinâmico
• Interconexão Dedicada Direta & amp; Peering de operadora
• VPCs compartilhadas
• Laboratório: VPCs compartilhadas
• VPC: emparelhamento de rede
• Laboratório: emparelhamento de VPC
• DNS na nuvem & amp; Redes herdadas
• Trabalho em rede

8. GRUPOS DE INSTÂNCIAS GERENCIADAS E BALANCEAMENTO DE CARGA

• Grupos de instâncias gerenciadas e não gerenciadas
• Tipos de balanceamento de carga
• Visão geral do balanceamento de carga HTTP (S)
• Regras de Encaminhamento Proxy de Destino e Mapas de URL
• Pré-visualização
• Serviço de back-end & amp; Backends
• Distribuição de carga & amp; Regras de firewall
• Laboratório: Balanceamento de carga HTTP (S)
• Laboratório: Balanceamento de carga com base em conteúdo
• Balanceamento de carga de proxy SSL e proxy TCP
• Laboratório: Balanceamento de carga de proxy SSL
• Balanceamento de carga de rede
• Balanceamento de carga interno
• Autoscalers
• Laboratório: Escalonando automaticamente com grupos de instâncias gerenciadas

9. OPS & AMP; SEGURANÇA

• Driver de pilha
• Log de driver de pilha
• Laboratório: Monitoramento de recursos do driver de pilha
• Laboratório: Relatório de erros do driver de pilha & amp; Depuração

10. CLOUD-DEPLOYMENT-MANAGER

• Laboratório: Usando-Deployment-Manager
• Laboratório: Deployment Manager & amp; Stackdriver

11. NUVEM: PONTOS FINAIS

• Cloud-IAM: contas de usuário, contas de serviço, credenciais de API
• Cloud-IAM: funções, proxy com reconhecimento de identidade, práticas recomendadas
• Laboratório: Cloud-IAM

12. PROTEÇÃO DE DADOS

• Operações e Segurança

13. SERVIÇO DE TRANSFERÊNCIA

• Laboratório: Migrando dados usando o serviço de transferência gcloud init
• Laboratório: Controle de versão em armazenamento em nuvem, sincronização de diretório

14. CLOUD SQL, CLOUD SPANNER ~ OLTP ~ RDBMS

• Cloud SQL
• Laboratório: Criando uma instância de nuvem SQL
• Laboratório: Executando comandos na instância SQL da nuvem
• Laboratório: Carregamento em massa de dados nas tabelas SQL da nuvem

15. CLOUD SPANNER

• Mais Cloud Spanner
• Laboratório: Trabalhando com o Cloud Spanner

16. BIGTABLE ~ HBASE = ARMAZENAMENTO COLUNAR

• Introdução ao BigTable
• Loja Colunar
• Desnormalizado
• Famílias de colunas
• Desempenho da BigTable
• Obtendo o prompt do HBase
• Laboratório: demonstração do BigTable

17. DATASTORE ~ BANCO DE DADOS DE DOCUMENTOS

• Banco de dados
• Laboratório: demonstração do armazenamento de dados

18. BIGQUERY ~ HIVE ~ OLAP

• Introdução ao BigQuery
• BigQuery Advanced
• Laboratório: carregando dados CSV na grande consulta
• Laboratório: Executando consultas em consultas grandes
• Laboratório: Carregando dados JSON com tabelas aninhadas
• Laboratório: conjuntos de dados públicos em grande consulta
• Laboratório: Usando grandes consultas por meio da linha de comando
• Laboratório: Agregações e condicionais em agregações
• Laboratório: subconsultas e associações
• Laboratório: Expressões regulares no SQL herdado
• Laboratório: Usando a instrução With para subconsultas

19. FLUXO DE DADOS: APACHE BEAM

• Introdução ao fluxo de dados
• Apache-Beam
• Laboratório: Executando um programa de fluxo de dados Python
• Laboratório: Executando um programa de fluxo de dados Java
• Laboratório: Implementando a contagem de palavras no Java de fluxo de dados
• Laboratório: Executando o fluxo de dados de contagem de palavras
• Laboratório: Executando o MapReduce no fluxo de dados em Python
• Laboratório: Executando o MapReduce no fluxo de dados em Java

20. DATAPROC: GERENCIAR HADOOP

• Data Proc
• Laboratório: Criando & amp; Gerenciando um cluster Dataproc
• Laboratório: Criando uma regra de firewall para acessar o Dataproc
• Laboratório: Executando um trabalho PySpark no Dataproc
• Laboratório: Executando os scripts Shell e Pig do PySpark REPL no Dataproc
• Laboratório: Submetendo um Spark Jar ao Dataproc
• Laboratório: Trabalhando com o Dataproc usando a CLI do GCloud

21. PUB / SUB PARA STREAMING

• Pub Sub
• Laboratório: Trabalhando com o Pubsub na linha de comando
• Laboratório: Trabalhando com o PubSub usando o console da Web
• Laboratório: Configurando um editor Pubsub usando a biblioteca Python
• Laboratório: Configurando um assinante Pubsub usando a biblioteca Python
• Laboratório: Publicando dados de streaming no Pubsub
• Laboratório: lendo dados de streaming do PubSub e gravando no BigQuery
• Laboratório: Executando um pipeline para ler dados de streaming e gravar no BigQuery
• Laboratório: Pia do BigQuery de origem do Pubsub

22. DATALAB ~ JUPYTER

• Laboratório de Dados
• Laboratório: Criando e trabalhando em uma instância do Datalab
• Laboratório: Importando e exportando dados usando o Datalab
• Laboratório: Usando a API de gráficos no Datalab

23. VISÃO, TRADUÇÃO, PNL E FALA: APIS DE ML TREINADAS

• Laboratório: Previsão do Taxicab – Configurando o conjunto de dados
• Laboratório: Previsão do Taxicab – Treinamento e execução do modelo
• Laboratório: API de visão, tradução, PNL e fala
• Laboratório: a API Vision para detecção de etiquetas e pontos de referência

24. RESUMO DE TÓPICOS ADICIONAIS QUE SÃO PRÉ-REQUISITOS PARA ESTE CURSO.

• Apêndice: Ecossistema Hadoop
• Apresentando o ecossistema Hadoop
• Hadoop
• HDFS
• MapReduce
• Fio
• Colmeia
• Hive vs. RDBMS
• HQL vs. SQL
• OLAP no Hive
• Colmeia de janelas
• Porco
• Faísca
• Introdução ao Streams
• Microbatches
• Tipos de janela
• Ecossistema Hadoop
• Introdução