Curso Google Data Engineer

  • Cloud Computing

Curso Google Data Engineer

32 horas
Visão Geral

Um engenheiro de dados permite a tomada de decisões orientada a dados, reunindo, transformando e publicando um conjunto significativo de dados.

Objetivo

Por favor, encontre abaixo os objetivos deste treinamento:

  • Você poderá projetar, construir, operacionalizar, proteger e monitorar sistemas de processamento de dados com ênfase em segurança e conformidade; escalabilidade e eficiência; confiabilidade e fidelidade.
  • Você poderá alavancar a implantação e treinar continuamente modelos de ML pré-existentes.
  • Você será capaz de garantir a qualidade da solução
  • Você poderá projetar sistemas de processamento de dados
Pre-Requisitos
  • É bom ter: experiência prática de trabalho no Google Cloud Technologies.
  • Imprescindível: Compreensão de como os dados funcionam e o que eles podem oferecer para a organização
Materiais
Português | Inglês
Conteúdo Programatico

1. INTRODUÇÃO

  • Teoria, Prática e Testes
  • Laboratório: Configurando uma conta GCP
  • Laboratório: Usando o Cloud Shell

2. CALCULAR

  • Sobre esta seção
  • Opções de computação
  • Mecanismo de computação do Google (GCE)
  • Laboratório: Criando uma instância de VM
  • Mais GCE
  • Laboratório: Editando uma instância de VM
  • Laboratório: Criando uma instância de VM usando a linha de comando
  • Laboratório: Criando e anexando um disco persistente

3. MECANISMO DE CONTÊINER DO GOOGLE – KUBERNETES (GKE) MAIS GKE

  • Mais GKE
  • Laboratório: Criando um cluster Kubernetes e implantando um contêiner do WordPress
  • App Engine
  • Contraste do App Engine, Compute Engine e Container Engine
  • Laboratório: Implantar e executar um aplicativo do App Engine
  • Calcular

4. ARMAZENAMENTO

  • Opções de armazenamento
  • Quick Take
  • Armazenamento na núvem
  • Laboratório: Trabalhando com baldes de armazenamento em nuvem
  • Laboratório: permissões de bucket e objeto
  • Laboratório: Gerenciamento do ciclo de vida em baldes
  • Correção para AccessDeniedException: 403 permissão insuficiente
  • Laboratório: Executando um programa em uma instância de VM e armazenando resultados no armazenamento em nuvem

5. MÁQUINAS VIRTUAIS E IMAGENS

  • Migração ao vivo
  • Tipos de máquina e cobrança
  • Descontos de uso sustentado e uso comprometido
  • Recomendações de dimensionamento de direitos
  • Disco RAM
  • Imagens
  • Scripts de inicialização e imagens assadas

6. VPCS E REDES DE INTERCONEXÃO

  • VPCs e sub-redes
  • VPCs globais, sub-redes regionais
  • Endereços IP
  • Laboratório: Trabalhando com endereços IP estáticos
  • Rotas
  • Regras de firewall
  • Laboratório: Trabalhando com firewalls
  • Laboratório: Trabalhando com redes de modo automático e modo personalizado
  • Laboratório: Host Bastião

7. VPN EM NUVEM

  • Laboratório: Trabalhando com a VPN na nuvem
  • Cloud Router
  • Laboratório: Usando roteadores em nuvem para roteamento dinâmico
  • Interconexão Dedicada Direta & amp; Peering de operadora
  • VPCs compartilhadas
  • Laboratório: VPCs compartilhadas
  • VPC: emparelhamento de rede
  • Laboratório: emparelhamento de VPC
  • DNS na nuvem & amp; Redes herdadas
  • Trabalho em rede

8. GRUPOS DE INSTÂNCIAS GERENCIADAS E BALANCEAMENTO DE CARGA

  • Grupos de instâncias gerenciadas e não gerenciadas
  • Tipos de balanceamento de carga
  • Visão geral do balanceamento de carga HTTP (S)
  • Regras de Encaminhamento Proxy de Destino e Mapas de URL
  • Pré-visualização
  • Serviço de back-end & amp; Backends
  • Distribuição de carga & amp; Regras de firewall
  • Laboratório: Balanceamento de carga HTTP (S)
  • Laboratório: Balanceamento de carga com base em conteúdo
  • Balanceamento de carga de proxy SSL e proxy TCP
  • Laboratório: Balanceamento de carga de proxy SSL
  • Balanceamento de carga de rede
  • Balanceamento de carga interno
  • Autoscalers
  • Laboratório: Escalonando automaticamente com grupos de instâncias gerenciadas

9. OPS & AMP; SEGURANÇA

  • Driver de pilha
  • Log de driver de pilha
  • Laboratório: Monitoramento de recursos do driver de pilha
  • Laboratório: Relatório de erros do driver de pilha & amp; Depuração

10. CLOUD-DEPLOYMENT-MANAGER

  • Laboratório: Usando-Deployment-Manager
  • Laboratório: Deployment Manager & amp; Stackdriver

11. NUVEM: PONTOS FINAIS

  • Cloud-IAM: contas de usuário, contas de serviço, credenciais de API
  • Cloud-IAM: funções, proxy com reconhecimento de identidade, práticas recomendadas
  • Laboratório: Cloud-IAM

12. PROTEÇÃO DE DADOS

  • Operações e Segurança

13. SERVIÇO DE TRANSFERÊNCIA

  • Laboratório: Migrando dados usando o serviço de transferência gcloud init
  • Laboratório: Controle de versão em armazenamento em nuvem, sincronização de diretório

14. CLOUD SQL, CLOUD SPANNER ~ OLTP ~ RDBMS

  • Cloud SQL
  • Laboratório: Criando uma instância de nuvem SQL
  • Laboratório: Executando comandos na instância SQL da nuvem
  • Laboratório: Carregamento em massa de dados nas tabelas SQL da nuvem

15. CLOUD SPANNER

  • Mais Cloud Spanner
  • Laboratório: Trabalhando com o Cloud Spanner

16. BIGTABLE ~ HBASE = ARMAZENAMENTO COLUNAR

  • Introdução ao BigTable
  • Loja Colunar
  • Desnormalizado
  • Famílias de colunas
  • Desempenho da BigTable
  • Obtendo o prompt do HBase
  • Laboratório: demonstração do BigTable

17. DATASTORE ~ BANCO DE DADOS DE DOCUMENTOS

  • Banco de dados
  • Laboratório: demonstração do armazenamento de dados

18. BIGQUERY ~ HIVE ~ OLAP

  • Introdução ao BigQuery
  • BigQuery Advanced
  • Laboratório: carregando dados CSV na grande consulta
  • Laboratório: Executando consultas em consultas grandes
  • Laboratório: Carregando dados JSON com tabelas aninhadas
  • Laboratório: conjuntos de dados públicos em grande consulta
  • Laboratório: Usando grandes consultas por meio da linha de comando
  • Laboratório: Agregações e condicionais em agregações
  • Laboratório: subconsultas e associações
  • Laboratório: Expressões regulares no SQL herdado
  • Laboratório: Usando a instrução With para subconsultas

19. FLUXO DE DADOS: APACHE BEAM

  • Introdução ao fluxo de dados
  • Apache-Beam
  • Laboratório: Executando um programa de fluxo de dados Python
  • Laboratório: Executando um programa de fluxo de dados Java
  • Laboratório: Implementando a contagem de palavras no Java de fluxo de dados
  • Laboratório: Executando o fluxo de dados de contagem de palavras
  • Laboratório: Executando o MapReduce no fluxo de dados em Python
  • Laboratório: Executando o MapReduce no fluxo de dados em Java

20. DATAPROC: GERENCIAR HADOOP

  • Data Proc
  • Laboratório: Criando & amp; Gerenciando um cluster Dataproc
  • Laboratório: Criando uma regra de firewall para acessar o Dataproc
  • Laboratório: Executando um trabalho PySpark no Dataproc
  • Laboratório: Executando os scripts Shell e Pig do PySpark REPL no Dataproc
  • Laboratório: Submetendo um Spark Jar ao Dataproc
  • Laboratório: Trabalhando com o Dataproc usando a CLI do GCloud

21. PUB / SUB PARA STREAMING

  • Pub Sub
  • Laboratório: Trabalhando com o Pubsub na linha de comando
  • Laboratório: Trabalhando com o PubSub usando o console da Web
  • Laboratório: Configurando um editor Pubsub usando a biblioteca Python
  • Laboratório: Configurando um assinante Pubsub usando a biblioteca Python
  • Laboratório: Publicando dados de streaming no Pubsub
  • Laboratório: lendo dados de streaming do PubSub e gravando no BigQuery
  • Laboratório: Executando um pipeline para ler dados de streaming e gravar no BigQuery
  • Laboratório: Pia do BigQuery de origem do Pubsub

22. DATALAB ~ JUPYTER

  • Laboratório de Dados
  • Laboratório: Criando e trabalhando em uma instância do Datalab
  • Laboratório: Importando e exportando dados usando o Datalab
  • Laboratório: Usando a API de gráficos no Datalab

23. VISÃO, TRADUÇÃO, PNL E FALA: APIS DE ML TREINADAS

  • Laboratório: Previsão do Taxicab – Configurando o conjunto de dados
  • Laboratório: Previsão do Taxicab – Treinamento e execução do modelo
  • Laboratório: API de visão, tradução, PNL e fala
  • Laboratório: a API Vision para detecção de etiquetas e pontos de referência

24. RESUMO DE TÓPICOS ADICIONAIS QUE SÃO PRÉ-REQUISITOS PARA ESTE CURSO.

  • Apêndice: Ecossistema Hadoop
  • Apresentando o ecossistema Hadoop
  • Hadoop
  • HDFS
  • MapReduce
  • Fio
  • Colmeia
  • Hive vs. RDBMS
  • HQL vs. SQL
  • OLAP no Hive
  • Colmeia de janelas
  • Porco
  • Faísca
  • Introdução ao Streams
  • Microbatches
  • Tipos de janela
  • Ecossistema Hadoop
  • Introdução
TENHO INTERESSE

Cursos Relacionados