Curso Hadoop Development Advanced
16 horasVisão Geral
O Curso Hadoop Development Advanced. Abrangente fornece habilidades para construir aplicativos poderosos de processamento de dados. Você aprenderá sobre MapReduce, o Hadoop Distributed Files System (HDFS), e como escrever código MapReduce, além de aprender as práticas recomendadas para desenvolvimento, depuração e implementação de fluxos de trabalho do Hadoop.
Ao longo deste Curso Hadoop Development Advanced, você escreverá código Hadoop e realizará outros exercícios práticos para solidificar sua compreensão dos conceitos.
Objetivo
No Curso Hadoop Development Advanced, os participantes aprenderão:
- MapReduce e o HDFS
- Escreva o código MapReduce em Java ou outras linguagens de programação
- Questões a serem consideradas ao desenvolver trabalhos MapReduce
- Implementar algoritmos comuns no Hadoop
- Melhores práticas para desenvolvimento e depuração do Hadoop
- Use outros projetos como Apache Hive, Apache Pig, Sqoop e Oozie
- Tópicos avançados da API Hadoop necessários para análise de dados do mundo real
Publico Alvo
- Gerentes de projetos/programas/técnicos
- Líderes técnicos/de equipe
- Analistas/engenheiros de software
- Consultor de pré-vendas
- Gerentes de desenvolvimento de negócios
Materiais
Inglês + Exercícios + Lab PraticoConteúdo Programatico
Hadoop Introduction
- What is Big Data?
- Source of Data
- Characteristics of Big Data
- Benefits of Big Data analysis
- Challenges of Big Data processing
- Why Hadoop for Big Data?
- An introduction to Hadoop
- What is Hadoop not good for?
- Hadoop Ecosystem
Hadoop Installation
- Pre-requisite
- Hadoop Installation
- Checking Installation
MapReduce Framework
- What is MapReduce?
- How does MapReduce work?
- MapReduce Program
- MapReduce program execution
- MapReduce program Unit Testing
- Deploying MapReduce on a cluster
- Hadoop streaming
- Combiner
- Partitioner
- Counters
HDFS - Hadoop Distributed File System
- What is HDFS?
- HDFS Architecture
- Data Flow – anatomy of File Read and File Write
- What is HDFS Block?
- Types of Nodes in HDFS
- What is HDFS Federation?
- HDFS High Availability
- HDFS Commands – also Parallel Copy
- Hadoop Archives
Hive
- What is Hive
- Hive Architecture
- Hive Language
- What is Hive Metastore?
- HiveQL
- Hive Tables
- How to Query Hive Tables?
- User-Defined Functions
Pig
- What is Pig
- Pig Architecture
- Execution Types
- Pig Latin
- User-Defined Functions
- Data Processing Operators
HBase
- HBase Introduction
- HBase Architecture
- HBase Data Model
- HBase Schema Design
- HBase and MapReduce
- HBase Configuration
- HBase Performance
- HBase Troubleshooting & Debugging
Introduction to Sqoop