Visão Geral

O Curso Hadoop Development Advanced. ​​Abrangente fornece habilidades para construir aplicativos poderosos de processamento de dados. Você aprenderá sobre MapReduce, o Hadoop Distributed Files System (HDFS), e como escrever código MapReduce, além de aprender as práticas recomendadas para desenvolvimento, depuração e implementação de fluxos de trabalho do Hadoop.

Ao longo deste Curso Hadoop Development Advanced, você escreverá código Hadoop e realizará outros exercícios práticos para solidificar sua compreensão dos conceitos.

Objetivo

No Curso Hadoop Development Advanced, os participantes aprenderão:

• MapReduce e o HDFS
• Escreva o código MapReduce em Java ou outras linguagens de programação
• Questões a serem consideradas ao desenvolver trabalhos MapReduce
• Implementar algoritmos comuns no Hadoop
• Melhores práticas para desenvolvimento e depuração do Hadoop
• Use outros projetos como Apache Hive, Apache Pig, Sqoop e Oozie
• Tópicos avançados da API Hadoop necessários para análise de dados do mundo real

Publico Alvo

• Gerentes de projetos/programas/técnicos
• Líderes técnicos/de equipe
• Analistas/engenheiros de software
• Consultor de pré-vendas
• Gerentes de desenvolvimento de negócios

Materiais

Conteúdo Programatico

Hadoop Introduction

1. What is Big Data?
2. Source of Data
3. Characteristics of Big Data
4. Benefits of Big Data analysis
5. Challenges of Big Data processing
6. Why Hadoop for Big Data?
7. An introduction to Hadoop
8. What is Hadoop not good for?
9. Hadoop Ecosystem

Hadoop Installation

1. Pre-requisite
2. Hadoop Installation
3. Checking Installation

MapReduce Framework

1. What is MapReduce?
2. How does MapReduce work?
3. MapReduce Program
4. MapReduce program execution
5. MapReduce program Unit Testing
6. Deploying MapReduce on a cluster
7. Hadoop streaming
8. Combiner
9. Partitioner
10. Counters

HDFS - Hadoop Distributed File System

1. What is HDFS?
2. HDFS Architecture
3. Data Flow – anatomy of File Read and File Write
4. What is HDFS Block?
5. Types of Nodes in HDFS
6. What is HDFS Federation?
7. HDFS High Availability
8. HDFS Commands – also Parallel Copy
9. Hadoop Archives

Hive

1. What is Hive
2. Hive Architecture
3. Hive Language
4. What is Hive Metastore?
5. HiveQL
6. Hive Tables
7. How to Query Hive Tables?
8. User-Defined Functions

Pig

1. What is Pig
2. Pig Architecture
3. Execution Types
4. Pig Latin
5. User-Defined Functions
6. Data Processing Operators

HBase

1. HBase Introduction
2. HBase Architecture
3. HBase Data Model
4. HBase Schema Design
5. HBase and MapReduce
6. HBase Configuration
7. HBase Performance
8. HBase Troubleshooting & Debugging

Introduction to Sqoop