Visão Geral

Este Curso Hadoop for Systems Administrators cobre os fundamentos da implantação e gerenciamento de um cluster Apache™ Hadoop®. O curso é intensivo em laboratório, com cada aluno criando seu próprio cluster Hadoop usando as pilhas CDH (Distribuição da Cloudera, incluindo Apache Hadoop) ou Hortonworks Data Platform. Os principais serviços do Hadoop são explorados em profundidade, com ênfase na solução de problemas e na recuperação de falhas comuns de cluster.

Objetivo

Após a conclusão do Curso Hadoop for Systems Administrators, os alunos serão capazes de:

• Crie clusters Hadoop
• Solucionar problemas e recuperar falhas de cluster

Publico Alvo

• Administrador do sistema

Pre-Requisitos

• Os participantes qualificados devem estar confortáveis ​​com os comandos do Linux e ter alguma experiência em administração de sistemas, mas não precisam de experiência anterior em Hadoop

Materiais

Conteúdo Programatico

HADOOP OVERVIEW

1. Data Analysis
2. Big Data
3. Origins of Hadoop
4. Hadoop Marketplace
5. Hadoop Core
6. Hadoop Ecosystem:
7. Hadoop Ecosystem (cont)
8. Hadoop Ecosystem (cont)
9. Hadoop Ecosystem (cont)
10. Hadoop Ecosystem (cont)
11. Cluster Architecture
12. Hardware/Software Requirements
13. Running Commands on Multiple Systems
14. Lab Tasks
15. Running Commands on Multiple Hosts
16. Preparing to Install Hadoop

HDFS

1. Design Goals
2. Design
3. Blocks
4. Block Replication
5. Namenode Daemon
6. Secondary Namenode Daemon
7. Datanode Daemon
8. Accessing HDFS
9. Permissions and Users
10. Adding and Removing Datanodes
11. Balancing
12. Lab Tasks
13. Single Node HDFS
14. Multi-node HDFS
15. Files and HDFS
16. Managing and Maintaining HDFS

YARN

1. YARN Design Goals
2. YARN Architecture
3. Resource Manager
4. Node Manager
5. Containers
6. YARN: Other Important Features
7. Slider
8. Lab Tasks
9. YARN

MAPREDUCE

1. MapReduce
2. Terminology and Data Flow
3. Lab Tasks
4. Mapreduce

INSTALLING HADOOP WITH AMBARI LAB TASKS

1. CDH Uninstall
2. Installing Hadoop with Ambari
3. Tez

DATA INGESTION

1. Sqoop
2. Flume
3. Kafka
4. Lab Tasks
5. Sqoop

DATA LINEAGE AND GOVERNANCE

1. Falcon
2. Atlas
3. Oozie

DATA PROCESSING FRAMEWORKS

1. The Bane of MapReduce
2. Tez overview
3. Pig
4. Hive
5. Spark
6. Storm
7. Solr
8. Solr (cont)
9. Lab Tasks
10. Pig

NOSQL IMPLEMENTATIONS

1. HBase
2. Phoenix

CLUSTER MANAGEMENT

1. Ambari Metrics System (AMS)
2. Zookeepe