Visão Geral

O curso Hadoop Fundamentos tem como missão passar para o Participante uma visão geral do Hadoop Big Data. e também passa  para o participante o crescimento desse novo produto no mercado de trabalho com Hadoop. Seu conteúdo programático foi desenvolvido para que profissionais possam implementar soluções de Big Data em suas corporações. O mesmo abrange, conceitos , conhecimentos de uso dos softwares, interação, atividades e práticas.

Objetivo

Introdução e as principais características do Hadoop. Funcionamento e instalação de cluster com hadoop, Praticas e conceitos básicos de execução de programa escrito em MapReduce.

Publico Alvo

Gerente, Gestores de TI, Analista de Bancos de Dados, Analistas BI, Profissionais de TI e Computação.

Pre-Requisitos

• Conhecimento Basico de Servidor Linux , Noções de  TC/PIP, Noções básico de programação.

Materiais

Conteúdo Programatico

CONCEITO APACHE HADOOP FUNDAMENTOS

• O que é Big Data?
• O Profissional cientista de dados.
• Visão geral sobre Hadoop
• Características do Hadoop
• Sistema distribuído de arquivos.
• Ecosistema Hadoop
• Quem usa o Haddop
• Cases do uso Haddop
• Uso de Hadware comum.

INSTALANDO APACHE HADOOP

• Distribuições do Hadoop
• Requisitos de Instalação
• Adquirindo os pacotes de Instalação
• Modo de Instalação ( SingleCluster, DistribuidMode )
• Configuração do Ambiente de Rede
• Configurando Yarn.
• Criando diretórios físicos para o Filesystem
• Formatação do FileSystem
• Iniciaizando Serviços
• Iniciando o cluster com seus nós
• Testando Processos ativos

HDFS

• Conceitual HDFS
• HDFS – Hadoop FileSystem
• HDFS – MapReduce Data Flow
• HDFS – Arquitetura
• Comandos de manipulação do FileSystem
• Copiando arquivos para o FileSystem
• Listando arquivos no HDFS
• Criando e Removendo Diretórios
• Interface Web do HDFS

MAPREDUCE

• Conceitual Map Reduce
• MapReduce X Hadoop
• MapReduce – Função Map
• MapReduce – Função Reduce
• Fluxo de Trabalho
• Executando um MapReduce
• MapReduce no cluster
• Configurando a IDE Eclipse para MapReduce
• Criando um novo MapReduce

CLOUDERA HADOOP

• Usando a Distribuição Cloudera
• Componentes do CDH.
• Cloudera Hadoop X Apache Hadoop
• Interface de gerenciamento Web ( Hue )

OVERVIEW A OUTRAS FERRAMENTAS

• Hortonworks
• Apache Mahout.
• Hbase –  Banco de dados distribuído orientado a coluna.
• Pig – Plataforma de alto nível para a criação de programas MapReduce.
• Hive – uma infraestrutura de data warehouse sobre o Hadoop.
• Apache Cassandra – Banco de dados distribuído altamente escalável de segunda geração.
• Apache Sqoop.
• Pentaho Data Integration for Hadoop.