Visão Geral

Neste Curso Big Data Essentials Bootcamp Operações lógicas, você aprenderá os fundamentos da arquitetura e execução de sistemas de Big Data.

Você obterá a experiência prática completa com nossa palestra exclusiva | Laboratório | Técnica de revisão , que irá imergir você no currículo, ajudando você a obter uma compreensão aprofundada de como usar as melhores práticas, ferramentas e técnicas essenciais na criação de aplicativos modernos de Big Data.

Seus instrutores especializados o guiarão por vários aplicativos, como Hadoop, NoSQL e Spark.

Você aprenderá a:

• Domine as melhores práticas de programação Hadoop em Pig, Hive e Java.
• Aprimore as soluções de Big Data para acesso a dados em tempo real com a ajuda de tecnologias NoSQL, como HBase e Cassandra.
• Entenda a diferença da modelagem de dados NoSQL em contraste com a modelagem de dados SQL.
• Utilize o Spark para análise de dados interativa com Scala ou SQL.
• Implemente o processamento analítico quase em tempo real com o Spark Streaming.

Objetivo

Após realizar este Curso Big Data Essentials Bootcamp Operações lógicas, você será capaz de:

• Domine as melhores práticas de programação Hadoop em Pig, Hive e Java.
• Aprimore as soluções de Big Data para acesso a dados em tempo real com a ajuda de tecnologias NoSQL, como HBase e Cassandra.
• Entenda a diferença da modelagem de dados NoSQL em contraste com a modelagem de dados SQL.
• Utilize o Spark para análise de dados interativa com Scala ou SQL.
• Implemente o processamento analítico quase em tempo real com o Spark Streaming.

Pre-Requisitos

• Antes de participar deste Curso Big Data Essentials Bootcamp Operações lógicas, você deve estar familiarizado com pelo menos uma linguagem de programação e se sentir confortável trabalhando com uma interface de linha de comando.

Materiais

Conteúdo Programatico

Big Data Overview

1. Big Data
2. Big Data Use Cases
3. Designing a Big Data System
4. Technologies: Hadoop
5. Technologies: NoSQL
6. Analytics
7. Putting It All Together

Hadoop Introduction

1. Introduction to Hadoop
2. The Future of Hadoop

HDFS and MapReduce Primer

1. HDFS
2. MapReduce
3. YARN
4. Future of Hadoop Processing Engines

Hive

1. Hadoopy, Hive, and SQL
2. Hive Design and Architecture
3. HiveQL
4. First Look at Hive
5. Hive Partitions
6. Hive Joins
7. Hive UDFs
8. Text Analytics with Hive

Hive 2

1. Data Access
2. Feature Generation
3. Filter/Search/Transpose
4. Binning and Smoothing
5. Tez

Pig

1. Understand Apache Pig
2. Pig Concepts/History
3. Pig by Example
4. Pig as an ETL Pipeline

Hadoop Cluster Planning

1. Planning Hadoop Hardware
2. Planning Software Install

Hadoop Install and Configure

1. Different Installation Configurations in Hadoop
2. Install Hadoop
3. Configure Hadoop Cluster
4. Common Configuration Properties
5. Making Installation and Configuration Easier
6. Hadoop Advanced Configuration

Hadoop Data Ingest

1. Flume
2. Sqoop
3. REST
4. Import Best Practices

NoSQL Intro

1. RDBMS and NoSQL
2. ACID in NoSQL
3. CAP Theorem
4. NoSQL Stores
5. Columnar Storage

Cassandra Intro

1. Introduction & Architecture
2. Cassandra Use Cases
3. Data Organization
4. First Look at Cassandra
5. Replication & Consistency

Cassandra Data Modeling 1

1. Keyspaces and Tables
2. CQL Queries
3. Indexing

Cassandra Data Modeling 2

1. Collections
2. Composite Keys
3. Time Series Data
4. Counters
5. Lightweight Transactions

Cassandra Data Modeling Labs

1. MyFlix (Netflix)
2. YouTube
3. Online Shopping (Amazon)
4. User Activity (Facebook)

Scala Primer

1. Introduction
2. Collections
3. Functions/Methods
4. Class/Object/Trait

Introduction to Spark

1. Introduction
2. Spark vs. Hadoop
3. A First Look at Spark

Spark Data Model 1

1. Data Model Overview
2. RDD Concepts
3. Spark Workflow
4. Working with RDDs
5. Key-Value Pairs
6. Caching

Spark Data Model 2

1. DataFrames
2. Working with DataFrames
3. Spark SQL
4. DataSet
5. Spark and Hive
6. Data Formats

Spark API/Applications

1. Core API
2. Building and Running Applications
3. Application Lifecycle
4. Logging & Debugging

Machine Learning Primer

1. Machine Learning Concepts
2. Machine Learning Vocabulary
3. Text Mining
4. Recommendations

Spark Streaming

1. Streaming
2. Spark Streaming Overview
3. Architecture
4. Programming
5. Structured Streaming
6. Transformations
7. Apache Kafka