Visão Geral

Curso SMACK Stack for Data Science, SMACK é uma coleção de softwares de plataforma de dados, ou seja, Apache Spark, Apache Mesos, Apache Akka, Apache Cassandra e Apache Kafka. Usando a pilha SMACK, os usuários podem criar e dimensionar plataformas de processamento de dados.

Objetivo

Após realizar este Curso SMACK Stack for Data Science, você será capaz de:

• Implemente uma arquitetura de pipeline de dados para processar big data.
• Desenvolva uma infraestrutura de cluster com Apache Mesos e Docker.
• Analise dados com Spark e Scala.
• Gerencie dados não estruturados com o Apache Cassandra.

Publico Alvo

• Cientistas de Dados
• Analista de Sistema
• Desenvolvedores,

Materiais

Conteúdo Programatico

Introduction

1. SMACK Stack Overview
2. What is Apache Spark? Apache Spark features
3. What is Apache Mesos? Apache Mesos features
4. What is Apache Akka? Apache Akka features
5. What is Apache Cassandra? Apache Cassandra features
6. What is Apache Kafka? Apache Kafka features

Scala Language

1. Scala syntax and structure
2. Scala control flow

Preparing the Development Environment

1. Installing and configuring the SMACK stack
2. Installing and configuring Docker

Apache Akka

1. Using actors

Apache Cassandra

1. Creating a database for read operations
2. Working with backups and recovery

Connectors

1. Creating a stream
2. Building an Akka application
3. Storing data with Cassandra
4. Reviewing connectors

Apache Kafka

1. Working with clusters
2. Creating, publishing, and consuming messages

Apache Mesos

1. Allocating resources
2. Running clusters
3. Working with Apache Aurora and Docker
4. Running services and jobs
5. Deploying Spark, Cassandra, and Kafka on Mesos

Apache Spark

1. Managing data flows
2. Working with RDDs and dataframes
3. Performing data analysis

Troubleshooting

1. Handling failure of services and errors