Visão Geral

Este Curso Storm, ensinará Apache Storm – uma estrutura popular de processamento de eventos – aos alunos.

O Apache Storm é um sistema de processamento de dados em tempo real e distribuído, desenvolvido principalmente pela Apache Software Foundation. Ele foi projetado para lidar com fluxos contínuos de dados em tempo real e processá-los de maneira escalável, confiável e tolerante a falhas. O Apache Storm é uma escolha popular para aplicativos que exigem análise e processamento em tempo real de grandes volumes de dados, como análise de redes sociais, detecção de fraudes, monitoramento de sensores e muito mais.

Aqui estão alguns conceitos-chave relacionados ao Apache Storm:

1. Spout: Um spout é a fonte de dados em um topologia do Apache Storm. Ele pode ser configurado para buscar dados de várias fontes, como feeds de dados em tempo real, bancos de dados ou outros sistemas.

2. Bolt: Um bolt é uma unidade de processamento em uma topologia do Storm. Os bolts realizam operações de processamento nos dados recebidos dos spouts ou de outros bolts. Eles podem executar tarefas como filtragem, transformação, agregação e muito mais.

3. Topology: Uma topologia é um grafo direcionado de spouts e bolts que define o fluxo de dados e o processamento em um aplicativo Storm. Cada nó no grafo representa um spout ou bolt e as arestas indicam como os dados fluem entre eles.

4. Stream Grouping: O Storm oferece vários métodos de agrupamento de fluxos que permitem controlar como os dados são distribuídos e encaminhados para os bolts. Isso inclui agrupamento aleatório, agrupamento de campos, agrupamento de balanceamento de carga, entre outros.

5. Zookeeper: O Apache Storm usa o Apache ZooKeeper para coordenar e gerenciar os recursos e os nós da topologia. O ZooKeeper é uma parte fundamental da arquitetura do Storm para garantir alta disponibilidade e confiabilidade.

O Apache Storm é altamente escalável e pode ser implantado em clusters de máquinas para lidar com cargas de trabalho de processamento de dados em tempo real de grande escala. Ele fornece garantias de entrega e processamento de eventos em ordem, o que é fundamental para muitos aplicativos de processamento em tempo real. Além disso, o Storm é extensível e suporta a integração com várias fontes de dados e sistemas de armazenamento, tornando-o uma escolha versátil para uma variedade de casos de uso de processamento de dados em tempo real.

Objetivo

Após realizar este Curso Storm você será capáz de:

• Conceitos e arquitetura
• Como instalar e configurar
• Programação
• Registro e métricas
• Projetando sistemas de streaming

Publico Alvo

O curso Apache Storm é adequado para várias categorias de profissionais e estudantes que desejam adquirir conhecimento e habilidades em processamento de dados em tempo real com essa tecnologia. Aqui estão algumas categorias de pessoas que podem se beneficiar do curso Apache Storm:

Engenheiros de Software:

• Desenvolvedores de software que desejam criar aplicativos de processamento de dados em tempo real e têm interesse em aprender como usar o Apache Storm como parte de suas soluções.

Arquitetos de Dados:

• Arquitetos de dados que desejam projetar sistemas de processamento em tempo real e entender como integrar o Apache Storm em suas arquiteturas.

Analistas de Dados:

• Profissionais de análise de dados que desejam expandir suas habilidades para incluir análise em tempo real e processamento de dados de streaming.

Cientistas de Dados:

• Cientistas de dados que desejam trabalhar com dados em tempo real e integrar o Apache Storm em seus pipelines de análise de dados.

Administradores de Sistemas:

• Administradores de sistemas que precisam implantar, gerenciar e manter clusters Apache Storm em um ambiente de produção.

Estudantes e Pesquisadores:

• Estudantes universitários, pesquisadores e entusiastas da tecnologia que desejam aprender sobre processamento de dados em tempo real e adquirir experiência prática com o Apache Storm.

Profissionais de TI em Geral:

• Qualquer profissional de TI interessado em expandir seu conhecimento e habilidades em processamento de dados em tempo real pode se beneficiar do curso.

Pre-Requisitos

• Confortável com a linguagem de programação Java (os exercícios de programação são em java)
• Confortável em ambiente Linux (ser capaz de navegar na linha de comando do Linux, editar arquivos usando vi/nano

Materiais

Conteúdo Programatico

Introduction to Streaming Systems

1. Fast data
2. Streaming architecture
3. Lambda architecture
4. Message queues
5. Streaming processors

Introduction to Storm

1. Architecture
2. Sources / Sinks
3. Tuples
4. Spout
5. Bolts
6. Topologies

Programming With Storm

1. Storm Java API
2. Bolt / Spout / Topology APIs
3. Lab: Programming Storm

Topology Design

1. Mapping fields
2. Parsing fields in Bolts
3. Scalability and Parallelism
4. Executors and Tasks
5. Creating robust topologies

Logging & Metrics

1. Logging in Storm application
2. Metrics : capturing and analyzing

Trident

1. Intro to Trident
2. Trident operations

Designing and Tuning Storm Systems

1. Kafka & Storm
2. Topology design
3. Tuning Storm systems