Visão Geral

A necessidade de processamento e dados em tempo real se tornou uma necessidade para muitas indústrias em toda a Internet.

Com a importância dos dados, tornou-se crucial que o big data seja transmitido de maneira mais rápida e melhor. É aqui o Kafka marca a sua presença.

O Apache Kafka foi desenvolvido em um laboratório de informática do LinkedIn, onde foi originalmente usado como meio para resolver a ingestão de baixa latência de grandes quantidades de dados de eventos do site e da infraestrutura do LinkedIn em uma arquitetura lambda que aproveitou o Hadoop e o processamento de eventos em tempo real sistemas.

Desde então, ele evoluiu para um produto de tempo integral que é usado por muitas empresas de renome, como Airbnb, Netflix e Uber, para lidar com grandes quantidades de dados.

Os benefícios de usar o Kafka incluem que esta plataforma de processamento de stream de código aberto oferece dados em tempo real, é fácil de escalar e também distribuir.

Agora, podemos ter big data que também são dados inteligentes.

Parece uma ótima adição ao seu currículo? A demanda por arquitetos de cluster Kafka é atualmente alta e o retorno para especialistas em Kafka é bastante grande.

Se você deseja um curso prático que o ajude a analisar o Kafka de uma maneira simples e fácil de aprender, então você escolheu o curso certo!

Kafka tem uma curva de aprendizado bastante acentuada e inclui alguns conceitos e métodos bastante complexos.

Requer amplo conhecimento sobre como funcionam os sistemas distribuídos.

No entanto, neste curso, você só precisa conhecer os fundamentos do UNIX e Java e nada mais.

Não importa se você é um iniciante ou intermediário - este curso tem algo reservado para você.

Este curso foi desenvolvido para ajudá-lo a aprender tudo o que você precisa saber sobre o Kafka, desde como fazer o download, instalá-lo e até começar a projetar seu próprio cluster.

Vejamos o que você aprenderá neste curso:

1. Introdução detalhada ao Kafka
   
2. Introdução ao Zookeeper
3. Instalação e configuração do Kafka e Zookeeper
4. Componentes centrais e arquitetura do Kafka
5. Replicação de dados e trabalho com Kafka Connect
6. Compreendendo a interface de linha de comando do Kafka
7. Prática com Producer & Consumer API em JavaScript
8. Prática com Streaming API em Java

Objetivo

Após concluir com sucesso este curso, os alunos serão capazes de:

• Descreva a arquitetura de Kafka
• Explore produtores e consumidores de Kafka para escrever e ler mensagens
• Entenda as mensagens publicar-assinar e como elas se encaixam no ecossistema de Big Data
• Explore como os recursos de entrega de stream do Kafka o tornam uma fonte perfeita para sistemas de processamento de stream
• Aprenda várias estratégias de monitoramento de Kafka
• Obtenha as melhores práticas para construir pipelines de dados e aplicativos com Kafka
• Aprenda a executar o Kafka como um cluster em um ou mais servidores que podem abranger vários data centers

Publico Alvo

• Este curso é destinado a todos que desejam entender o funcionamento do Apache Kafka.
• Curso 100% pratico 
• Os exercícios têm como objetivo proporcionar aos participantes experiência em primeira mão no desenvolvimento de aplicativos de Big Data.
  

Pre-Requisitos

É recomendável ter experiência em pelo menos alguma noção básica de linguagens de programação seja ela:

• Java,
• Python
• Scala

Se possível um entendimento geral de aplicativos de streaming e computação distribuída, mas não obrigatório.

Informações Gerais

Carga Horaria:

• 16 horas, 2 dias, 4 noites ou 2 sábados
• Se aos sábados o curso e ministrado de 09h às 18h, total de 2 sábados,
• Se noturno o curso e ministrado de segunda-feira a quinta-feira das 19h às 23h, total e 4 noites,
• Se integral o curso e ministrado de terça-feira a quarta-feira das 09h as 18h, total de 2 dias

Curso 100% pratico:

• Onde os participantes terão um LAB individual para realizar todos os exercícios proposto no conteúdo deste curso

Laboratórios práticos

• Os laboratórios práticos são um elemento-chave de aprendizagem deste curso
• Cada laboratório acompanhado de uma apostila

Formato de entrega:

• Presencial em sala de aula,
• On-line ao vivo em tempo real na presença de um instrutor, 100% ao vivo via ferramenta Meeting de transmissão de vídeo conferencia, onde todos os alunos estão conectados e uma única sala em tempo real.
• In-company

Professores:

• Ambos são profissionais extremamente experiente, atuando no mercado de desenvolvimento, arquitetura, integração, big data, nos mais variados seguimentos de negócios.

Materiais

Conteúdo Programatico

Modulo I: Arquitetura Kafka

1. Origem de Kafka
2. Instalando Kafka
3. Instalando Java e Zookeeper
4. Instalando um Kafka Broker
5. Configuração do corretor
6. Seleção de Hardware
7. Diferentes versões do Kafka
8. A nova arquitetura Kafka (sem o Zookeeper)
9. Como fazer migrações?

Exercício 1: Trabalhando com Vários Produtores e Consumidores

Modulo II: Produtores e consumidores

1. Enviando eventos para Kafka - Producer API
2. Envio Assíncrono
3. Lendo eventos de Kafka - API do consumidor
4. Configurações do corretor:

Exercício 2: Criando vários corretores e verificando como as mensagens em tópicos serão encaminhadas para os corretores

Modulo III: Kafka avançado

1. API Kafka Producer
2. Exercício 3: Escrevendo um Produtor Kafka Customizado e Entendendo o que é um ProducerRecord
3. Trabalhar com uma API Custom Kafka Consumer

Exercício 4: Escrevendo um consumidor Kafka personalizado e entendendo o que é um registro do consumidor

1. Consumer Pool Loop - Gerenciamento de compensação
2. Rebalanceamento de consumidores

Modulo IV: serialização do Kafka com Avro

1. Exercício 5: como serializar dados usando Avro
2. Serializadores
3. Como implementar serializadores personalizados
4. Serializando usando Apache Avro
5. Usando Avro Records com Kafka

Modulo V: Compreendendo as partes internas

1. Elegendo líderes de partição - componente do controlador Kafka
2. Benefícios do particionamento de dados entre corretores
3. Particionamento de tópicos - Implementação do profissional personalizado
4. Escrevendo Particionador Customizado para Particionamento Específico
5. Replicação de dados em Kafka
6. Registro de distribuição apenas para anexos - Armazenamento de eventos em Kafka
7. Processo de Compactação

Exercício 6: Escrevendo um particionador personalizado e verificando como as mensagens são particionadas com base na lógica personalizada do particionador

Gerenciamento de compensação personalizado em Kafka

Exercício 7: Escrevendo código para obter um deslocamento específico de uma mensagem

Modulo VI: Monitorando Kafka - Melhores Práticas

1. Broker Health Monitoring
2. Kafka e Metrics Reporters
3. Monitore partições sub-replicadas
4. Monitorar eventos
5. Ajuste de desempenho

Exercício 8: Como verificar as métricas em Kafka

 Modulo VII: Consideração de Design e Melhores Práticas de Kafka

1. Casos de uso prático
2. Considerações práticas

Apêndice A: Mais sobre Kafka

1. Ajustando e otimizando configurações de carga útil / tempos limite
2. Dimensionamento da partição de acordo com o volume de dados
3. Tratamento de erros / exatamente - uma vez / entrega garantida
4. Lidando com Rebalanceamento

Apêndice B: Explorando o ecossistema Kafka e seu futuro

1. API Kafka Streams (KTables e KStreams)