Visão Geral

Curso Kafka Administration, O Apache Kafka é um sistema de mensagens para armazenar e processar grandes volumes de streaming, dados em tempo real.

Esse Curso Kafka Administration, ministrado por um instrutor especialista em integração, destina-se a administradores de sistemas que desejam configurar, implantar, gerenciar e otimizar um cluster Kafka de nível empresarial.

Neste Curso Kafka Administration você aprenderá, conceitos sobre Kafka Architecture, Configuring Kafka Cluster, Kafka Producer, Kafka Consumer, Kafka Monitoring.

Construir e gerir clusters do Kafka utilizando as melhores práticas da indústria desenvolvidas pelos maiores especialistas mundiais do Apache Kafka.

Aprenderá como o Kafka e a Plataforma Confluente funcionam, os seus principais subsistemas, as suas funções, como interagem e como configurar, gerir e afinar o seu cluster.

Objetivo

Ao final deste treinamento, os participantes serão capazes de:

• Configure e administre um cluster Kafka.
• Avalie os benefícios e as desvantagens da implantação do Kafka no local x na nuvem.
• Implante e monitore o Kafka usando várias ferramentas de ambiente local e na nuvem.

Publico Alvo

Público-Alvo para o Curso de Kafka Administration

Administradores de Sistemas e Infraestrutura

• Profissionais responsáveis por gerenciar servidores, redes e infraestrutura de TI.
• Interessados em aprender a configurar, monitorar e otimizar clusters Kafka em ambientes de produção.

Engenheiros de Dados e Big Data

• Profissionais que trabalham com pipelines de dados, integração de sistemas e processamento de grandes volumes de informações.
• Aqueles que desejam entender como Kafka pode ser usado para construir sistemas de streaming de dados escaláveis.

Desenvolvedores de Software

• Desenvolvedores que já utilizam Kafka para produzir ou consumir mensagens e desejam aprofundar seus conhecimentos em administração e configuração de clusters.
• Interessados em aprender a otimizar o desempenho de aplicações que utilizam Kafka.

Arquitetos de Sistemas

• Profissionais responsáveis por projetar e implementar soluções de software escaláveis e distribuídas.
• Aqueles que precisam entender como Kafka se integra a arquiteturas de microsserviços, data lakes ou sistemas de processamento de eventos.

Analistas de Dados e Cientistas de Dados

• Profissionais que trabalham com análise de dados em tempo real e precisam entender como Kafka pode ser usado para ingestão e processamento de streams de dados.

Profissionais de DevOps e SREs (Site Reliability Engineers)

• Especialistas em operações e confiabilidade de sistemas que desejam garantir a alta disponibilidade, segurança e desempenho de clusters Kafka.
• Interessados em automação e monitoramento de ambientes Kafka.

Consultores e Especialistas em Tecnologia

• Profissionais que prestam consultoria em soluções de Big Data e streaming de dados e precisam dominar Kafka para recomendar e implementar soluções eficientes.

Estudantes e Entusiastas de Tecnologia

• Pessoas com conhecimentos básicos em TI que desejam se especializar em uma das ferramentas mais populares para streaming de dados.

Pre-Requisitos

• Compreensão básica dos conceitos do sistema linux/unix
• Familiaridade com a interface de linha de comando (CLI)
• Familiaridade com um editor de texto
• Uma compreensão dos conceitos de sistema distribuído (clusters, etc.)
• Experiência com a linha de comando do Linux
• Uma conta de provedor de nuvem (AWS, etc.) para instalar em um servidor em nuvem.

Informações Gerais

• Carga Horaria 24h
• Se noturno o curso e ministrado de segunda a sexta das 19h às 23h, total de 6 noites;
• Se aos sábados o curso e ministrado de 09h às 18h, total de 4 sábados;
• Se in-company o curso e ministrado de acordo com agenda do cliente;

Formato de Entrega:

• Presencial em sala de aula;
• On-Line ao vivo em tempo real via vídeo conferencia 100% na presença de um instrutor kafka
• In-company  

Materiais

Conteúdo Programatico

1. Introduction
2. Apache Kafka vs traditional message brokers
3. Overview of Kafka Features, Architecture, and Ecosystem
4. Running Apache Kafka On-premise vs in the Cloud.
5. Apache Kafka Standalone vs Cluster
6. Electing the Proper Architecture
7. Choosing an Apache Kafka Distribution
8. Installing and Configuring Apache Kafka
9. Setting up Zookeeper to Manage the Kafka Cluster
10. Configuring and Managing Brokers
11. Testing the Cluster
12. Advanced Kafka Configurations
13. Administering Kafka using Kafka Manager
14. Administering Kafka Using Third-Party Tools
15. Restarting the Cluster when Problems Arise
16. Optimizing Kafka for Better Performance
17. Deploying Kafka to Production
18. Troubleshooting
19. Summary and Conclusion

Modulo I

Introdução

1. Apresentação do treinamento
2. Visão geral de Kafka e sua importância
3. Benefícios do Kafka em comparação com os tradicionais message brokers
4. Casos de uso comuns do Kafka

Laboratório 1: Configurando o ambiente do Kafka

1. Configurar um ambiente local do Kafka.
2. Instalar e configurar o ZooKeeper.
3. Instalar e configurar um cluster Kafka mínimo.

Laboratório 2: Produção e consumo de mensagens

1. Criar um tópico no Kafka.
2. Produzir mensagens para o tópico usando um produtor.
3. Consumir mensagens do tópico usando um consumidor.

Modulo II

Arquitetura e recursos do Apache Kafka

1. Visão geral da arquitetura do Kafka
2. Componentes principais: produtores, consumidores, tópicos, partições e logs
3. Fluxo de dados no Kafka
4. Retenção e compactação de dados
5. Garantias de consistência e replicação de dados
6. Introdução ao ecossistema do Kafka (Kafka Connect, Kafka Streams, Schema Registry)

Laboratório 3: Explorando componentes principais

1. Criar tópicos com diferentes configurações de partições.
2. Produzir e consumir mensagens em diferentes partições.
3. Analisar o comportamento de produtores e consumidores em um cluster Kafka.

Laboratório 4: Configurando a retenção e compactação de dados

1. Configurar a política de retenção de dados em um tópico.
2. Testar a compactação de dados em um tópico.
3. Monitorar o uso de armazenamento do Kafka.

Modulo III

Implantação do Kafka

1. Comparação entre execução do Kafka on-premise e na nuvem
2. Considerações sobre a escolha de uma distribuição do Kafka
3. Instalação e configuração do Apache Kafka
4. Configurando o ZooKeeper para gerenciar o cluster do Kafka
5. Configuração e gerenciamento dos brokers
6. Testando o cluster do Kafka

Laboratório 5: Implantação do Kafka na nuvem

1. Configurar um cluster Kafka em um provedor de nuvem.
2. Configurar a conectividade de rede e as regras de segurança.
3. Testar a comunicação entre os componentes do cluster Kafka.

Laboratório 6: Configuração e gerenciamento dos brokers

1. Adicionar e remover brokers em um cluster Kafka.
2. Configurar a replicação de dados em um cluster Kafka.
3. Realizar testes de failover e recuperação.

Modulo IV

Configurações avançadas do Kafka

1. Exploração de configurações avançadas do Kafka
2. Ajuste de recursos do cluster Kafka (memória, CPU, armazenamento)
3. Configurações de segurança (autenticação, autorização, criptografia)
4. Configurações de alta disponibilidade e tolerância a falhas
5. Configurações de desempenho (buffering, compactação, caches)

Laboratório 7: Ajuste de recursos do cluster Kafka

1. Ajustar as configurações de memória e CPU em um cluster Kafka.
2. Configurar armazenamento em disco para otimizar o desempenho.
3. Monitorar e otimizar o uso de recursos do cluster Kafka.

Laboratório 8: Configurações de segurança e alta disponibilidade

1. Configurar autenticação e autorização em um cluster Kafka.
2. Habilitar criptografia de dados em trânsito e em repouso.
3. Configurar recursos de alta disponibilidade e tolerância a falhas.

Modulo V

Administração do Kafka

1. Gerenciamento do Kafka usando o Kafka Manager
2. Utilização de ferramentas de terceiros para administração do Kafka
3. Reiniciando o cluster em caso de problemas
4. Monitoramento e otimização do desempenho do Kafka
5. Escalabilidade e dimensionamento do cluster Kafka

Laboratório 9: Gerenciamento do Kafka usando o Kafka Manager

1. Instalar e configurar o Kafka Manager.
2. Explorar as funcionalidades de gerenciamento oferecidas pelo Kafka Manager.
3. Realizar operações de administração, como adicionar tópicos, monitorar o desempenho e gerenciar consumidores.

Laboratório 10: Monitoramento e otimização do desempenho

1. Configurar ferramentas de monitoramento para coletar métricas do Kafka.
2. Analisar as métricas para identificar possíveis gargalos de desempenho.
3. Realizar otimizações no cluster Kafka com base nas métricas coletadas.

Modulo VI

Implantação do Kafka em produção

1. Melhores práticas para implantação do Kafka em produção
2. Considerações sobre planejamento de capacidade
3. Estratégias de backup e recuperação de desastres
4. Testando a resiliência do cluster
5. Solução de problemas comuns do Kafka
6. Revisão do treinamento e conclusão

Laboratório 11: Planejamento de capacidade e backup

1. Estimar a capacidade necessária para um cluster Kafka em produção.
2. Configurar estratégias de backup e recuperação de desastres.
3. Testar a recuperação de dados e a restauração do cluster.

Laboratório 12: Solução de problemas do Kafka

1. Identificar e solucionar problemas comuns do Kafka, como erros de conectividade e indisponibilidade de brokers.
2. Analisar registros de erros e logs para diagnosticar problemas.
3. Implementar soluções para resolver problemas identificados.