Visão Geral

Curso Kafka Administration, O Apache Kafka é um sistema de mensagens para armazenar e processar grandes volumes de streaming, dados em tempo real.

Esse Curso Kafka Administration, ministrado por um instrutor especialista em integração, destina-se a administradores de sistemas que desejam configurar, implantar, gerenciar e otimizar um cluster Kafka de nível empresarial.

Neste Curso Kafka Administration você aprenderá, conceitos sobre Kafka Architecture, Configuring Kafka Cluster, Kafka Producer, Kafka Consumer, Kafka Monitoring.

Construir e gerir clusters do Kafka utilizando as melhores práticas da indústria desenvolvidas pelos maiores especialistas mundiais do Apache Kafka.

Aprenderá como o Kafka e a Plataforma Confluente funcionam, os seus principais subsistemas, as suas funções, como interagem e como configurar, gerir e afinar o seu cluster.

Objetivo

Ao final deste treinamento, os participantes serão capazes de:

• Configure e administre um cluster Kafka.
• Avalie os benefícios e as desvantagens da implantação do Kafka no local x na nuvem.
• Implante e monitore o Kafka usando várias ferramentas de ambiente local e na nuvem.

Publico Alvo

• Todos os profissionais interessados em adquirir conhecimento em kafka
• Administradores do sistema
• Responsável por planejar, instalar, operar e solucionar problemas de uma instalação do Confluent Kafka.
• Arquitetos
• Engenheiros
• Equipe de operações responsáveis ​​pela criação, gerenciamento, monitoramento e ajuste de clusters Kafka.
• Desenvolvedores encarregados de administrar um cluster Kafka
• Profissionais que atuam com integrações
• Consultor SAP PI,
• Consultor SAP CPI
• consultor SAP ABAP  

Pre-Requisitos

• Compreensão básica dos conceitos do sistema linux/unix
• Familiaridade com a interface de linha de comando (CLI)
• Familiaridade com um editor de texto
• Uma compreensão dos conceitos de sistema distribuído (clusters, etc.)
• Experiência com a linha de comando do Linux
• Uma conta de provedor de nuvem (AWS, etc.) para instalar em um servidor em nuvem.

Informações Gerais

• Carga Horaria 24h
• Se noturno o curso e ministrado de segunda a sexta das 19h às 23h, total de 6 noites;
• Se aos sábados o curso e ministrado de 09h às 18h, total de 4 sábados;
• Se in-company o curso e ministrado de acordo com agenda do cliente;

Formato de Entrega:

• Presencial em sala de aula;
• On-Line ao vivo em tempo real via vídeo conferencia 100% na presença de um instrutor kafka
• In-company  

Materiais

Conteúdo Programatico

1. Introduction
2. Apache Kafka vs traditional message brokers
3. Overview of Kafka Features, Architecture, and Ecosystem
4. Running Apache Kafka On-premise vs in the Cloud.
5. Apache Kafka Standalone vs Cluster
6. Electing the Proper Architecture
7. Choosing an Apache Kafka Distribution
8. Installing and Configuring Apache Kafka
9. Setting up Zookeeper to Manage the Kafka Cluster
10. Configuring and Managing Brokers
11. Testing the Cluster
12. Advanced Kafka Configurations
13. Administering Kafka using Kafka Manager
14. Administering Kafka Using Third-Party Tools
15. Restarting the Cluster when Problems Arise
16. Optimizing Kafka for Better Performance
17. Deploying Kafka to Production
18. Troubleshooting
19. Summary and Conclusion

Modulo I

Introdução

1. Apresentação do treinamento
2. Visão geral de Kafka e sua importância
3. Benefícios do Kafka em comparação com os tradicionais message brokers
4. Casos de uso comuns do Kafka

Laboratório 1: Configurando o ambiente do Kafka

1. Configurar um ambiente local do Kafka.
2. Instalar e configurar o ZooKeeper.
3. Instalar e configurar um cluster Kafka mínimo.

Laboratório 2: Produção e consumo de mensagens

1. Criar um tópico no Kafka.
2. Produzir mensagens para o tópico usando um produtor.
3. Consumir mensagens do tópico usando um consumidor.

Modulo II

Arquitetura e recursos do Apache Kafka

1. Visão geral da arquitetura do Kafka
2. Componentes principais: produtores, consumidores, tópicos, partições e logs
3. Fluxo de dados no Kafka
4. Retenção e compactação de dados
5. Garantias de consistência e replicação de dados
6. Introdução ao ecossistema do Kafka (Kafka Connect, Kafka Streams, Schema Registry)

Laboratório 3: Explorando componentes principais

1. Criar tópicos com diferentes configurações de partições.
2. Produzir e consumir mensagens em diferentes partições.
3. Analisar o comportamento de produtores e consumidores em um cluster Kafka.

Laboratório 4: Configurando a retenção e compactação de dados

1. Configurar a política de retenção de dados em um tópico.
2. Testar a compactação de dados em um tópico.
3. Monitorar o uso de armazenamento do Kafka.

Modulo III

Implantação do Kafka

1. Comparação entre execução do Kafka on-premise e na nuvem
2. Considerações sobre a escolha de uma distribuição do Kafka
3. Instalação e configuração do Apache Kafka
4. Configurando o ZooKeeper para gerenciar o cluster do Kafka
5. Configuração e gerenciamento dos brokers
6. Testando o cluster do Kafka

Laboratório 5: Implantação do Kafka na nuvem

1. Configurar um cluster Kafka em um provedor de nuvem.
2. Configurar a conectividade de rede e as regras de segurança.
3. Testar a comunicação entre os componentes do cluster Kafka.

Laboratório 6: Configuração e gerenciamento dos brokers

1. Adicionar e remover brokers em um cluster Kafka.
2. Configurar a replicação de dados em um cluster Kafka.
3. Realizar testes de failover e recuperação.

Modulo IV

Configurações avançadas do Kafka

1. Exploração de configurações avançadas do Kafka
2. Ajuste de recursos do cluster Kafka (memória, CPU, armazenamento)
3. Configurações de segurança (autenticação, autorização, criptografia)
4. Configurações de alta disponibilidade e tolerância a falhas
5. Configurações de desempenho (buffering, compactação, caches)

Laboratório 7: Ajuste de recursos do cluster Kafka

1. Ajustar as configurações de memória e CPU em um cluster Kafka.
2. Configurar armazenamento em disco para otimizar o desempenho.
3. Monitorar e otimizar o uso de recursos do cluster Kafka.

Laboratório 8: Configurações de segurança e alta disponibilidade

1. Configurar autenticação e autorização em um cluster Kafka.
2. Habilitar criptografia de dados em trânsito e em repouso.
3. Configurar recursos de alta disponibilidade e tolerância a falhas.

Modulo V

Administração do Kafka

1. Gerenciamento do Kafka usando o Kafka Manager
2. Utilização de ferramentas de terceiros para administração do Kafka
3. Reiniciando o cluster em caso de problemas
4. Monitoramento e otimização do desempenho do Kafka
5. Escalabilidade e dimensionamento do cluster Kafka

Laboratório 9: Gerenciamento do Kafka usando o Kafka Manager

1. Instalar e configurar o Kafka Manager.
2. Explorar as funcionalidades de gerenciamento oferecidas pelo Kafka Manager.
3. Realizar operações de administração, como adicionar tópicos, monitorar o desempenho e gerenciar consumidores.

Laboratório 10: Monitoramento e otimização do desempenho

1. Configurar ferramentas de monitoramento para coletar métricas do Kafka.
2. Analisar as métricas para identificar possíveis gargalos de desempenho.
3. Realizar otimizações no cluster Kafka com base nas métricas coletadas.

Modulo VI

Implantação do Kafka em produção

1. Melhores práticas para implantação do Kafka em produção
2. Considerações sobre planejamento de capacidade
3. Estratégias de backup e recuperação de desastres
4. Testando a resiliência do cluster
5. Solução de problemas comuns do Kafka
6. Revisão do treinamento e conclusão

Laboratório 11: Planejamento de capacidade e backup

1. Estimar a capacidade necessária para um cluster Kafka em produção.
2. Configurar estratégias de backup e recuperação de desastres.
3. Testar a recuperação de dados e a restauração do cluster.

Laboratório 12: Solução de problemas do Kafka

1. Identificar e solucionar problemas comuns do Kafka, como erros de conectividade e indisponibilidade de brokers.
2. Analisar registros de erros e logs para diagnosticar problemas.
3. Implementar soluções para resolver problemas identificados.