Visão Geral

O Curso Kafka Internals, foi desenvolvido para ensinar aos alunos sobre o sistema de mensagens de publicação/assinatura com muitas configurações avançadas.

O Apache Kafka é uma plataforma de processamento de fluxo de código aberto usada para fornecer um sistema unificado, de alto rendimento e baixa latência para lidar com feeds de dados em tempo real de uma ampla variedade de sistemas de origem.

O curso começa com a cobertura de configurações, permitindo que os alunos descubram corretores, consumidores, produtores e tópicos. 

Em seguida, os alunos construirão seu próprio cluster Kafka usando servidores Linux Academy. O curso será concluído analisando a aplicação de seus conhecimentos do curso a cenários do mundo real, como o processamento de atualizações de preços de ações em tempo real de uma API e a consolidação em um data lake.

Objetivo

Após realizar este Curso Kafka Internals você será capaz de:

• Compreender a arquitetura Kafka e descrever as funções e responsabilidades de vários Daemons
• Use produtores, consumidores e corretores dentro do Kafka
• Construir um pipeline ETL de streaming usando o Kafka Connect
• Explicar como e quando usar as APIs do desenvolvedor Kafka
• Realize análises em tempo real usando KSQL
• Objetivos de produtividade:

Publico Alvo

Desenvolvedores e equipes de desenvolvedores que buscam alavancar a arquitetura Kafka que conhecem Java e comandos básicos do Linux.

Materiais

Conteúdo Programatico

In the Kafka Internals training course, you'll learn:

• Kafka Fundamentals & Internals 
• Logical Architecture of Kafka
• Physical Architecture of Kafka 
• Partitions
• Topics
• Replicas
• Producers & Consumers
• Brokers
• Roles and Responsibilities of various components
• Replication mechanism
• Message Delivery Semantic
• Key Terminologies
• Key configuration settings of Brokers, Producers, Consumers, etc.
• Schema Evolution Concepts
• Hands-on Exercise(s)

Zookeeper 

1. Role of Zookeeper
2. Zookeeper Basic Operations
3. Apache Kafka – Zookeeper Role
4. Exploring Zookeeper

Kafka Administration 

1. Things to consider in Administration
2. Monitoring Kafka
3. Kafka Security
4. Performance Tuning Kafka Cluster

Kafka Integrations 

1. End to End Data Pipeline using Kafka
2. Why Kafka Connect?
3. Architecture
4. Tuning
5. Build End to End Streaming ETL Pipeline
6. Hands-on Exercise(s)

Kafka Core APIs 

1. Overview
2. Producer API 
3. Sync Producers
4. Async Producers
5. Message Acknowledgement
6. Batching Messages
7. Keyed and Non-Keyed Messages
8. Compression
9. Batching
10. Consumer API
11. Hands-on Exercise(s)

KSQL DB 

1. Overview
2. What is KSQLDB
3. Why KSQLDB
4. Hands-on Exercise(s)