Visão Geral

O Curso Apache Kafka for Distributed Messaging, fornece uma visão completa do Apache Kafka, uma plataforma de mensageria de alta performance e escalabilidade, projetada para processar grandes volumes de dados em tempo real. Este Curso Apache Kafka for Distributed Messaging é ideal para profissionais que desejam implementar soluções de streaming de dados, integrar sistemas e desenvolver pipelines de dados distribuídos. O foco está em compreender a arquitetura do Kafka, suas funcionalidades principais e como integrá-lo a diferentes cenários de uso em empresas de todos os tamanhos.

Este Curso Apache Kafka for Distributed Messaging, fornece a base necessária para construir sistemas robustos utilizando o Apache Kafka, permitindo que os alunos apliquem conceitos de mensageria distribuída e integração de dados em arquiteturas modernas de software.

Objetivo

Após realizar este Curso Apache Kafka for Distributed Messaging, você será capaz de:

• Entender a arquitetura do Apache Kafka e como ele lida com fluxos de dados distribuídos.
• Instalar e configurar clusters Kafka.
• Criar, produzir e consumir dados em tópicos do Kafka.
• Implementar e gerenciar soluções de mensageria de alta disponibilidade e tolerantes a falhas.
• Monitorar e otimizar o desempenho de um cluster Kafka.
• Desenvolver soluções de streaming de dados em tempo real para cenários práticos.

Publico Alvo

• Engenheiros de software.
• Engenheiros de dados.
• Desenvolvedores backend.
• Arquitetos de sistemas distribuídos.
• Administradores de sistemas.

Pre-Requisitos

• Conhecimento básico de sistemas distribuídos e redes.
• Familiaridade com conceitos de mensageria e processamento de dados em tempo real.
• Experiência com programação e uso de serviços na nuvem (desejável).

Materiais

Conteúdo Programatico

Module 1: Introduction to Apache Kafka

1. What is Apache Kafka?
2. Kafka's Role in Distributed Messaging and Streaming
3. Kafka Use Cases: From Data Pipelines to Event Streaming
4. Overview of Kafka's Architecture

Module 2: Kafka Core Concepts

1. Producers and Consumers: Basics of Data Flow in Kafka
2. Brokers, Topics, and Partitions
3. Message Ordering and Guarantees in Kafka
4. Data Retention Policies and Compaction

Module 3: Kafka Installation and Configuration

1. Installing Kafka on Local and Cloud Environments
2. Configuring Zookeeper for Kafka Cluster Management
3. Kafka Broker Configuration and Optimization
4. Deploying Kafka on Kubernetes for Scaling

Module 4: Working with Topics, Producers, and Consumers

1. Creating and Managing Kafka Topics
2. Configuring Producers and Sending Messages to Kafka
3. Consuming Messages: From Simple Consumers to Consumer Groups
4. Message Acknowledgments and Offset Management
5. Idempotent Producers and Exactly-Once Semantics

Module 5: Kafka Streams and Real-Time Data Processing

1. Introduction to Kafka Streams API
2. Building Streaming Applications with Kafka Streams
3. Processing and Filtering Data in Real-Time
4. Joining Streams and Tables in Kafka
5. Fault Tolerance and State Management in Kafka Streams

Module 6: Kafka Connect for Data Integration

1. Introduction to Kafka Connect Framework
2. Setting up Kafka Connect to Stream Data Between Systems
3. Popular Connectors: JDBC, Elasticsearch, S3, etc.
4. Creating Custom Kafka Connectors

Module 7: Kafka Security

1. Securing Kafka with SSL/TLS
2. Authentication with SASL and Kerberos
3. Authorization Using Kafka ACLs
4. Best Practices for Securing Kafka Clusters

Module 8: Monitoring and Managing Kafka

1. Monitoring Kafka with JMX and Prometheus
2. Kafka Metrics: Throughput, Latency, and Consumer Lag
3. Tools for Kafka Management: Kafka Manager, Confluent Control Center
4. Troubleshooting Common Kafka Issues

Module 9: Kafka in Production

1. Scaling Kafka Clusters for High Availability
2. Multi-Region Deployments and Disaster Recovery
3. Best Practices for Kafka Operations in Production
4. Kafka Optimization Techniques for Performance Tuning

Module 10: Kafka for Event-Driven Architectures

1. Implementing Event-Driven Systems with Kafka
2. Patterns for Event Sourcing and CQRS with Kafka
3. Microservices Communication via Kafka
4. Kafka in the Context of Modern Cloud Architectures

Module 11: Hands-On Lab

1. Setting Up a Kafka Cluster from Scratch
2. Developing a Real-Time Data Streaming Pipeline
3. Integrating Kafka with External Systems
4. Monitoring and Tuning Kafka for Optimal Performance