Visão Geral

O Curso Kafka with Node.js foi desenvolvido para desenvolvedores que desejam construir aplicações escaláveis e reativas utilizando Node.js integradas ao Apache Kafka.
Durante o treinamento, os participantes aprenderão a criar producers, consumers e stream processors, configurar tópicos, integrar com Kafka Cluster e implementar event-driven architectures em Node.js.
O curso combina teoria, exemplos práticos e laboratórios para capacitar os alunos a criar pipelines de dados confiáveis e escaláveis com Node.js e Kafka.

Objetivo

Ao concluir o curso Kafka with Node.js, o participante será capaz de:

• Criar producers e consumers Kafka em Node.js.
• Configurar tópicos, partições e replicação em Kafka.
• Implementar event-driven microservices e pipelines de streaming.
• Integrar Node.js com Kafka Cluster e ferramentas como Schema Registry e Avro.
• Monitorar, logar e tratar erros em aplicações Kafka em Node.js.
• Containerizar aplicações e automatizar deployment usando Docker.

Publico Alvo

• Desenvolvedores Node.js que desejam integrar aplicações com Kafka.
• Engenheiros de dados que constroem pipelines em tempo real usando Node.js.
• Arquitetos de software interessados em microserviços e event-driven architectures.
• Profissionais DevOps que precisam containerizar e gerenciar aplicações Kafka em Node.js.

Pre-Requisitos

• Conhecimento básico de Apache Kafka.
• Experiência com Node.js e desenvolvimento assíncrono.
• Familiaridade com Docker e linha de comando Linux.
• Noções de mensageria e microserviços.

Informações Gerais

Metodologia:

• Curso ao vivo e online, via Microsoft Teams.
• Ministrado por instrutor especialista em Node.js e Kafka.
• Aulas com exemplos práticos, laboratórios e projeto final.
• Ambiente individual para cada participante com Kafka, Node.js e Docker.
• Projeto final de pipeline completo, escalável e monitorado.
• Fornecimento de material digital, scripts e Dockerfiles prontos.

Materiais

Conteúdo Programatico

Module 1: Introduction to Kafka with Node.js

1. Kafka architecture and concepts for Node.js developers
2. Setting up development environment (Node.js, Kafka, Docker)
3. Overview of Node.js Kafka client libraries (kafkajs, node-rdkafka)
4. Creating basic producers and consumers

Module 2: Producers and Consumers in Node.js

1. Sending and receiving messages asynchronously
2. Configuring retries, acknowledgments, and batching
3. Serialization with JSON and Avro
4. Error handling and logging

Module 3: Advanced Kafka Features

1. Working with partitions and keys for message ordering
2. Consumer groups and offset management
3. Implementing idempotency and exactly-once semantics
4. Transactional messaging in Node.js

Module 4: Stream Processing with Node.js

1. Introduction to stream processing concepts
2. Using Node.js for lightweight stream processing
3. Stateful vs stateless processing
4. Event transformations, filtering, and aggregation

Module 5: Integration with Kafka Ecosystem

1. Using Schema Registry for Avro serialization
2. Integrating with Kafka Connect and external systems
3. Monitoring and logging Node.js Kafka applications
4. Handling schema evolution and compatibility

Module 6: Docker and Deployment

1. Containerizing Node.js applications with Docker
2. Running Kafka and Zookeeper in Docker Compose
3. Deploying producers and consumers in containers
4. Scaling applications and monitoring containerized services

Module 7: Troubleshooting and Performance

1. Diagnosing connectivity and configuration issues
2. Monitoring consumer lag and throughput
3. Optimizing performance for producers and consumers
4. Logging, metrics collection, and alerting

Module 8: Hands-On Project

Project: Build a complete Node.js Kafka pipeline with producers, consumers, stream processing, Avro serialization, and Dockerized deployment.