Visão Geral

Curso Kafka for System Administrators, você aprenderá como usar o Kafka para modernizar seus aplicativos. O Kafka é uma poderosa plataforma de streaming de dados em tempo real que pode ser integrada a aplicativos existentes ou usada como base para o desenvolvimento de novos aplicativos.

Aqui estão algumas maneiras pelas quais um curso de Kafka pode ajudar você a modernizar seus aplicativos:

1. Ingestão de dados em tempo real: O Kafka permite que você ingira dados em tempo real de várias fontes, como sensores, aplicativos web, bancos de dados, entre outros. Ao aprender a usar o Kafka, você poderá modernizar seus aplicativos, tornando-os capazes de processar dados em tempo real e reagir a eventos em tempo real.
2. Processamento de streaming: O Kafka possui recursos avançados de processamento de streaming, como o Kafka Streams. Com o Kafka Streams, você pode implementar lógica de negócios complexa em tempo real, processando e transformando os dados conforme eles são transmitidos pelos tópicos do Kafka. Isso permite a modernização de aplicativos, adicionando capacidades de processamento de streaming.
3. Integração de microsserviços: O Kafka é amplamente usado para integração de microsserviços. Com o Kafka, você pode criar pipelines de dados entre diferentes microsserviços, permitindo comunicação assíncrona e troca de eventos em tempo real. Isso pode ajudar na modernização de aplicativos monolíticos, dividindo-os em microsserviços independentes e altamente escaláveis.
4. Escalabilidade e alta disponibilidade: O Kafka é projetado para ser altamente escalável e tolerante a falhas. Ao aprender a configurar e gerenciar clusters Kafka, você poderá modernizar seus aplicativos, tornando-os escaláveis horizontalmente e garantindo alta disponibilidade mesmo em ambientes distribuídos.
5. Análise em tempo real: O Kafka pode ser integrado a ferramentas de análise em tempo real, como o Apache Spark, permitindo que você realize análises em tempo real nos dados transmitidos pelos tópicos do Kafka. Isso pode fornecer insights em tempo real e permitir a modernização de aplicativos com recursos avançados de análise em tempo real.

Objetivo

Após a conclusão deste Curso Kafka for System Administrators, os participantes serão capazes de:

• Entenda o uso do Kafka para mensagens de alto desempenho
• Identificar os usos do Kafka em microsserviços
• Explicar os benefícios dos padrões Kafka
• Diferenciar entre mensagens e corretores de mensagens
• Resumir características e arquitetura para Kafka
• Instalar e configurar um cluster Kafka
• Projetar sistemas distribuídos de alto rendimento baseados em Kafka
• Descrever o particionamento integrado, a replicação e a tolerância a falhas inerente do Kafka

Publico Alvo

O público-alvo deste Curso Kafka for System Administrators inclui profissionais de TI, engenheiros de dados, arquitetos de soluções, administradores de sistemas, desenvolvedores e qualquer pessoa interessada em aprender a configurar, implantar e gerenciar clusters Kafka em ambientes de produção.

Mais especificamente, o curso pode ser útil para:

• Administradores de sistemas: Que desejam adquirir conhecimentos específicos sobre a administração do Kafka, incluindo implantação, configuração, monitoramento e solução de problemas.
• Engenheiros de dados: Que trabalham com arquiteturas de streaming de dados em tempo real e desejam aprender como utilizar o Kafka como plataforma central para processamento de dados.
• Arquitetos de soluções: Que estão envolvidos na concepção e implementação de soluções de streaming de dados, onde o Kafka desempenha um papel importante.
• Desenvolvedores: Que desejam entender como integrar aplicativos e sistemas existentes ao Kafka, além de aprender a usar a API do Kafka para desenvolver produtores e consumidores de maneira eficiente.
• Profissionais de análise de dados: Que desejam explorar o potencial do Kafka para ingestão e processamento de dados em tempo real, como parte de pipelines de dados analíticos.
• Gerentes de projeto: Que precisam entender os recursos, a escalabilidade e as implicações operacionais do Kafka para tomar decisões informadas sobre o uso da plataforma em projetos.

Pre-Requisitos

• Conhecimento básico de mensagens, nuvem, operação de sistemas Linux, arquitetura e virtualização seria benéfico

Materiais

Conteúdo Programatico

Introduction to Confluent Kafka

1. Messaging Architectures – What is Messaging?
2. Messaging Architectures – Steps to Messaging
3. Messaging Architectures – Messaging Models
4. What is Kafka?
5. What is Kafka? (Contd.)
6. Kafka Overview
7. Need for Kafka
8. When to Use Kafka?
9. Kafka Architecture
10. Core concepts in Kafka
11. Kafka Topic
12. Architecting Topics
13. Kafka Partitions
14. Kafka Producer
15. Kafka Consumer
16. Kafka Broker
17. Kafka Cluster
18. Why Kafka Cluster?
19. Sample Multi-Broker Cluster
20. Overview of ZooKeeper
21. Kafka Cluster & ZooKeeper
22. Who Uses Kafka?

Installing and Configuring Confluent Kafka

1. Planning for Kafka - Platform
2. Planning for Kafka - OS
3. Planning for Kafka - Java
4. Planning for Kafka - System Requirements
5. Installing Confluent Platform (Kafka)
6. Downloading Confluent Platform
7. Setting up for Development and Testing
8. Setting up for Production
9. Running in Docker Containers
10. Configuration Files
11. Starting Kafka
12. Using Kafka Command Line Client Tools
13. Setting up a Multi-Broker Cluster
14. Using Multi-Broker Cluster
15. Kafka Cluster Planning
16. Kafka Cluster Planning – Producer/Consumer Throughput
17. Kafka Cluster Planning – Number of Brokers (and ZooKeepers)
18. Kafka Cluster Planning – Sizing for Topics and Partitions
19. Kafka Cluster Planning – Sizing for Storage
20. Kafka Connect
21. Kafka Connect – Configuration Files
22. Using Kafka Connect to Import/Export Data

Data Pipelines Overview

1. Building Data Pipelines
2. Best Practices for Designing Pipelines
3. Considerations When Building Data Pipelines
4. Timeliness
5. Reliability
6. High and Varying Throughput
7. High and Varying Throughput (Contd.)
8. Data Formats
9. Data Formats (Contd.)
10. Transformations
11. Transformations (Contd.)
12. Security
13. Security Best Practices
14. Failure Handling
15. Coupling and Agility
16. Ad-hoc Pipelines
17. Loss of Metadata
18. Extreme Processing
19. Kafka Connect Versus Producer and Consumer
20. Kafka Connect Versus Producer and Consumer (Contd.)

Integrating Kafka with Other Systems

1. Introduction to Kafka Integration
2. Kafka Connect
3. Kafka Connect (Contd.)
4. Running Kafka Connect
5. Key Configurations for Connect workers:
6. Kafka Connect Example – File Source
7. Kafka Connect Example – File Sink
8. Kafka Connector Example – PostgresSQL to Elasticsearch
9. PostgresSQL to Elasticsearch Process
10. Write Data to Elasticsearch
11. Kafka Connector Scenario – SOAP Web Service to REST
12. Building Custom Connectors
13. Kafka Connect – Connectors
14. Kafka Connect - Tasks
15. Kafka Connect - Workers
16. Kafka Connect – Workers (Contd.)
17. Kafka Connect - Converters and Connect’s data model
18. Kafka Connect - Offset management
19. Alternatives to Kafka Connect
20. Alternatives to Kafka Connect (Contd.)
21. Introduction to Hadoop
22. Hadoop Components
23. Integrating Hadoop with Kafka
24. Hadoop Consumers
25. Hadoop Consumers (Contd.)
26. Hadoop Consumers (Contd.)
27. Hadoop Consumers – Produce Topic
28. Hadoop Consumers – Fetch Generated Topic
29. Kafka at Uber
30. Kafka at Uber (Contd.)
31. Kafka at LinkedIn
32. Kafka at LinkedIn – Core Kafka Services
33. Kafka at LinkedIn – Core Kafka Services (Contd.)
34. Kafka at LinkedIn – Libraries
35. Kafka at LinkedIn – Monitoring and Stream Processing
36. Conclusion

Schema Management, Streams and KSQL

1. Evolving Schema
2. Protobuf (Protocol Buffers) Overview
3. Avro Overview
4. Managing Data Evolution Using Schemas
5. Confluent Platform
6. Confluent Schema Registry
7. Schema Change and Backward Compatibility
8. Collaborating over Schema Change
9. Handling Unreadable Messages
10. Deleting Data
11. Segregating Public and Private Topics
12. What is KSQL?
13. What is KSQL? (Contd.)
14. Starting KSQL
15. Using the KSQL CLI
16. KSQL Data Types
17. Conclusion

Managing Kafka

1. Monitoring Kafka
2. Confluent Control Center
3. Control Center - Screen Shot
4. Control Center - Running
5. Control Center - Monitoring
6. Control Center - Management
7. Control Center - Alerts
8. Control Center - Development
9. Troubleshooting basics
10. Zookeeper CLI Shell
11. kafka-topics Command Line Script
12. console-consumer Command Line Script
13. Viewing logs
14. Inspecting Message Queue
15. Viewing Messages with Control Center
16. Viewing messages with REST Proxy
17. Maintaining Kafka Cluster
18. Updating Kafka version
19. Backup and Restore
20. Disaster recovery

Lab Exercises

1. Lab 1. Confluent Kafka Basics
2. Lab 2. Confluent Kafka Multiple Brokers and Import/Export Messages
3. Lab 3. Securing Confluent Kafka
4. Lab 4. Integrating Confluent Kafka with PostgreSQL
5. Lab 5. Confluent Kafka Monitoring using Graphite
6. Lab 6. KSQL Basics
7. Lab 7. Troubleshoot a Kafka Application