Visão Geral

Neste Curso Cloudera for Apache Kafka Overview,  você aprenderá os principais conceitos e arquitetura e discutirá vários casos de uso comuns do Apache Kafka e também aprenderá a planejar uma implantação do Kafka e, em seguida, obterá experiência prática instalando e configurando seu próprio multi-nó baseado em nuvem cluster executando Kafka na Cloudera Data Platform

Por meio de uma combinação de laboratórios práticos e palestras interativas, você aprenderá uma variedade de habilidades essenciais, começando com como criar tópicos, produtores e consumidores de Kafka, continuando por aspectos progressivamente mais desafiadores das operações e desenvolvimento do Kafka, como aqueles relacionados problemas de escalabilidade, confiabilidade e desempenho. Ao longo do curso, você aprenderá e usará as ferramentas recomendadas da Cloudera para trabalhar com o Kafka, incluindo Cloudera Manager, Schema Registry, Streams Messaging Manager e Cruise Control.

Objetivo

Após realizar este Curso Cloudera for Apache Kafka Overview, você será capaz de:

• Planejar, implantar e operar clusters Kafka
• Criar e gerenciar tópicos
• Desenvolver produtores e consumidores
• Use a replicação para melhorar a tolerância a falhas
• Use o particionamento para melhorar a escalabilidade
• Solucionar problemas comuns e problemas de desempenho

Publico Alvo

• Administradores de sistema,
• Engenheiros de dados
• Desenvolvedores,
• Arquitetos de Soluções,
• Empresas com objetivo de capacitar seu time,

Informações Gerais

• Carga Horaria: 32h
• Se noturno este curso e ministrado de segunda-feira a quinta-feira (às sexta-feira não haverá aula), das 19h às 23h, total de 8 encontros,
• Se aos sábados este curso e ministrado das 09h às 18h, total de 4 encontros,

In-company

• Se noturno este curso e ministrado de segunda-feira a quinta-feira (às sexta-feira não haverá aula), das 19h às 23h, total de 8 encontros,
• Se aos sábados este curso e ministrado das 09h às 18h, total de 4 encontros,
• Ou Intercalado Segunda/quarta e Sexta-feira 
• Integral/meio período sob consulta, de horários,

Formato de entrega:

• 100% on-line via Microsoft Teams na presença de um instrutor/consultor ativo no mercado e docente em sala de aula.
• Apostila + Lab

Materiais

Conteúdo Programatico

Kafka Overview

1. High-Level Architecture
2. Common Use Cases
3. Cloudera's Distribution of Apache Kafka

Deploying Apache Kafka

1. System Requirements and Dependencies
2. Service Roles
3. Planning Your Deployment Deploying Kafka Services
4. Exercise: Preparing the Exercise Environment
5. Exercise: Installing the Kafka Service with Cloudera Manager
6. Exercise (optional): Create Metrics Dashboards
7. Exercise (optional): Using the CM API

 Kafka Command Line Basics

1. Create and Manage Topics
2. Running Producers and Consumers

Using Streams Messaging Manager (SMM)

1. Streams Messaging Manager Overview
2. Producers, Topics, and Consumers
3. Data Explorer
4. Brokers
5. Topic Management
6. Exercise: Managing Topics using the CLI
7. Exercise: Connecting Producers and Consumers from the Command Line

Kafka Java API Basics

1. Overview of Kafka's APIs
2. Topic Management from the Java API
3. Exercise (optional): Managing Kafka Topics Using the Java API
4. Using Producers and Consumers from the Java API
5. Exercise: Developing Producers and Consumers with the Java API

Improving Availability through Replication

1. Replication
2. Exercise: Observing Downtime Due to Broker Failure
3. Considerations for the Replication Factor
4. Exercise: Adding Replicas to Improve Availability

Improving Application Scalability

1. Partitioning
2. How Messages are Partitioned
3. Exercise: Observing How Partitioning Affects Performance
4. Consumer Groups
5. Exercise: Implementing Consumer Groups
6. Consumer Rebalancing
7. Exercise: Using a Key to Control Partition Assignment

Improving Application Reliability

1. Delivery Semantics
2. Demonstration (optional): ISRs vs. ACKs
3. Producer Delivery
4. Exercise: Idempotent Producer
5. Transactions
6. Exercise: Transactional Producers and Consumers
7. Handling Consumer Failure
8. Offset Management
9. Exercise: Detecting and Suppressing Duplicate Messages
10. Exercise: Handling Invalid Records
11. Handling Producer Failure

Analyzing Kafka Clusters with SMM

1. End-to-End Latency
2. Notifiers
3. Alert Policies
4. Use Cases

Monitoring Kafka

1. Monitoring Overview
2. Monitoring using Cloudera Manager
3. Charts and Reports in CM
4. Monitoring Recommendations
5. Metrics for Troubleshooting
6. Diagnosing Service Failure
7. Exercise: Monitoring Kafka

Managing Kafka

1. Managing Kafka Topic Storage
2. Demonstration (optional): Message Retention Period
3. Log Cleanup and Collection
4. Rebalancing Partitions
5. Cruise Control
6. Exercise: Installing Cruise Control
7. Exercise: Troubleshooting Kafka Topics
8. Unclean Leader Election
9. Exercise: Unclean Leader Election
10. Adding and Removing Brokers
11. Exercise: Adding and Removing Brokers
12. Best Practices

Message Structure, Format, and Versioning

1. Message Structure
2. Schema Registry
3. Defining Schemas
4. Schema Evolution and Versioning
5. Schema Registry Client
6. Exercise: Using an Avro Schema

Improving Application Performance

1. Message Size
2. Batching
3. Compression
4. Exercise: Observing How Compression Affects Performance

Improving Kafka Service Performance

1. Performance Tuning Strategies for the Administrator
2. Cluster Sizing
3. Exercise: Planning Capacity Needed for a Use Case

Securing the Kafka Cluster

1. Encryption
2. Authentication
3. Authorization
4. Auditing