Visão Geral

Este Curso Kafka Advanced for DevOps, Architects and Developers, ensina o básico  ao avançado da plataforma de streaming distribuído Apache Kafka . A plataforma de streaming distribuído Apache Kafka é uma das plataformas de streaming confiáveis ​​mais poderosas e amplamente utilizadas. Kafka é tolerante a falhas, altamente escalável e usado para agregação de logs, processamento de fluxo, fontes de eventos e logs de confirmação. Kafka é usado pelo LinkedIn, Yahoo, Twitter, Square, Uber, Box, PayPal, Etsy e muito mais para permitir o processamento de fluxo, mensagens online, facilitar a computação na memória fornecendo um log de confirmação distribuído, coleta de dados para big data e muito mais .

Este Curso Kafka Advanced for DevOps, Architects and Developers fornece uma introdução técnica a todas as áreas conceituais e práticas necessárias para usar a Kafka Streaming Platform com sucesso e implantá-la em produção.

• Ele foi escrito expressamente para desenvolvedores que devem desenvolver e DevOps que devem implantar com ênfase em implantações da AWS. O curso fornece uma base sólida na arquitetura ok Kafka e como trabalhar com ela.
  
• Depois de fazer este curso, você estará pronto para trabalhar com Kafka de maneira informada e produtiva.
  
• Fornecemos mais do que apenas treinamento para desenvolvedores. Fornecemos o treinamento para maximizar sua experiência de desenvolvedor e DevOps.
  
• Neste curso prático de 32 horas, desenvolvedores e DevOps aprendem como criar aplicativos que podem publicar dados e assinar dados de um cluster Kafka. Eles aprendem sobre a configuração e manutenção desse cluster.

Microsserviços Kafka

Kafka é um ingrediente-chave no desenvolvimento de microsserviços . Ele ajuda a afastar você de arquiteturas de estado compartilhado lentas e sem resposta com sua abundância de falhas em cascata para sistemas de atores na memória feitos em fluxos Kafka, QBit e Akka . Podemos mostrar como configurar a plataforma de streaming Kafka como parte de sua arquitetura de microsserviços reativa de alta velocidade . Technology stacks like Kafka, Akka e QBit são a espinha dorsal dos microsserviços orientados a eventos.

Deixe-nos ajudá-lo a configurar uma base sólida na arquitetura e no modelo de dados da Kafka Streaming Platform e como implantá-la corretamente com base em seus casos de uso na AWS.

Resumo do curso Kafka:

• Introdução ao Kafka
• Configuração do Kafka
• Arquitetura Kafka, Casos de Uso e Melhores Práticas
• Produtores de Redação
• Escrevendo consumidores
• Manipulação de fluxos e integração
• Administrador de cluster
• Trabalhando com partições para processamento paralelo e resiliência
• Implantando o Kafka na AWS para sobreviver a uma única falha de AZ
• Como implantar o Kafka na AWS usando um espelhamento de cluster em várias regiões
• Integração Kafka com Spark
• Consumidores Complexos
• Produtores Avançados
• Euro
• Registro de esquema
• Executando o Kafka Cluster na AWS
• Kafka REST Proxy
• Fluxo Kafka
• Kafka Connect
• Consumidores multi-thread

Objetivo

Após realizar este Curso Kafka Advanced for DevOps, Architects and Developers, você será capaz de:

• Entenda a motivação para usar uma plataforma de streaming como o Kafka
• Entenda Kafka em alto nível
• Instalação/configuração básica do Kafka e como uma instalação é estruturada
• Entenda a arquitetura Kafka
• Entenda como implantar o Kafka para failover e recuperação de desastres
• Entenda os casos de uso do Kafka
• Como escrever produtores e consumidores
• Use o Avro e o Registro de Esquemas
• Usar proxy REST Kafka
• Implemente a recuperação de desastres com o MirrorMaker

Pre-Requisitos

• Conhecimento razoável em Java experiência ou algum conhecimento de programação assíncrona.

Informações Gerais

• Carga horaria 32h
• Se noturno este curso e ministrado de segunda a sexta-feira das 19h às 23h, total de 8 encontros de 4 horas cada encontro,
• Pode ser feito em noites intercaladas,
• Se aos sábados este curso e ministrado das 09h às 18h, total de 4 encontros de 8 horas cada encontro,
• Se para empresas através de turma fecha este curso pode ser ministrado de acordo com ambas as agenda.

Formato de entrega:

• 100% on-line ao vivo via Microsoft Teams na presença de um instrutor/consultor java/kafka/microserviço/ibm entre outras plataforma de mercado
• Curso embasado de teoria e pratica com exercícios "lab partico" auxiliados por um instrutor em sala de aula  

Materiais

Conteúdo Programatico

Kafka Introduction

1. Architecture
2. Overview of key concepts
3. Overview of ZooKeeper
4. Cluster, Nodes, Kafka Brokers
5. Consumers, Producers, Logs, Partitions, Records, Keys
6. Partitions for write throughput
7. Partitions for Consumer parallelism (multi-threaded consumers)
8. Replicas, Followers, Leaders
9. How to scale writes
10. Disaster recovery
11. Performance profile of Kafka
12. Consumer Groups, “High Water Mark”, what do consumers see
13. Consumer load balancing and fail-over
14. Working with Partitions for parallel processing and resiliency
15. Brief Overview of Kafka Streams, Kafka Connectors, Kafka REST

Lab Kafka Setup single node, single ZooKeeper

• Create a topic
• Produce and consume messages from the command line

Lab Set up Kafka multi-broker cluster

• Configure and set up three servers
• Create a topic with replication and partitions
• Produce and consume messages from the command line

Writing Kafka Producers Basics

1. Introduction to Producer Java API and basic configuration

Lab Write Kafka Java Producer

• Create topic from command line
• View topic layout of partitions topology from command line
• View log details
• Use ./kafka-replica-verification.sh to verify replication is correct

Writing Kafka Consumers Basics

1. Introduction to Consumer Java API and basic configuration

Lab Write Java Consumer

• View how far behind the consumer is from the command line
• Force failover and verify new leaders are chosen
  

Low-level Kafka Architecture

1. Motivation Focus on high-throughput
2. Embrace file system / OS caches and how this impacts OS setup and usage
3. File structure on disk and how data is written
4. Kafka Producer load balancing details
5. Producer Record batching by size and time
6. Producer async commit and commit (flush, close)
7. Pull vs poll and backpressure
8. Compressions via message batches (unified compression to server, disk and consumer)
9. Consumer poll batching, long poll
10. Consumer Trade-offs of requesting larger batches
11. Consumer Liveness and fail over redux
12. Managing consumer position (auto-commit, async commit and sync commit)
13. Messaging At most once, At least once, Exactly once
14. Performance trade-offs message delivery semantics
15. Performance trade-offs of poll size
16. Replication, Quorums, ISRs, committed records
17. Failover and leadership election
18. Log compaction by key
19. Failure scenarios

Writing Advanced Kafka Producers

1. Using batching (time/size)
2. Using compression
3. Async producers and sync producers
4. Commit and async commit
5. Default partitioning (round robin no key, partition on key if key)
6. Controlling which partition records are written to (custom partitioning)
7. Message routing to a particular partition (use cases for this)
8. Advanced Producer configuration

Lab 1: Write Kafka Advanced Producer

• Use message batching and compression

Lab 2: Use round-robin partition

Lab 3: Use a custom message routing scheme

Writing Advanced Kafka Consumers

1. Adjusting poll read size
2. Implementing at most once message semantics using Java API
3. Implementing at least once message semantics using Java API
4. Implementing as close as we can get to exactly once Java API
5. Re-consume messages that are already consumed
6. Using ConsumerRebalanceListener to start consuming from a certain offset (consumer.seek*)
7. Assigning a consumer a specific partition (use cases for this)

Lab 1 Write Java Advanced Consumer

Lab 2 Adjusting poll read size

Lab 3 Implementing at most once message semantics using Java API

Lab 4 Implementing at least once message semantics using Java API

Lab 5 Implementing as close as we can get to exactly once Java API

Schema Management in Kafka

1. Avro overview
2. Avro Schemas
3. Flexible Schemas with JSON and defensive programming
4. Using Kafka’s Schema Registry
5. Topic Schema management
6. Validation of schema
7. Prevent producers that don’t align with topic schema

Lab1 Topic Schema management

• Validation of schema
• Prevent Consumer from accepting unexpected schema / defensive programming
  
• Prevent producers from sending messages that don’t align with schema registry

Kafka Security

1. SSL for Encrypting transport and Authentication
2. Setting up keys
3. Using SSL for authentication instead of username/password
4. Setup keystore for transport encryption
5. Setup truststore for authentication
6. Producer to server encryption
7. Consumer to server encryption
8. Kafka broker to Kafka broker encryption
9. SASL for Authentication
10. Overview of SASL
11. Integrating SASL with Active Directory
12. Securing ZooKeeper

Optional Lab setting up SSL for transport encryption from Consumer to Kafka broker

Kafka Disaster Recovery

1. Mirror Maker, cluster replication to another DC/region
2. Deploying partitions spread over racks or AZs
3. Using Mirror Maker to setup mirroring from DC/region to DC/region

Optional Lab: Setup mirror maker running locally

Kafka Cluster Admin and Ops

1. OS config and hardware selection (EC2 instance type selection)
2. Monitoring Kafka KPIs
3. Monitoring Consumer Lag (consumer group inspection)
4. Log Retention and Compaction
5. Fault tolerant Cluster
6. Growing your cluster
7. Reassign partitions
8. Broker configuration details
9. Topic configuration details
10. Producer configuration details
11. Consumer configuration details
12. ZooKeeper configuration details
13. Tools to managing ZooKeeper
14. Accessing JMX from command line
15. Using dump-log segment from command line
16. Replaying a log (replay log producer)
17. Re-consume messages that are already consumed
18. Setting Consumer Group Offset from command line
19. Kafka Migration Tool − migrate a broker from one version to another
20. Mirror Maker − Mirroring one Kafka cluster to another (one DC/region to another DC/region)
21. Consumer Offset Checker − Displays Consumer Group, Topic, Partitions, Offset, logSize, Owner for the specified set of Topics, Partitions and Consumer Group

Optional Lab Kafka Admin

• Use JMX tool to look at Kafka metrics
• Use Offset Checker to set offset for a particular consumer group
  
• Use replaying a log to send messages from one topic to another

Optional Session 11: Kafka AWS

1. Brief overview of VPC, EC2, CloudFormation
2. Brief overview to CloudWatch and sending custom metrics from Kafka JMXTool
3. AWS clustering networking (up to 10GBE), placement groups
4. Deploying Kafka to private subnet in AWS VPC
5. Setting up NACL, routes and security groups
6. Data at Rest Encryption using AWS KMS
7. EBS considerations for Kafka (performance profiles, IOPs, JBOD)
8. EBS KMS
9. Local volume IOPs vs EBS
10. Brief review of AWS cmd line tools
11. Deploying Kafka to AWS to survive a single AZ failure
12. Deploying Kafka to AWS using a cluster mirroring in multi-regions
13. Brief overview of AWS ELBs
14. Using Kafka REST proxy behind an ELB
15. Optional Lab setup Kafka cluster with ZooKeeper, Kafka Brokers, Consumers and Producers
16. CloudFormation to setup subnet (or specify subnet)
17. AWS command line to create machines
18. Configuration setting and throttles for bringing up a clean Kafka instance
19. Spin Kafka Broker down
20. Monitor Kafka broker is cleanly shut down
21. Create new Kafka Broker (no data)
22. Create Kafka Broker with snapshot of log
23. Spin up the second cluster
24. Connect the second cluster to the first cluster with mirror maker
25. Monitor lag from the first cluster to the second cluster
26. Shut the first cluster down
27. Connect producers and consumer to the first cluster

Optional Lab setup Kafka mirror maker spanning two AWS regions

Optional Lab setup rolling re-hydration of Kafka Broker Nodes

Optional Session 12: Kafka REST Proxy

• Using the REST API to write a Producer 
• Using the REST API to write a Consumer

Optional Lab Writing REST Producer

Optional Lab Writing REST Consumer

Optional Session 13: Kafka Connect

1. Kafka Connect Basics
2. Modes of Working: Standalone and Distributed
3. Configuring Connectors
4. Tracking Kafka Connector Offsets
5. Lab using Kafka Connect

Optional Session 14: Kafka Streams

• Overview of Kafka Streams
• Kafka Streams Fundamentals
• Kafka Streams Application
• Working with low-level Streams
• Working with Kafka Streams DSL

Optional Lab low-level streams

Optional Lab Streams DSL